LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries
Dieser Beitrag stellt LiveMCP-101 vor, einen Benchmark aus 101 realen Abfragen, der dazu dient, MCP-fähige Agenten durch ein paralleles Evaluierungsframework zu testen, wobei sich zeigt, dass selbst fortschrittlichste LLMs Schwierigkeiten mit der komplexen Orchestrierung von Werkzeugen in mehreren Schritten haben, und identifiziert sieben spezifische Fehlermodi, um zukünftige Verbesserungen zu leiten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Der „Live"-Probefahr
Stellen Sie sich vor, Sie testen ein neues autonomes Fahrzeug. Die meisten vorherigen Tests fanden in einem Videospiel oder auf einem abgeschlossenen Parkplatz statt, wo sich die Ampeln nie ändern und die Straße immer leer ist. Das Auto könnte die Route auswendig lernen und perfekt aussehen.
Doch in der echten Welt ändern sich Ampeln, Fußgänger treten unerwartet auf die Straße, und die Straßenverhältnisse ändern sich von Sekunde zu Sekunde.
Dieses Paper stellt LiveMCP-101 vor, was wie ein echter, live Verkehrstest für KI-Agenten ist. Anstatt eine KI zu bitten, ein mathematisches Problem aus einem Lehrbuch zu lösen, bitten die Forscher sie, einen „Schweizer Taschenmesser"-Satz digitaler Werkzeuge (wie das Prüfen von Flugpreisen, das Durchsuchen von GitHub nach Code oder das Nachschlagen des Wetters) zu nutzen, um komplexe, mehrstufige Probleme zu lösen, die sich ändern, während die KI daran arbeitet.
Das Problem: Die „statische Karte" vs. das „Live-GPS"
- Alter Weg (Statische Werkzeuge): Stellen Sie sich vor, ein KI-Agent erhält eine ausgedruckte Stadtkarte. Es weiß genau, wo das Café ist, weil die Karte es sagt. Aber wenn das Café gestern umgezogen ist, ist die KI verloren. So funktionieren die meisten aktuellen KI-Werkzeuge; sie verlassen sich auf feste Anweisungen.
- Der neue Weg (MCP): Das Paper verwendet etwas, das Model Context Protocol (MCP) genannt wird. Denken Sie daran wie an ein Live-GPS. Die KI hat keine vordruckte Karte; sie muss das GPS fragen: „Welche Werkzeuge sind gerade verfügbar?" und dann herausfinden, wie sie diese nutzt. Das Problem ist, dass sich die „Live-GPS"-Daten jede Sekunde ändern. Ein Flugpreis könnte steigen oder eine Nachrichtenschrift könnte sich ändern, während die KI nachdenkt.
Die Lösung: Das „Parallelrennen"
Wie bewertet man eine KI bei einem Test, bei dem sich die Antworten ändern, während sie den Test macht?
Die Forscher bauten ein Parallelrennen-System:
- Der Referenzläufer: Ein superschlauer, von Menschen geführter Roboter führt exakt dieselbe Aufgabe zur exakt gleichen Zeit wie die getestete KI aus. Er folgt einem strengen, vorab genehmigten Plan, um die „korrekte" Antwort für diesen spezifischen Moment zu erhalten.
- Der Testläufer: Die getestete KI versucht, den Plan selbstständig herauszufinden.
- Der Richter: Am Ziel vergleicht ein Richter (eine weitere KI) das Ergebnis des Testläufers mit dem Ergebnis des Referenzläufers.
Dies stellt sicher, dass die KI nicht dafür bestraft wird, dass sich das Wetter ändert oder ein Aktienkurs bewegt; sie wird nur bestraft, wenn sie versagt hat, die Änderungen korrekt zu bewältigen.
Die Ergebnisse: Selbst die „klügsten" Kinder haben Schwierigkeiten
Die Forscher testeten 18 verschiedene KI-Modelle (einschließlich der allerklügsten wie GPT-5 und Claude).
- Die Punktzahl: Selbst die besten KI-Modelle lösten nur etwa 58% der Aufgaben richtig.
- Die Analogie: Stellen Sie sich vor, Sie geben einer Gruppe von Doktoranden eine komplexe Schnitzeljagd, bei der sie 5 verschiedene Personen anrufen, 3 verschiedene Websites prüfen und einen Bericht schreiben müssen, während sich die Hinweise ändern. Selbst die klügsten Studenten scheiterten in mehr als 40% der Fälle.
Die „sieben Todsünden" (Fehlermodi)
Das Paper analysierte, warum die KI versagte, und fand sieben häufige Fehler, die in drei Hauptkategorien gruppiert sind:
1. Planungsfehler (Der „verlorene Fahrer")
- Ignorieren der Karte: Die KI übersieht einen Teil der Anweisungen komplett (z. B. „Finden Sie das zweitbeliebteste Video", aber sie findet das erste).
- Übermut: Die KI denkt, sie kenne die Antwort aus ihrem eigenen Gedächtnis und weigert sich, die Werkzeuge zu nutzen, was zu Halluzinationen (Erfindungen) führt.
- Reden ohne Laufen: Die KI schreibt einen perfekten Plan in ihren „Gedanken", klickt aber nie auf die Tasten, um ihn auszuführen.
- Falsches Werkzeug: Die KI wählt das richtige Werkzeug aus, nutzt aber das falsche (z. B. ein „Such"-Werkzeug verwenden, wenn ein „Rechner" benötigt wird).
2. Parameterfehler (Das „Tippfehler"-Problem)
- Syntaxfehler: Die KI spricht die Sprache des Werkzeugs schlecht. Sie sagt „1" (ein Wort), wenn das Werkzeug
1(eine Zahl) benötigt. Das Werkzeug lehnt die Anfrage sofort ab. - Semantische Fehler: Die KI spricht die Sprache korrekt, versteht die Bedeutung aber falsch. Sie fragt nach „Wetter in New York", wenn der Benutzer eigentlich „Wetter in New York City" meinte, oder sie fragt nach einem Datum, das nicht existiert.
3. Ausgabebehandlung (Das „letzte Meile"-Problem)
- Parsing-Fehler: Das Werkzeug liefert der KI die korrekten Daten (wie eine JSON-Datei mit Zahlen), aber die KI liest sie nicht korrekt. Sie könnte den Durchschnitt falsch berechnen oder eine Schlüsselzahl übersehen und so den endgültigen Bericht ruinieren.
Das Fazit
Das Paper kommt zu dem Schluss, dass KI zwar besser darin wird, mit Werkzeugen zu kommunizieren, aber für komplexe, reale Jobs, bei denen sich Dinge in Echtzeit ändern, noch nicht zuverlässig genug ist.
- Closed-Source-Modelle (wie GPT-5) sind besser im Planen, haben aber immer noch Schwierigkeiten mit der „letzten Meile", Daten korrekt zu lesen.
- Open-Source-Modelle stecken oft in Schleifen fest und verschwenden Zeit und Tokens, ohne Fortschritte zu machen.
Kurz gesagt: Wir haben einen sehr strengen, realen Fitnessraum (LiveMCP-101) gebaut, um KI zu testen. Die Ergebnisse zeigen, dass selbst unsere stärksten KI-Athleten derzeit über ihre eigenen Schnürsenkel stolpern, wenn sie gebeten werden, einen Marathon mit einer live, sich ändernden Karte zu laufen. Es ist noch ein langer Weg, bis wir ihnen vertrauen können, autonom in der realen Welt zu arbeiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.