🤖 AI

ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox

Der Artikel stellt ComplexMCP vor, ein rigoroses Benchmark-System, das auf dem Model Context Protocol basiert, über 300 voneinander abhängige Werkzeuge und dynamische Umgebungssimulationen umfasst und aufdeckt, dass aktuelle LLM-Agenten in komplexen Arbeitsabläufen aufgrund von Engpässen wie der Sättigung bei der Werkzeugwiedergewinnung, übermäßigem Selbstvertrauen und strategischer Resignation deutlich schlechter abschneiden als Menschen.

Ursprüngliche Autoren: Yuanyang Li, Xue Yang, Longyue Wang, Weihua Luo, Hongyang Chen

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuanyang Li, Xue Yang, Longyue Wang, Weihua Luo, Hongyang Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, gut gebildeten Roboter-Assistenten ein, der Ihnen hilft, ein komplexes Unternehmen zu führen. Sie geben ihm eine Liste von Aufgaben, wie „kaufen Sie einige Aktien, buchen Sie einen Flug und senden Sie eine Nachricht an einen Freund".

In der Vergangenheit testeten Forscher diese Roboter, indem sie ihnen einfache, isolierte Aufgaben stellten, wie „berechnen Sie 2+2" oder „prüfen Sie das Wetter". Die Roboter waren darin hervorragend. Doch in der realen Welt sind Aufgaben chaotisch. Sie hängen voneinander ab (Sie können keinen Flug buchen, bevor Sie nicht wissen, wer reist), die Systeme können stören (das Internet könnte langsam sein), und die Umgebung verändert sich, während Sie arbeiten (Ihr Freund könnte Sie blockiert haben, oder Ihr Einkaufswagen könnte bereits Artikel enthalten).

Das Problem: Die „letzte Meile"-Lücke
Die Autoren dieses Papiers, ComplexMCP, argumentieren, dass unsere KI-Agenten zwar gut bei den einfachen Dingen sind, aber bei der „letzten Meile" versagen – den finalen, schwierigen Schritten, um tatsächlich reale Arbeit zu erledigen. Sie sind wie ein Fahrer, der auf einem leeren Parkplatz perfekt einparken kann, aber scheitert, wenn er versucht, eine belebte Stadtstraße mit Schlaglöchern und anderen Autos zu navigieren.

Die Lösung: Eine „simulierte Stadt" für KI
Um zu testen, wie gut diese Roboter echtes Chaos bewältigen, entwickelte das Team ComplexMCP. Denken Sie daran nicht als an einen einfachen Test, sondern als an eine riesige, simulierte Videospielstadt mit 7 verschiedenen Bezirken (wie eine Social-Media-Stadt, ein Aktienmarkt, ein Online-Shop und eine Reiseagentur).

Die Werkzeuge: Innerhalb dieser Stadt gibt es über 300 verschiedene „Werkzeuge" (Knöpfe, Hebel und APIs), die die KI nutzen kann.
Das Chaos: Entscheidend ist, dass diese Werkzeuge miteinander verbunden sind. Sie können nicht einfach einen Knopf drücken; möglicherweise müssen Sie zuerst das Netzwerk reparieren, Ihren Kontostand prüfen oder die Identität eines Benutzers verifizieren, bevor das Werkzeug überhaupt funktioniert.
Der „Seed"-Mechanismus: Um den Test fair, aber realistisch zu gestalten, verwenden sie einen „Seed" (wie einen Zufallszahlengenerator). Dies stellt sicher, dass die Stadt bei jedem Testlauf etwas anders aussieht (andere Benutzer, andere Preise, andere Netzwerkgeschwindigkeiten), die Regeln jedoch gleich bleiben. Dies verhindert, dass die KI einfach die Antworten auswendig lernt.

Der große Test: Roboter gegen Mensch
Die Forscher setzten hochrangige KI-Modelle (wie GPT-5, Gemini und Claude) in diese Stadt und gaben ihnen 47 komplexe Missionen. Sie ließen auch echte Menschen dieselben Aufgaben mit genau denselben Werkzeugen durchführen.

Die Ergebnisse: Ein harter Realitätscheck
Die Ergebnisse waren überraschend und ernüchternd:

Menschen hatten etwa 94 % Erfolg.
Die beste KI (Gemini-3-Flash) hatte nur etwa 55 % Erfolg.
Selbst die fortschrittlichsten Modelle hatten Schwierigkeiten, über 60 % Erfolg hinauszukommen.

Warum versagen die Roboter?
Das Papier identifiziert drei Hauptgründe, warum diese intelligenten Agenten in der realen Welt straucheln:

Die „Tool-Überlastung" (Retrieval-Sättigung): Stellen Sie sich einen Bibliothekar vor, der ein bestimmtes Buch in einer Bibliothek mit 300.000 Büchern finden muss. Wenn Sie ihn bitten, ein Buch zu finden, ohne ihm einen Katalog zu geben, wird er überwältigt. Ebenso vergisst die KI oft das richtige Werkzeug, wenn sie aus Hunderten auswählen muss, oder sie wird durch die schiere Menge an Optionen verwirrt.
Die „Clean Slate"-Verzerrung (Übermut): Dies ist der häufigste Fehler. Die KI geht davon aus, dass die Welt leer und frisch ist, wie ein neues Spiellevel. In Wirklichkeit könnte der „Einkaufswagen" bereits Artikel enthalten oder das „Netzwerk" könnte defekt sein. Die KI überspringt das Prüfen des aktuellen Zustands und versucht einfach zu handeln, was zu Fehlern führt (wie etwas zu kaufen, das man bereits besitzt). Es ist, als würde man versuchen, einen neuen Gegenstand in einen vollen Koffer zu legen, ohne zu prüfen, ob noch Platz ist.
Strategische Resignation: Wenn die KI auf einen kleinen Fehler stößt (wie einen vorübergehenden Netzwerkfehler), gibt sie oft auf, anstatt ihn zu beheben (wie das Nutzen eines „Netzwerk-Beschleuniger"-Werkzeugs). Sie nutzt ihre ausgefeilten Sprachfähigkeiten, um höflich zu sagen: „Ich kann das nicht", anstatt einen anderen Weg zu versuchen, um das Problem zu lösen. Es ist wie ein Fahrer, der ein Schlagloch sieht und sofort das Auto umdreht, anstatt einfach daran vorbeizusteuern.

Was ist mit „Retrieval" (RAG)?
Die Forscher testeten auch, ob es hilft, der KI eine „Suchmaschine" zu geben, um die richtigen Werkzeuge zu finden (anstatt ihr alle 300 Werkzeuge auf einmal zu zeigen). Zwar sparte dies etwas Speicherplatz, machte die KI bei diesen komplexen Aufgaben jedoch tatsächlich schlechter. Warum? Weil die Suchmaschine die für den nächsten Schritt benötigten „versteckten" Werkzeuge nicht finden konnte. Es ist, als würde man einen Bibliothekar nach „Büchern über Kochen" fragen, das Buch, das man tatsächlich braucht, aber den Titel „Wie man einen Kuchen backt" trägt, und der Bibliothekar nicht darauf kommt, es vorzuschlagen, weil die Verbindung nicht offensichtlich war.

Das Fazit
Das Papier kommt zu dem Schluss, dass KI zwar intelligenter wird, aber noch nicht bereit ist, als vollautonomer Arbeiter in komplexen, chaotischen realen Umgebungen zu fungieren. Es fehlt ihr die Fähigkeit, den aktuellen Zustand der Welt wahrzunehmen, sich von kleinen Fehlern zu erholen und komplexe Abhängigkeitsketten zu navigieren. ComplexMCP ist nun der neue „Führerschein-Test" für KI, entwickelt, um diese Schwächen aufzudecken, damit die nächste Generation von Robotern lernt, durch die Stadt zu fahren, ohne zu crashen.

Technischer Zusammenfassung: ComplexMCP

Problemstellung

Aktuelle Large Language Model (LLM)-Agenten zeigen zwar Kompetenz beim Aufruf isolierter APIs, haben jedoch erhebliche Schwierigkeiten mit der „letzten Meile" der Automatisierung kommerzieller Software. In realen Unternehmens- und Konsumentenszenarien sind Tools selten unabhängig; sie sind atomar, hochgradig voneinander abhängig und anfällig für Umgebungsrauschen (z. B. Netzwerklatenz, Zustandsinkonsistenzen und transiente Fehler). Bestehende Benchmarks erfassen diese Komplexität nicht. Datensätze wie ToolBench verlassen sich auf unabhängige RESTful-APIs ohne realistische Ausführungsumgebungen, während andere wie $\tau$ -Bench oder BFCL entweder den Maßstab vermissen lassen, sich auf den Abgleich von abstrakten Syntaxbäumen ohne echte Aufrufe verlassen oder präzise vordefinierte Umgebungen nutzen, denen die Mehrdeutigkeit und Stochastik realer Szenarien fehlen. Folglich besteht eine kritische Lücke bei der Bewertung der Fähigkeit eines Agenten, robuste Navigation in großen, voneinander abhängigen Tool-Ökosystemen unter Demonstration von Fehlertoleranz zu bewältigen.

Methodik

Die Autoren stellen ComplexMCP vor, ein rigoroses Evaluierungsframework, das auf dem Model Context Protocol (MCP) aufbaut, um ein dynamisches, zustandsbehaftetes und stochastisches Tool-Ökosystem zu simulieren.

1. Systemarchitektur

ComplexMCP integriert 315 verschiedene Tools über 15 MCP-Server, kategorisiert in zwei Paradigmen:

Zustandsbehaftete Server (7 Anwendungen): Diese pflegen persistente Umgebungszustände ( $S$ ) während des gesamten Durchlaufs eines Agenten. Dazu gehören LightOS (Systemkoordination), LightTalk (Sozialplattform), LightShop (E-Commerce), LightWeather (Meteorologie), LightFlight (Luftfahrt), LightStock (Finanzhandel) und LightNews (Medien). Diese Tools weisen starke Interdependenzen auf; so erfordert beispielsweise das Senden einer Nachricht möglicherweise die Auflösung einer Benutzer-ID, die Verifizierung des Netzwerkstatus und das Aufheben von Kontaktblockaden.
Zustandslose Server (8 Anwendungen): Diese bearbeiten unabhängige funktionale Operationen (z. B. Mathematik, Kryptographie, Chemie, String-Verarbeitung), ohne zwischen Aufrufen Zustände zu persistieren.

2. Samengetriebene Dynamik

Um sowohl Reproduzierbarkeit als auch Umgebungsdiversität zu gewährleisten, setzt ComplexMCP eine samengesteuerte Architektur ein. Ein einzelner Zufallssamen ( $\sigma$ ) steuert deterministisch:

Umgebungsinitialisierung: Eine synthetische Wissensbasis (Benutzerprofile, Transaktionsverläufe usw.) wird basierend auf dem Samen gesampelt, wodurch einzigartige, aber strukturell konsistente Umgebungen entstehen.
Ausführungsstörungen: Der Samen steuert stochastische Ereignisse während der Ausführung, wie API-Ausfälle oder Netzwerklatenz, und simuliert so reale Unvorhersehbarkeit.

3. Evaluierungsframework

Der Benchmark nutzt ein deterministisches, regelbasiertes Evaluierungssystem anstelle einer subjektiven Bewertung durch LLMs als Richter.

Metriken: Das System vergleicht den finalen Umgebungszustand ( $env_{new}$ ) mit einem aus einer manuell kuratierten Instruktionsmenge abgeleiteten Ground-Truth-Zielzustand ( $env_{gt}$ ).
Schlüsselindikatoren:
- Abschlussrate ( $R_c$ ): Das Verhältnis der korrekt modifizierten Zustandselemente zu den insgesamt erforderlichen Änderungen.
- Fehlverhaltensrate ( $R_b$ ): Das Verhältnis unbeabsichtigter Nebeneffekte (Modifizieren von Zustandselementen, die unverändert bleiben sollten).
Erfolgskriterien: Eine Trajektorie gilt nur dann als korrekt, wenn $R_c = 1$ und $R_b = 0$ .

4. Experimentelles Setup

Die Autoren bewerteten 16 fortschrittlichste kommerzielle LLMs (einschließlich GPT-4o, GPT-5, Gemini-Serie, Claude-Serie, Llama-3, Qwen-3-Max, DeepSeek-V3 usw.) über 47 manuell kuratierte Aufgaben. Diese Aufgaben erfordern die Koordination mehrerer Tools ohne explizite Hinweise und zwingen Agenten, sich auf internes Reasoning zu verlassen. Die Studie verglich zudem „Full-Context"-Prompting mit Retrieval-Augmented Generation (RAG)-Strategien (standard und iterativ), um den Trade-off zwischen Effizienz und logischer Integrität zu bewerten.

Wichtige Ergebnisse

Die Evaluierung zeigt eine deutliche Leistungslücke zwischen aktuellen SOTA-Modellen und menschlicher Leistung:

Erfolgsraten: Das am besten abschneidende Modell, Gemini-3-Flash, erreichte eine Erfolgsrate von 55,31 %, während GPT-5.1 19,14 % erzielte. Im Gegensatz dazu erreichten menschliche Freiwillige eine Erfolgsrate von 93,61 %.
Token-Engpass: Das „Full-Context"-ReAct-Paradigma verursacht massive Token-Overheads. Für eine durchschnittliche Aufgabe, die 11 Tool-Runden erfordert, wird der initiale Systemprompt (enthaltend ~30.000 Token von Tool-Beschreibungen) 12 Mal erneut übermittelt, was zu ~360.000 Eingabe-Token pro Aufgabe führt. Dies verursacht erhebliche wirtschaftliche und Latenzkosten.
RAG-Beschränkungen: Während Iteratives RAG die Effizienz durch Reduzierung der Token-Anzahl verbesserte, konnte es die Leistung von Full-Context-Methoden nicht erreichen. Die Autoren führen dies auf die Unfähigkeit semantischer Retrieval-Verfahren zurück, latente Tool-Abhängigkeiten zu erfassen, die für komplexe, mehrstufige Workflows essenziell sind.

Identifizierte Fehlermodi

Eine granulare Trajektorienanalyse identifizierte drei fundamentale Engpässe:

Tool-Retrieval-Sättigung: Wenn der Aktionsraum skaliert (z. B. >300 Tools), leiden viele Modelle unter „kognitiver Überlastung", was zu einem Rückgang der Erfolgsraten führt. Während einige Modelle (Gemini-3-Flash, Claude-Opus-4) dies durch Long-Context-Verarbeitung mildern, haben andere (GPT-4o, DeepSeek-V3) erhebliche Schwierigkeiten.
„Clean-Slate"-Bias (Übermäßiges Selbstvertrauen): Modelle gehen häufig davon aus, dass sich die Umgebung in einem Standard- oder leeren Zustand befindet, und umgehen kritische Verifikationsschritte (z. B. das Prüfen bestehender Warenkorbinhalte oder des Netzwerkstatus). Dies führt zu unbeabsichtigten Konsequenzen, wie dem Kauf redundanter Artikel oder dem Versagen, bereits bestehende Konflikte zu lösen.
Strategische Resignation: Beim Auftreten transienter Fehler (z. B. Netzwerk-Timeouts) brechen Modelle Aufgaben häufig vorzeitig ab, anstatt Wiederherstellungsstrategien zu versuchen (z. B. erneutes Versuchen oder Aufrufen von Minderungstools wie acc_network). Dieses Verhalten war bei GPT-5 besonders ausgeprägt, das dazu neigte, sich „höflich zu ergeben", anstatt Ausweichlösungen zu verfolgen.

Bedeutung und Behauptungen

Die Arbeit positioniert ComplexMCP als kritischen Teststand für die nächste Generation resilienter autonomer Systeme. Seine Hauptbeiträge sind:

Realismus: Es ist der erste Benchmark, der gleichzeitig eine große Tool-Sammlung mit zustandsbehafteten, stochastischen und dynamischen Umgebungen unter einer einheitlichen MCP-nativen Architektur integriert.
Diagnostischer Wert: Durch die Identifizierung spezifischer Fehlermodi wie „Clean-Slate"-Bias und strategischer Resignation bietet die Arbeit eine klare Roadmap zur Verbesserung der Robustheit von Agenten und geht über einfache Tool-Aufrufe hinaus hin zu echter Umgebungsperzeption und -wiederherstellung.
Standardisierung: Durch die Nutzung des Model Context Protocol fördert ComplexMCP standardisierte, reproduzierbare und interoperable Evaluierungen von Tool-Nutzungsschnittstellen und adressiert die Fragmentierung in der aktuellen Agentenforschung.

Die Autoren schließen, dass zwar aktuelle Agenten vielversprechend sind, sie jedoch für voneinander abhängige Workflows unzureichend bleiben, und dass ComplexMCP als notwendiger Schritt zur Entwicklung von Agenten dient, die die Komplexitäten der realen Softwareautomatisierung bewältigen können.