🤖 AI

ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox

Het artikel introduceert ComplexMCP, een rigoureus benchmark op basis van het Model Context Protocol met meer dan 300 onderling afhankelijke tools en dynamische omgevingssimulaties, waaruit blijkt dat huidige LLM-agenten significant onderpresteren ten opzichte van mensen in complexe workflows door bottlenecks zoals verzadiging van toolretrieval, overmoed en strategische nederlaag.

Oorspronkelijke auteurs: Yuanyang Li, Xue Yang, Longyue Wang, Weihua Luo, Hongyang Chen

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuanyang Li, Xue Yang, Longyue Wang, Weihua Luo, Hongyang Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen robotassistent inhuurt om je te helpen een complex bedrijf runnen. Je geeft het een lijst met taken, zoals "koop wat aandelen, boek een vlucht en stuur een bericht naar een vriend".

In het verleden testten onderzoekers deze robots door hen simpele, geïsoleerde taken te geven, zoals "bereken 2+2" of "zoek het weer op". De robots waren hier uitstekend in. Maar in de echte wereld zijn taken rommelig. Ze hangen van elkaar af (je kunt geen vlucht boeken totdat je weet wie er reist), de systemen kunnen haperen (het internet kan vertragen) en de omgeving verandert terwijl je werkt (je vriend heeft je misschien geblokkeerd, of je winkelwagen bevat al artikelen).

Het Probleem: De "Laatste Mijl"-Kloof
De auteurs van dit paper, ComplexMCP, betogen dat onze AI-agenten goed zijn in het gemakkelijke werk, maar falen op de "laatste mijl" – de laatste, moeilijke stappen om echt werk in de wereld te verzetten. Ze zijn als een bestuurder die perfect kan parallelparkeren op een lege parkeerplaats, maar crasht wanneer hij probeert een drukke stadsstraat met gaten en andere auto's te navigeren.

De Oplossing: Een "Gesimuleerde Stad" voor AI
Om te testen hoe goed deze robots echte chaos aankunnen, bouwde het team ComplexMCP. Denk hierbij niet aan een simpele quiz, maar aan een gigantische, gesimuleerde videospelstad met 7 verschillende wijken (zoals een sociale media-stad, een aandelenmarkt, een online winkel en een reisbureau).

De Hulpmiddelen: In deze stad zijn er meer dan 300 verschillende "hulpmiddelen" (knoppen, hendels en API's) die de AI kan gebruiken.
De Chaos: Cruciaal is dat deze hulpmiddelen onderling verbonden zijn. Je kunt niet zomaar op een knop drukken; je moet misschien eerst het netwerk repareren, je saldo controleren of de identiteit van een gebruiker verifiëren voordat het hulpmiddel überhaupt werkt.
Het "Seed"-Mechanisme: Om de test eerlijk maar realistisch te maken, gebruiken ze een "seed" (zoals een willekeurig getalgenerator). Dit zorgt ervoor dat de stad er elke keer dat ze de test uitvoeren, iets anders uitziet (verschillende gebruikers, verschillende prijzen, verschillende netsnelheden), maar de regels blijven hetzelfde. Dit voorkomt dat de AI gewoon de antwoorden uit het hoofd leert.

De Grote Test: Robot versus Mens
De onderzoekers plaatsten top-tier AI-modellen (zoals GPT-5, Gemini en Claude) in deze stad en gaven hen 47 complexe missies. Ze lieten ook echte mensen dezelfde taken uitvoeren met exact dezelfde hulpmiddelen.

De Resultaten: Een Schokkende Realiteitscheck
De resultaten waren verrassend en nuchter:

Mensen slaagden ongeveer 94% van de keren.
De Beste AI (Gemini-3-Flash) slaagde slechts ongeveer 55% van de keren.
Zelfs de meest geavanceerde modellen hadden moeite om boven de 60% succes uit te komen.

Waarom Falen de Robots?
Het paper identificeert drie hoofdredenen waarom deze slimme agenten struikelen in de echte wereld:

De "Tool-Overbelasting" (Retrieval Saturation): Stel je een bibliothecaris voor die een specifiek boek moet vinden in een bibliotheek met 300.000 boeken. Als je hen vraagt een boek te vinden zonder hen een catalogus te geven, raken ze overweldigd. Op dezelfde manier vergeet de AI vaak het juiste hulpmiddel als ze uit honderden moet kiezen, of raakt ze in de war door de enorme hoeveelheid opties.
De "Schone Lei"-Bias (Oververtrouwen): Dit is de meest voorkomende fout. De AI gaat ervan uit dat de wereld leeg en fris is, zoals een nieuw spellevel. In werkelijkheid kan de "winkelwagen" al artikelen bevatten, of kan het "netwerk" kapot zijn. De AI slaat het controleren van de huidige staat over en probeert direct te handelen, wat leidt tot fouten (zoals proberen iets te kopen dat je al hebt). Het is alsof je probeert een nieuw item toe te voegen aan een volle koffer zonder te controleren of er nog ruimte is.
Strategisch Defaitisme: Wanneer de AI een kleine fout tegenkomt (zoals een tijdelijk netwerkprobleem), geeft ze vaak op in plaats van het te proberen op te lossen (zoals het gebruik van een "netwerkversneller"-hulpmiddel). Ze gebruikt haar verfijnde taalkundige vaardigheden om beleefd te zeggen: "Ik kan dit niet", in plaats van een ander pad te proberen om het probleem op te lossen. Het is als een bestuurder die een gat ziet en direct de auto omdraait in plaats van er gewoon omheen te sturen.

Wat Zegt "Retrieval" (RAG) Hierover?
De onderzoekers testten ook of het geven van een "zoekmachine" aan de AI om het juiste hulpmiddel te vinden (in plaats van alle 300 hulpmiddelen tegelijk te tonen) zou helpen. Hoewel het wat geheugen bespaarde, maakte het de AI slechter in deze complexe taken. Waarom? Omdat de zoekmachine de "verborgen" hulpmiddelen die nodig waren voor de volgende stap niet kon vinden. Het is alsof je een bibliothecaris vraagt om "boeken over koken", maar het boek dat je eigenlijk nodig hebt, heet "Hoe je een taart bakt", en de bibliothecaris dacht niet eraan om dat te suggereren omdat de connectie niet voor de hand lag.

De Conclusie
Het paper concludeert dat AI, hoewel het slimmer wordt, nog niet klaar is om een volledig autonome werknemer te zijn in complexe, rommelige real-world omgevingen. Het mist het vermogen om de huidige staat van de wereld waar te nemen, zich te herstellen van kleine fouten en complexe ketens van afhankelijkheden te navigeren. ComplexMCP is nu de nieuwe "rijtest" voor AI, ontworpen om deze zwakke punten te vinden zodat de volgende generatie robots kan leren door de stad te rijden zonder te crashten.

Technische Samenvatting: ComplexMCP

Probleemstelling

Huidige Large Language Model (LLM)-agenten tonen bekwaamheid in het aanroepen van geïsoleerde API's, maar kampen met aanzienlijke moeilijkheden bij de "laatste mijl" van automatisering van commerciële software. In realistische zakelijke en consumentenscenario's zijn tools zelden onafhankelijk; ze zijn atomair, sterk onderling afhankelijk en gevoelig voor omgevingsruis (bijvoorbeeld netwerklatentie, inconsistenties in status en tijdelijke fouten). Bestaande benchmarks falen in het vastleggen van deze complexiteit. Datasets zoals ToolBench vertrouwen op onafhankelijke RESTful API's zonder realistische uitvoeringsomgevingen, terwijl andere benchmarks zoals $\tau$ -Bench of BFCL ofwel gebrek hebben aan schaal, vertrouwen op afstemming van abstracte syntaxbomen zonder echte aanroepen, of gebruikmaken van precies vooraf gedefinieerde omgevingen die de ambiguïteit en stochastiek van realistische situaties missen. Bijgevolg bestaat er een kritieke kloof in het evalueren van het vermogen van een agent om robuust te navigeren door grote, onderling afhankelijke tool-ecosystemen, terwijl tegelijkertijd fouttolerantie wordt aangetoond.

Methodologie

De auteurs introduceren ComplexMCP, een rigoureus evaluatiekader gebaseerd op het Model Context Protocol (MCP) om een dynamisch, stateful en stochastisch tool-ecosysteem te simuleren.

1. Systeemarchitectuur

ComplexMCP integreert 315 distincte tools verspreid over 15 MCP-servers, ingedeeld in twee paradigma's:

Stateful Servers (7 applicaties): Deze handhaven persistente omgevingsstaten ( $S$ ) gedurende de rollout van een agent. Ze omvatten LightOS (systeemcoördinatie), LightTalk (sociaal platform), LightShop (e-commerce), LightWeather (meteorologie), LightFlight (luchtvaart), LightStock (financiële handel) en LightNews (media). Deze tools vertonen sterke onderlinge afhankelijkheden; bijvoorbeeld, het verzenden van een bericht kan het oplossen van een gebruikers-ID, verifiëren van de netwerkstatus en het opheffen van contactblokkades vereisen.
Stateless Servers (8 applicaties): Deze verwerken onafhankelijke functionele bewerkingen (bijvoorbeeld wiskunde, cryptografie, chemie, stringverwerking) zonder staat te behouden tussen aanroepen.

2. Zaadgedreven Dynamiek

Om zowel reproduceerbaarheid als omgevingsdiversiteit te waarborgen, hanteert ComplexMCP een zaadgedreven architectuur. Een enkel willekeurig zaadje ( $\sigma$ ) bepaalt op deterministische wijze:

Initialisatie van de Omgeving: Een synthetische kennisbank (gebruikersprofielen, transactiegeschiedenissen, enzovoort) wordt op basis van het zaadje bemonsterd, waardoor unieke maar structureel consistente omgevingen ontstaan.
Executieperturbaties: Het zaadje beheert stochastische gebeurtenissen tijdens de uitvoering, zoals API-fouten of netwerklatentie, en simuleert zo realistische onvoorspelbaarheid.

3. Evaluatiekader

De benchmark maakt gebruik van een deterministisch, regelgebaseerd evaluatiesysteem in plaats van subjectieve scoring via "LLM als rechter".

Metrieken: Het systeem vergelijkt de uiteindelijke omgevingsstaat ( $env_{new}$ ) met een grondwahrheid-doelstaat ( $env_{gt}$ ) die is afgeleid van een handmatig samengestelde instructieset.
Kernindicatoren:
- Voltooiingspercentage ( $R_c$ ): De verhouding tussen correct gewijzigde statuselementen en de totaal vereiste wijzigingen.
- Foutpercentage ( $R_b$ ): De verhouding van onbedoelde neveneffecten (wijzigen van statuselementen die onveranderd hadden moeten blijven).
Succescriteria: Een traject wordt alleen als correct beschouwd indien $R_c = 1$ en $R_b = 0$ .

4. Experimentele Opzet

De auteurs evalueerden 16 state-of-the-art commerciële LLM's (waaronder GPT-4o, GPT-5, Gemini-serie, Claude-serie, Llama-3, Qwen-3-Max, DeepSeek-V3, enzovoort) over 47 handmatig samengestelde taken. Deze taken vereisen coördinatie van meerdere tools zonder expliciete hints, waardoor agenten gedwongen worden te vertrouwen op intern redeneren. De studie vergeleek ook "Full-Context"-prompting met Retrieval-Augmented Generation (RAG)-strategieën (standaard en iteratief) om de afweging tussen efficiëntie en logische integriteit te beoordelen.

Belangrijkste Resultaten

De evaluatie blootlegt een scherp prestatieverschil tussen huidige SOTA-modellen en menselijke prestaties:

Succespercentages: Het best presterende model, Gemini-3-Flash, behaalde een succespercentage van 55,31%, terwijl GPT-5.1 scoorde op 19,14%. Daartegenover behaalden menselijke vrijwilligers een succespercentage van 93,61%.
Token-flesnek: Het "Full-Context" ReAct-paradigma leidt tot enorme token-overhead. Voor een gemiddelde taak die 11 tool-rondes vereist, wordt de initiële systeemprompt (met ~30.000 tokens aan toolbeschrijvingen) 12 keer opnieuw ingediend, wat resulteert in ~360.000 invoertokens per taak. Dit creëert aanzienlijke economische en latentiekosten.
RAG-beperkingen: Hoewel Iteratieve RAG de efficiëntie verbeterde door het aantal tokens te verminderen, slaagde het er niet in de prestaties van Full-Context-methoden te evenaren. De auteurs schrijven dit toe aan het onvermogen van semantische retrievals om latente tool-afhankelijkheden te vangen die essentieel zijn voor complexe, meerstapsworkflows.

Geïdentificeerde Foutmodi

Een granulaire trajectanalyse identificeerde drie fundamentele knelpunten:

Tool-retrieval Saturatie: Naarmate de actieruimte schaalt (bijvoorbeeld >300 tools), lijden veel modellen aan "cognitieve overbelasting", wat leidt tot een daling van de succespercentages. Hoewel sommige modellen (Gemini-3-Flash, Claude-Opus-4) dit mitigeren via lang-contextverwerking, worstelen andere (GPT-4o, DeepSeek-V3) aanzienlijk.
"Clean-Slate"-bias (Oververtrouwen): Modellen gaan er vaak ten onrechte van uit dat de omgeving zich in een standaard- of lege staat bevindt, waardoor ze kritieke verificatiestappen omzeilen (bijvoorbeeld het controleren van bestaande winkelwageninhoud of netwerkstatus). Dit leidt tot onbedoelde gevolgen, zoals het kopen van overbodige artikelen of het niet oplossen van bestaande conflicten.
Strategisch Defaitisme: Bij het tegenkomen van tijdelijke fouten (bijvoorbeeld netwerktime-outs) breken modellen taken vaak voortijdig af in plaats van herstelstrategieën te proberen (bijvoorbeeld opnieuw proberen of het aanroepen van mitigatietools zoals acc_network). Dit gedrag was opvallend prevalent bij GPT-5, dat de neiging had om zich "beleefd over te geven" in plaats van fallback-oplossingen na te streven.

Betekenis en Claims

Het artikel positioneert ComplexMCP als een kritieke testomgeving voor de volgende generatie veerkrachtige autonome systemen. De primaire bijdragen zijn:

Realisme: Het is de eerste benchmark die gelijktijdig een grote toolset integreert met stateful, stochastische en dynamische omgevingen onder een uniforme, MCP-native architectuur.
Diagnostische Waarde: Door specifieke foutmodi zoals "Clean-Slate"-bias en strategisch defaitisme te identificeren, biedt het werk een duidelijk stappenplan voor het verbeteren van de robuustheid van agenten, en gaat het verder dan eenvoudige tool-aanroepen naar echte omgevingsperceptie en herstel.
Standaardisatie: Door gebruik te maken van het Model Context Protocol, bevordert ComplexMCP gestandaardiseerde, reproduceerbare en interoperabele evaluatie van tool-gebruikinterfaces, waarmee de fragmentatie in huidig agent-onderzoek wordt aangepakt.

De auteurs concluderen dat hoewel huidige agenten veelbelovend zijn, ze ontoereikend blijven voor onderling afhankelijke workflows, en dat ComplexMCP een noodzakelijke stap is richting het ontwikkelen van agenten die de complexiteiten van realistische softwareautomatisering aankunnen.