💬 NLP

LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?

Dit paper introduceert LiveMCPBench, een nieuw benchmarkkader dat de kloof tussen theoretische en praktische MCP-toepassing dicht door de prestaties van grote taalmodellen te evalueren bij het navigeren door een schaalbare omgeving met duizenden tools, waarbij blijkt dat zoekfouten de belangrijkste oorzaak van falen zijn.

Oorspronkelijke auteurs: Guozhao Mo, Wenliang Zhong, Jiawei Chen, Qianhao Yuan, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

Gepubliceerd 2026-02-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Guozhao Mo, Wenliang Zhong, Jiawei Chen, Qianhao Yuan, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🌊 De Oceaan van Tools: Kunnen Robots de Weg Vinden?

Stel je voor dat kunstmatige intelligentie (zoals de slimme chatbots die we vandaag gebruiken) een chef-kok is. Tot nu toe had deze chef-kok alleen maar een klein keukentje met drie messen en één pan. Hij kon wel koken, maar alleen simpele gerechten.

Nu is er echter een revolutie: MCP (Model Context Protocol). Dit is als een gigantisch, eindeloos supermarktcomplex met 10.000 verschillende afdelingen. Je hebt hier niet alleen messen, maar ook robots die auto's repareren, drones die post bezorgen, en apparaten die het weer in Tokio voorspellen.

Maar hier zit het probleem:
Deze chef-kok (de AI) staat nu voor die enorme supermarkt en weet niet waar hij moet beginnen. Hij raakt verdwaald in de gangpaden, pakt de verkeerde ingrediënten of vergeet zelfs dat hij een robotarm nodig heeft om de zware dozen te tillen.

Dit paper, LiveMCPBench, is een grote test om te zien of deze AI-chefs echt kunnen koken in zo'n enorme, chaotische supermarkt.

🧪 De Test: LiveMCPBench

De onderzoekers hebben een nieuwe "proefkeuken" gebouwd om dit te testen. Ze noemen het LiveMCPBench. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Opdrachten (De Recepten)

In plaats van simpele vragen als "Wat is 2+2?", hebben ze 95 echte dagelijkse taken bedacht.

Voorbeeld: "Koop een treinbiljet van Beijing naar Shanghai voor volgende maand, check de weersvoorspelling voor die dag, en maak een PDF-rapportje met de kosten."
Dit is als een recept dat vraagt om ingrediënten uit drie verschillende supermarkten, terwijl je ook nog het weer moet checken.

2. De Toolset (De Supermarkt)

Ze hebben een LiveMCPTool verzameling gemaakt.

Stel je voor dat ze 70 verschillende "afdelingen" (servers) hebben geselecteerd met in totaal 527 verschillende tools.
Het mooie is: alles zit in één doosje (een Docker-container). De chef hoeft niet zelf te zoeken naar sleutels of wachtwoorden voor elke winkel. Het is "plug-and-play", alsof je een kant-en-klare maaltijd uit de koelkast haalt.

3. De Jury (De Proefpersoon)

Hoe weet je of de AI het goed heeft gedaan?

In het verleden keken mensen naar de stappen die de AI nam. Maar in een dynamische wereld (waar het weer verandert of nieuws updates krijgt) is dat lastig.
Ze gebruiken nu een "AI als Jury" (LLM-as-a-Judge). Stel je een strenge proefpersoon voor die niet kijkt hoe je het gedaan hebt, maar of het eindresultaat klopt.
Vergelijking: Het maakt niet uit of je de taart met een robotarm of met je handen hebt gebakken, zolang de taart maar lekker smaakt en de vulling erin zit.

📊 Wat Vonden Ze? (De Resultaten)

Ze hebben 12 van de slimste AI-modellen (zoals Claude, GPT-4, en Qwen) tegen elkaar op laten lopen in deze test.

Het Grote Verschil:
- De beste AI (Claude-Sonnet-4) slaagde in 79% van de taken.
- De meeste andere modellen haalden maar 30% tot 50%.
- Vergelijking: Het is als een olympische wedstrijd waar de winnaar een gouden medaille pakt, maar de rest van het team nog worstelt om de finishlijn te halen.
Het Grootste Probleem: Het Zoeken (Retrieval)
- De onderzoekers ontdekten dat bijna 50% van de fouten kwam doordat de AI de verkeerde tool vond.
- Vergelijking: De chef-kok wilde een snijmes, maar pakte per ongeluk een theelepel uit de lade. Hij kon de taart niet snijden, niet omdat hij slecht kon koken, maar omdat hij het verkeerde gereedschap had.
- Dit is de grote bottleneck: de AI is goed in denken, maar slecht in het vinden van het juiste gereedschap in die enorme oceaan.
Samenwerking is Sleutel:
- De modellen die het beste deden, waren niet degenen die het snelst werkten, maar degenen die durven te experimenteren. Ze probeerden verschillende tools, combineerden ze en gaven niet snel op.
- Vergelijking: Een goede kok probeert eerst de oven, als dat niet werkt de magnetron, en combineert ze misschien zelfs. De slechte kok blijft steken bij één idee.

💡 Waarom is dit belangrijk?

Vroeger testten we AI's met simpele, statische vragen. Dit paper laat zien dat de echte wereld veel chaotischer is.

De conclusie: We moeten AI's niet alleen slimmer maken in "denken", maar vooral beter in zoeken en combineren.
Als we dat oplossen, kunnen AI's echt helpen bij complexe taken: van het regelen van je vakantie tot het analyseren van je financiële situatie, zonder dat jij de hele dag in de computer hoeft te klikken.

🚀 Samenvatting in één zin

De onderzoekers hebben een enorme testbaan gebouwd met echte taken en duizenden tools om te zien dat AI's momenteel nog verdwalen in de supermarkt, vooral omdat ze moeite hebben om het juiste gereedschap te vinden, maar dat de slimste modellen al wel een flinke voorsprong hebben door te durven experimenteren.

Titel: LiveMCPBench: Kunnen Agents Navigeren door een Oceaan van MCP-tools?

Auteurs: Guozhao Mo et al. (Institute of Software, Chinese Academy of Sciences & University of Chinese Academy of Sciences)

1. Het Probleem

Model Context Protocol (MCP) is uitgegroeid tot een cruciale infrastructuur voor het verbinden van Large Language Models (LLM's) met externe tools, met een ecosysteem dat nu meer dan 10.000 servers omvat. Desondanks bestaat er een groot gat tussen het gebruik van MCP in de echte wereld en de huidige evaluatiemethoden:

Beperkte Schaal: Bestaande benchmarks (zoals ToolBench of API-Bank) vertrouwen vaak op gesimuleerde of onstabiele API's, of ze testen slechts een handvol servers (bijv. 10 servers).
Gebrek aan Realisme: Veel benchmarks injecteren tools direct in de context van het model, waardoor de uitdagingen van grootschalige zoekopdrachten (retrieval) en samengestelde tool-gebruik (multi-tool composition) worden omzeild.
Statische Omgevingen: Huidige evaluaties vinden plaats in statische omgevingen en kunnen de prestaties van agents niet beoordelen in dynamische, real-time ecosystemen waar data (zoals nieuws of beurskoersen) voortdurend verandert.

De kernvragen zijn: Hoe kunnen we agentsystemen systematisch evalueren in grote, diverse MCP-ecosystemen, en hoe kunnen we schaalbare en reproduceerbare evaluatiemethoden ontwerpen voor dynamische, real-world scenario's?

2. Methodologie

Om deze problemen aan te pakken, stellen de auteurs LiveMCPBench voor, een benchmark die is ontworpen voor realistische, grootschalige evaluatie. De methodologie bestaat uit vier hoofdcomponenten:

A. Taakconstructie (LiveMCPBench)

Diverse Dagelijkse Taken: De benchmark bevat 95 multi-stap taken verdeeld over zes domeinen: Kantoor, Leefstijl, Vrije tijd, Financiën, Reizen en Winkelen.
Dynamiek: Taken zijn bewust dynamisch ontworpen (bijv. "zoek de trein票 voor volgende maandag") om te vertrouwen op real-time data, wat agents dwingt tot adaptief gedrag.
Validatie: Taken zijn ontwikkeld door studenten in twee fasen (voorstellers en validerers) om authenticiteit en complexiteit te garanderen.

B. Toolset (LiveMCPTool)

Grootschalige Collectie: De auteurs hebben een reproduceerbare toolset samengesteld van 70 MCP-servers met in totaal 527 tools.
Plug-and-Play: Om afhankelijkheid van verspreide API-sleutels te elimineren, is de toolset verpakt in een Docker-omgeving. Dit zorgt voor stabiliteit en reproduceerbaarheid.
Categorisatie: Tools zijn ingedeeld in categorieën zoals Discovery, Visualisatie, Bestandsbeheer, Locatie, etc.

C. Agent Architectuur (MCP Copilot Agent)

De auteurs hebben een baseline agent gebouwd op basis van het ReACT-raamwerk (Reasoning + Acting).
De agent behandelt tool-retrieval en -invoering als een Partially Observable Markov Decision Process (POMDP).
De agent kan drie acties uitvoeren:
1. Route: Zoek $k$ kandidaat-tools (standaard $k=5$ ) op basis van semantische gelijkenis.
2. Execute: Roep een geselecteerde tool aan.
3. Response: Beëindig het proces en geef het antwoord.

D. Evaluatie Framework (LiveMCPEval)

LLM-as-a-Judge: In plaats van vaste "ground truth" trajecten (wat onmogelijk is bij dynamische data), gebruikt het framework een LLM als rechter.
Key Points: Elke taak heeft een set van "sleutelpunten" (key points) die kritieke sub-taken of voorwaarden beschrijven. De evaluator controleert of deze punten zijn bereikt op basis van het agent-traject.
Robuustheid: Het systeem kan omgaan met meerdere geldige oplossingspaden en dynamische databronnen.

3. Belangrijkste Resultaten

De auteurs hebben 12 toonaangevende LLM's (waaronder Claude-4, GPT-5, DeepSeek-V3, Qwen3) geëvalueerd op LiveMCPBench.

Prestatieverschil: Er is een aanzienlijke kloof in prestaties.
- Claude-Sonnet-4 behaalde de hoogste succesrate van 78,95%.
- De meeste andere state-of-the-art modellen bleven hangen tussen 30% en 50%.
Tool Samenstelling: Er is een sterke correlatie tussen actieve tool-samenstelling en succes. Modellen die meerdere tools combineren (zoals Claude-Sonnet-4 met gemiddeld 2,71 tools per taak) presteren beter dan conservatieve modellen die slechts één tool gebruiken.
De Grote Bottleneck: Retrieval: Een diepgaande foutenanalyse toont aan dat bijna 50% van alle mislukkingen voortkomt uit retrieval-fouten (het vinden van de verkeerde tool of het niet vinden van de juiste tool). Dit is de dominante beperking, meer dan fouten in het daadwerkelijk uitvoeren van de tool.
Evaluatie Betrouwbaarheid: De "LLM-as-a-Judge" methode (met DeepSeek-V3 als evaluator) toonde een hoge overeenkomst met menselijke annotaties (81,05%), wat de betrouwbaarheid van het framework bevestigt.

4. Kernbijdragen

LiveMCPBench Benchmark: De eerste grootschalige benchmark met 95 dagelijkse taken die specifiek is ontworpen om de retrieval- en samenstellingscapaciteiten van agents in een groot MCP-ecosysteem te testen.
LiveMCPTool: Een volledig reproduceerbare, "plug-and-play" toolset van 70 servers en 527 tools, verpakt in Docker, wat de drempel voor onderzoek verlaagt.
LiveMCPEval Framework: Een automatisch evaluatiesysteem dat dynamische taken en meerdere oplossingspaden aankan via "Key Points" en LLM-gebaseerde beoordeling, zonder dure handmatige annotatie.
Empirische Diagnose: Een uitgebreide analyse van 12 modellen die aantoont dat retrieval de belangrijkste bottleneck is en dat actieve tool-samenstelling essentieel is voor succes.

5. Betekenis en Toekomstperspectief

Dit paper markeert een verschuiving in de evaluatie van tool-using agents: van statische, gesimuleerde API's naar dynamische, real-world MCP-ecosystemen.

Onderzoeksprioriteit: De resultaten benadrukken dat toekomstige systemen zich niet alleen moeten richten op het "denken" van de agent, maar vooral op het verbeteren van robuste retrieval-mechanismen om de hoge faalratio bij het vinden van tools aan te pakken.
Schaalbaarheid: Het framework biedt een reproduceerbare basis voor het testen van agents in een steeds groeiend ecosysteem van duizenden tools.
Open Science: Code, data en de volledige toolset zijn openbaar beschikbaar, wat de gemeenschap in staat stelt om verder te bouwen op deze infrastructuur.

Kortom, LiveMCPBench biedt de eerste realistische diagnose van de huidige staat van MCP-agents en identificeert dat het navigeren door een "oceaan" van tools nog een aanzienlijke uitdaging blijft, vooral op het gebied van zoekopdrachten.