Benchmarking LLM Tool-Use in the Wild

Titel: Benchmarking LLM Tool-Use in the Wild

Publicatie: ICLR 2026
Auteurs: Peijie Yu et al. (Tencent HY, King's College London)

1. Het Probleem

Grote Taalmodellen (LLMs) evolueren snel naar agenten die externe tools kunnen gebruiken om complexe taken uit te voeren. Echter, bestaande benchmarks voor tool-use (zoals BFCL, ToolBench, $\tau$-Bench) zijn vaak te geïdealiseerd en missen de complexiteit van echte menselijke interacties. Deze benchmarks behandelen taken vaak als statische, lineaire problemen met duidelijke instructies.

De auteurs identificeren drie kritieke uitdagingen die voortkomen uit echte gebruikersgedragingen ("in the wild"), die door bestaande benchmarks worden genegeerd:

1. Compositional Tasks: Gebruikers geven vaak instructies die meerdere eenvoudige eisen combineren in één bericht. Dit vereist efficiële orkestratie van tool-aanroep-topologieën (binnen een boomstructuur of parallel), niet slechts een simpele keten.
2. Implicit Intent (Verborgen Intentie): De intentie van de gebruiker is verspreid over meerdere dialoogbeurten. De LLM moet contextuele inferentie toepassen om ontbrekende informatie te reconstrueren of proactief verduidelijking te vragen.
3. Instruction Transition: Gebruikers wisselen naadloos en onvoorspelbaar tussen verschillende instructietypes: taakuitvoering, follow-up vragen, verduidelijkingen, en casual conversatie. De LLM moet zijn beleid (policy) direct aanpassen (bijv. van tool-gebruik overschakelen naar direct antwoorden of vragen stellen).

Het gevolg is dat de huidige "vooruitgang" van LLMs in tool-use mogelijk spurious (schijnbaar) is, omdat modellen falen in realistische, rommelige scenario's.

2. Methodologie: WildToolBench

Om deze lacune op te vullen, stellen de auteurs WildToolBench voor, een benchmark die is gebaseerd op patronen van echt gebruikersgedrag.

Data Curation Pipeline:

• Bron: Analyse van grote verzamelingen echte gebruikerslogs om zaden (seed scenarios) en gedragspatronen te extraheren.
• Toolset: Een verzameling van 1.600+ openbare API's (gefilterd naar 400 tool-lijsten) die realistische domeinen bestrijken (weer, nieuws, financiën, etc.).
• Generatie: Een multi-agent systeem (User Agent en Assistant Agent) genereert initiële trajecten, die vervolgens worden verfijnd door menselijke experts.
• Validatie: Handmatige inspectie en annotatie om de drie kernuitdagingen (compositie, verborgen intentie, overgangen) te waarborgen. Het dataset bevat 256 scenario's met in totaal 1.024 taken.

Evaluatiemetrics:
In plaats van alleen eindresultaten te meten, introduceert WildToolBench fijnmazige metrics voor tool-orkestratie:

• Enumerate-Match-Score: Het systeem genereert alle mogelijke legale tool-uitvoeringspaden (via diepte-eerst zoektocht in een DAG).
• Optimal Path Rate (OP Rate): Meet of de LLM het kortste/mee-efficiëntste pad kiest.
• Accomplish Progress Rate (AP Rate): Meet hoeveel van de benodigde stappen succesvol zijn uitgevoerd, zelfs als de taak niet volledig wordt voltooid.
• Session Accuracy: Het percentage sessies waarbij alle taken in een dialoog correct zijn voltooid.

3. Belangrijkste Bijdragen

1. WildToolBench Dataset: De eerste benchmark die specifiek is ontworpen rondom de "wilde" aard van gebruikersinteracties (compositie, vage intentie, en dynamische overgangen), in plaats van kunstmatig complexe maar statische taken.
2. Uitgebreide Evaluatie: Een benchmarking van 57 LLMs, variërend van propriëtaire modellen (GPT-4o, Claude, Gemini) tot open-source modellen (Qwen, DeepSeek, Llama) en gespecialiseerde tool-use modellen.
3. Nieuwe Inzichten in Falen: De paper verschuift de focus van syntactische fouten (zoals verkeerde parameter-types) naar semantische en logische redeneringsfouten (zoals verkeerde tool-selectie en contextbeheer).

4. Resultaten

De resultaten tonen een alarmerend groot gat tussen de huidige staat van de kunst en de vereisten voor robuuste agentic ability:

• Extreem Lage Prestaties: Geen enkel model bereikte een session accuracy van meer dan 15%. De meeste modellen bleven onder de 60% op taakniveau.
  • Beste modellen: Gemini-2.0-Thinking (14.45%), Gemini-2.5-Pro (14.06%), Claude-4-Sonnet (12.50%).
  • Open-source: GLM-4.5 en Kimi-K2 presteerden vergelijkbaar met de top propriëtaire modellen, maar de meeste andere open-source modellen scoorden aanzienlijk lager.
• Uitdagingen per Type:
  • Compositional Tasks: Modellen worstelen met het plannen van parallelle en gemengde tool-aanroepen. De nauwkeurigheid voor gemengde taken ($g^{S+P}_{multi}$) daalt tot slechts ~25%.
  • Hidden Intent: Taken met "Long-Range Dependency" (informatie uit ver verleden) zijn het moeilijkst; geen enkel model haalt hier boven de 50%.
  • Instruction Transition: Naarmate het aantal overgangen tussen instructietypes in een dialoog toeneemt, daalt de nauwkeurigheid drastisch (soms met 30%), wat wijst op een gebrek aan adaptiviteit en "self-conditioning" bias (modellen blijven vastzitten in het vorige gedrag).
• Foutanalyse:
  • De belangrijkste fouten zijn "Wrong Name" (verkeerde tool kiezen) en "Missing Info" (niet proactief vragen om verduidelijking).
  • Modellen vertonen twee tegengestelde patronen: "Cautious" (veel weigeringen, weinig fouten) vs. "Eager" (weinig weigeringen, maar veel hallucinaties en verkeerde tool-kiezen).
  • Gespecialiseerde tool-modellen presteren vaak slechter dan algemene modellen, wat suggereert dat specialisatie kan leiden tot broosheid (brittleness).

5. Betekenis en Conclusie

De paper concludeert dat de huidige ontwikkeling van LLM-agenten een fundamentele beperking heeft: modellen kunnen tools uitvoeren, maar begrijpen gebruikers niet voldoende in een dynamische context.

• Verschuiving in Focus: De uitdaging ligt niet meer in het uitvoeren van complexe tool-chains, maar in het begrijpen van de menselijke interactie (theorie van de geest, langere contextbegrip, en adaptief beleid).
• Toekomstige Richting: Evaluaties moeten stoppen met het gebruik van geïdealiseerde benchmarks en zich richten op realistische, wilde scenario's. De volgende stap in agentic AI vereist modellen die niet alleen "uitvoerders" zijn, maar ook "begrijpende partners" die kunnen omgaan met onduidelijkheid, onderbrekingen en complexe menselijke intenties.

WildToolBench biedt een gestructureerde rubriek voor ontwikkelaars om deze gaten te identificeren en modellen te itereren naar echte bruikbaarheid in de wereld.