🤖 AI

To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling

Dit artikel introduceert een principiële raamwerk gebaseerd op besluitvormingstheorie om tool-aanroepbeslissingen van LLM's te evalueren en te optimaliseren door de misalignering tussen de waargenomen en werkelijke behoefte en nut van modellen te analyseren, en toont uiteindelijk aan dat lichtgewicht schatters die zijn getraind op verborgen toestanden de taakprestaties aanzienlijk kunnen verbeteren.

Oorspronkelijke auteurs: Qinyuan Wu, Soumi Das, Mahsa Amani, Arijit Nag, Seungeon Lee, Krishna P. Gummadi, Abhilasha Ravichander, Muhammad Bilal Zafar

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qinyuan Wu, Soumi Das, Mahsa Amani, Arijit Nag, Seungeon Lee, Krishna P. Gummadi, Abhilasha Ravichander, Muhammad Bilal Zafar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen assistent (een AI) hebt die probeert je vragen te beantwoorden. Soms weet deze assistent het antwoord uit het hoofd. Op andere momenten moet hij iets opzoeken in een bibliotheek (het internet) om de feiten correct te krijgen.

De grote vraag die dit artikel stelt is: Hoe weet de assistent wanneer hij moet stoppen met nadenken en moet beginnen met opzoeken?

De onderzoekers ontdekten dat deze AI-assistenten, terwijl ze slimmer worden, eigenlijk nogal slecht zijn in het bepalen wanneer ze hun "bibliotheekpas" moeten gebruiken. Ze roepen vaak de bibliotheek in terwijl ze dat niet nodig hebben (wat tijd en geld kost) of ze laten het na wanneer ze wanhopig om hulp vragen.

Hier is een uiteenzetting van hun bevindingen en oplossing, met gebruikmaking van eenvoudige analogieën:

1. De drie regels voor een goede beslissing

De auteurs hebben een raamwerk ontwikkeld om te beoordelen of de beslissing van een AI om "iets op te zoeken" goed is. Ze noemen deze drie factoren:

Noodzaak (Heb ik hulp nodig?): Kan de AI het probleem oplossen met alleen zijn eigen geheugen? Als hij het antwoord al weet, is het opzoeken in de bibliotheek overbodig.
Nut (Helpt het?): Als de AI wel iets opzoekt, wordt het antwoord dan daadwerkelijk beter? Soms kan het opzoeken van een feit de AI in de war brengen of fouten introduceren, waardoor het uiteindelijke antwoord slechter wordt dan wanneer hij gewoon een gok had gewaagd.
Betaalbaarheid (Kan ik het mij veroorloven?): Het opzoeken van dingen kost geld en tijd. Een slimme besluitvormer geeft alleen geld uit als het voordeel de kosten waard is.

2. Het probleem: De AI is "overmoedig" of "ondermoedig"

De onderzoekers testten zes verschillende AI-modellen op drie soorten taken (zoals het beantwoorden van trivia of het schrijven over specifieke onderwerpen). Ze vergeleken drie scenario's:

Geen bibliotheek: De AI beantwoordt alleen uit het geheugen.
Altijd bibliotheek: De AI zoekt altijd iets op, wat er ook gebeurt.
Zelf beslissen: De AI beslist zelf wanneer hij iets opzoekt.

De verrassing: De modus "Zelf beslissen" was vaak het slechtst.
Het interne "buikgevoel" van de AI over of hij hulp nodig had, was vaak verkeerd.

De "valse alarm": Soms dacht de AI: "Ik weet dit niet, ik moet zoeken!" maar hij wist het antwoord eigenlijk wel. Hij verspilde middelen.
De "gemiste kans": Soms dacht de AI: "Ik weet dit!" maar hij had het eigenlijk mis. Hij weigerde te zoeken en gaf een slecht antwoord.
De "slechte zoektocht": Zelfs wanneer de AI zocht, verwarde de zoekresultaten hem soms, waardoor het antwoord slechter werd dan wanneer hij gewoon op zijn geheugen had vertrouwd.

De analogie: Stel je een kok voor die een maaltijd probeert te bereiden. Soms pakt de kok een kookboek (het gereedschap) op, terwijl hij een meesterkok is en het recept perfect kent. Op andere momenten mist de kok een belangrijk ingrediënt, maar weigert hij de voorraadkast te controleren, wat resulteert in een verbrande maaltijd. De "instincten" van de kok over wanneer hij de voorraadkast moet controleren, zijn kapot.

3. De oplossing: Een "verborgen signaal"-detector

De onderzoekers beseften dat, terwijl de gesproken beslissing van de AI (zeggen "Ik moet zoeken") onbetrouwbaar was, de interne hersengolven van de AI (zijn verborgen wiskundige toestanden) eigenlijk de waarheid bevatten.

Denk eraan als een leugendetector. De AI zou kunnen zeggen: "Ik ben oké, ik heb geen hulp nodig", maar zijn interne signalen (zoals een versnelde hartslag) kunnen misschien schreeuwen: "Ik ben in de war! Ik heb hulp nodig!"

De oplossing:
In plaats van de AI te vragen om te beslissen, bouwden de onderzoekers een kleine, lichtgewicht "verkeersregelaar" (een eenvoudig computerprogramma) die de interne hersengolven van de AI in de gaten houdt.

Deze verkeersregelaar kijkt naar de verborgen signalen van de AI om te voorspellen: "Heeft deze AI echt hulp nodig?" en "Zal het opzoeken van dit antwoord het antwoord daadwerkelijk verbeteren?"
Op basis van dit "waarheidsgetrouwe" signaal vertelt de verkeersregelaar de AI: "Ja, ga het opzoeken" of "Nee, blijf bij je geheugen."

4. De resultaten

Toen ze deze "verkeersregelaar" gebruikten om de AI te sturen:

Maakte de AI minder fouten.
Stopte hij met geld verspillen aan onnodige zoekopdrachten.
Begon hij precies te zoeken wanneer het het meest nuttig was.
Interessant genoeg werkte dit zelfs beter voor kleinere, minder krachtige AI-modellen, waardoor ze presteerden net zo goed als veel grotere modellen.

Samenvatting

Het artikel concludeert dat AI-modellen momenteel vreselijk zijn in het beoordelen van hun eigen kennis en de waarde van externe hulpmiddelen. Ze zijn vaak inconsistent en inefficiënt. Door echter een eenvoudig extern systeem te bouwen dat de "verborgen gedachten" van de AI leest in plaats van te luisteren naar zijn "gesproken woorden", kunnen we deze slechte beslissingen corrigeren, geld besparen en veel betere antwoorden krijgen.

Wat het artikel NIET beweert:

Het zegt niet dat dit zal werken voor medische diagnoses of juridisch advies.
Het beweert niet dat de AI nu "bewust" of "zelfbewust" is.
Het suggereert niet dat de AI dit uiteindelijk zelf perfect zal leren doen; het artikel suggereert dat we deze externe "controllers" nodig hebben om de AI te helpen rationele keuzes te maken.

1. Probleemstelling

Agente AI-architecturen maken het mogelijk dat Large Language Models (LLM's) hun capaciteiten uitbreiden door externe tools aan te roepen (bijvoorbeeld webzoekopdrachten, rekenmachines). Echter, huidige LLM-agents missen principiële mechanismen om te bepalen wanneer een tool moet worden aangeroepen.

De Kernkwestie: Tool-gebruik is niet universeel voordelig. Oproepen kunnen overbodig zijn (als het model het antwoord al kent) of schadelijk (als de tool ruis of latentie introduceert).
Het Gat: Bestaande evaluaties richten zich op geaggregeerde taaknauwkeurigheid en negeren de kwaliteit van individuele tool-aanroepbeslissingen. Er is geen raamwerk om onderscheid te maken tussen ware noodzaak/nuttigheid en de waargenomen noodzaak/nuttigheid van het model.
De Uitdaging: Specifiek voor webzoekopdrachten worstelen modellen om de "nuttigheidswinst" van een tool-aanroep te schatten voordat deze wordt gedaan, wat vaak leidt tot suboptimale beslissingen die kostenbeperkingen schenden of de prestaties niet verbeteren.

2. Methodologie: Een Principieel Raamwerk

De auteurs stellen een raamwerk voor, geïnspireerd op Decision Theory en Rational Choice Theory, om tool-aanroepen te beoordelen en te optimaliseren. Het raamwerk ontbindt de beslissing in drie dimensies en analyseert deze via drie verschillende perspectieven:

A. Drie Sleuteldimensies

Noodzaak: Vereist het model externe hulp om taak $T$ op te lossen? (Kan het deze taak bevredigend oplossen met alleen parametrische kennis?)
Nuttigheid: Zal het aanroepen van functie $F$ de prestaties op taak $T$ verbeteren? (Biedt de tool een positieve winst ten opzichte van geen tool?)
Betaalbaarheid: Is de nuttigheidswinst het waard tegen de kosten (latentie, API-tarieven)? (Kan het model prioriteit geven aan gevallen met hoge winst binnen een budget?)

B. Drie Analytische Perspectieven

Normatief Perspectief (De "Orakel"): Definieert het ideale gedrag.
- Ware Noodzaak: Bepaald door de prestaties van het model in een GEEN TOOL-omgeving te vergelijken met een kwaliteitsdrempel.
- Ware Nuttigheid: Bepaald door de prestaties van ALTIJD TOOL te vergelijken met GEEN TOOL.
- Ware Betaalbaarheid: Selectie van de top- $K$ gevallen met de hoogste marginale nuttigheidswinst ( $\Delta = s_{AT} - s_{NT}$ ) binnen een budget.
Beschrijvend Perspectief (De "Zelfbeslissing"): Observeert het daadwerkelijke gedrag van het model.
- Waargenomen Noodzaak: De zelfgerapporteerde noodzaak van het model (via prompting) zonder toegang tot tools.
- Waargenomen Nuttigheid: De daadwerkelijke beslissing van het model om een tool aan te roepen wanneer de optie wordt geboden.
Voorschrijvend Perspectief (De "Controller"): Stelt een mechanisme voor om de kloof tussen beschrijvend gedrag en normatieve idealen te overbruggen met behulp van latente representaties.

C. Het Controller-raamwerk (Latente Schatters)

Om de misalignering tussen waargenomen en ware signalen aan te pakken, stellen de auteurs voor om lichtgewicht Multi-Layer Perceptron (MLP)-classificators te trainen op de verborgen staten van de LLM (specifiek de representatie van het laatste token), in plaats van te vertrouwen op natuurlijke taaloutput.

Latente Noodzaak-schatter (LNE): Voorspelt Ware Noodzaak ( $N^\star$ ) met behulp van verborgen staten uit de GEEN TOOL-omgeving.
Latente Nuttigheid-schatter (LUE): Voorspelt Ware Nuttigheid ( $U^\star$ ) met behulp van verborgen staten uit GEEN TOOL of ALTIJD TOOL-omgevingen.
Mechanisme: Deze schatters fungeren als externe controllers, rangschikken gevallen op voorspelde nuttigheid/noodzaak en wijzen een vast budget toe aan de top- $K$ gevallen, waarbij ze het gebrekkige zelfbeslissingsproces van het model omzeilen.

3. Experimentele Opstelling

Modellen: Zes open-source LLM's variërend van 3B tot 120B parameters (inclusief GPT-OSS, Qwen3, Gemma3, Mistral, Llama3.2), die zowel instructie-aangepaste als redeneringsvarianten omvatten.
Taken:
1. Entiteitstaak: Het genereren van beschrijvende alinea's over entiteiten (evaluatie van langdurige feitelijkheid).
2. InVivoQuery-taak: Het beantwoorden van feitelijke vragen afgeleid van real-world gebruikersverzoeken.
3. BFCL-taak: Berkeley Function Calling Leaderboard (atomaire subvragen).
Tools: Webzoekopdrachten via Google (SerpAPI), Perplexity, Brave en Tavily.
Metrieken: Feitelijkheidsscores (geverifieerd via LLM-as-a-judge en menselijke annotatie), aantal tool-aanroepen, en nuttigheidswinst onder variërende budgetbeperkingen.

4. Belangrijkste Resultaten & Bevindingen

A. Misalignering van Perceptie versus Realiteit

Suboptimale Zelfbeslissingen: Modellen slagen er consequent niet in om hun tool-aanroepbeslissingen af te stemmen op ware nuttigheid.
- Te veel aanroepen: Modellen roepen vaak tools aan voor taken die ze intern kunnen oplossen (negatieve nuttigheid).
- Te weinig aanroepen: Modellen roepen geen tools aan wanneer ze echt kennis missen (gemiste positieve nuttigheid).
Zelfconsistentie versus Waarheid: Hoewel de waargenomen noodzaak en waargenomen nuttigheid van een model vaak gecorreleerd zijn (het model is intern consistent), staan deze percepties in strijd met de grondwaarheid. De interne "overtuiging" van het model over zijn kennis is onbetrouwbaar.
Kostengevoeligheid: Modellen worstelen om budgetbeperkingen na te leven. Zelfs wanneer expliciet wordt verteld wat de kosten per oproep zijn en welk budget er nog rest, overschrijden modellen de limieten frequent of slagen ze er niet in om vragen met hoge nuttigheid effectief te prioriteren (lage NDCG-scores in budget-beperkte scenario's).

B. Prestaties van Latente Schatters

Superieure Voorspelling: De Latente Noodzaak-schatter (LNE) en Latente Nuttigheid-schatter (LUE) presteren significant beter dan de expliciete zelfbeslissingen van de modellen bij het voorspellen van ware noodzaak en nuttigheid.
Verbeterde Taakprestaties: Het gebruik van de schatters om tool-aanroepen te sturen (de "Geoptimaliseerde" opstelling) leidt tot:
- Hogere feitelijkheidsscores vergeleken met "Zelfbeslissing".
- Minder onnodige tool-aanroepen.
- Betere prestaties onder strikte budgetbeperkingen, vaak gelijk aan of beter dan de prestaties van veel grotere modellen.
Gains voor Kleine Modellen: De verbetering is het meest opvallend bij kleinere modellen (bijvoorbeeld Llama3.2-3B), die het meest profiteren van de externe begeleiding van latente signalen.

C. De "Orakel"-kloof

Zelfs met de schatters bereikt de prestatie het niveau van de "Orakel" (Optimaal) niet volledig. De auteurs merken op dat perfecte tool-aanroepen het modelleren van het gedrag van de tool zelf vereist, wat inherent moeilijk is vanwege de stochastische aard van webzoekresultaten.

5. Betekenis en Bijdragen

Theoretisch Raamwerk: Introduceert het eerste principiële raamwerk om tool-aanroepen te evalueren op basis van Noodzaak, Nuttigheid en Betaalbaarheid, en gaat voorbij aan simpele geaggregeerde nauwkeurigheidsmetrieken.
Empirisch Inzicht: Demonstreert dat hedendaagse LLM's onbetrouwbare rechters zijn van hun eigen kennis en de waarde van externe tools, wat leidt tot systematische inefficiënties.
Praktische Oplossing: Stelt een niet-invasief, lichtgewicht controlemechanisme (Latente Schatters) voor dat de besluitvorming van agents verbetert zonder de basis-LLM te finetunen. Dit suggereert dat effectief agent-gedrag mogelijk expliciete externe controllers vereist in plaats van uitsluitend te vertrouwen op het native redeneren van het model.
Kostenbewustzijn: Benadrukt de kritieke kloof in huidige modellen wat betreft kosten-batenanalyse, en toont aan dat zelfs met expliciete budget-promptingen modellen falen in het optimaliseren van tool-gebruik, wat externe interventie noodzakelijk maakt.

Conclusie

Het artikel betoogt dat de beslissing "aanroepen of niet aanroepen" een fundamentele bottleneck is in agente AI. Huidige modellen vertrouwen op gebrekkige zelfpercepties die leiden tot overbodig of schadelijk tool-gebruik. Door gebruik te maken van latente representaties om ware noodzaak en nuttigheid te schatten, kunnen onderzoekers controllers bouwen die de taakprestaties en kostenefficiëntie aanzienlijk verbeteren, en zo de weg effenen voor rationelere en betrouwbaardere AI-agents.