Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

Technische Samenvatting: Model-Adaptieve Tool-Noodzaak Onthult de Kennis-Handelingskloof bij LLM-Toolgebruik

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet als autonome agenten die moeten beslissen of ze vragen direct beantwoorden of externe tools aanroepen (zoals rekenmachines of zoek-API's). Eerdere onderzoeken naar adaptief toolgebruik hebben "tool-noodzaak" grotendeels behandeld als een statische, model-onafhankelijke eigenschap, doorgaans geannoteerd door menselijke beoordelaars of krachtige LLM's. Deze aanpak veronderstelt dat een vraag inherent tool-afhankelijk of tool-onafhankelijk is, ongeacht de specifieke capaciteiten van het model.

In de praktijk is tool-noodzaak echter fundamenteel genuanceerd door de divergentie in capaciteitsgrenzen tussen verschillende modellen. Een probleem dat door een state-of-the-art model alleen met zijn interne gewichten kan worden opgelost, kan de capaciteiten van een kleiner of zwakker model te boven gaan, waardoor toolgebruik voor het laatste strikt noodzakelijk is maar voor het eerste overbodig. Bijgevolg falen statische annotaties om nauwkeurig te karakteriseren wanneer een specifieke LLM werkelijk externe hulp nodig heeft. Bovendien heeft bestaand werk onvoldoende gediagnosticeerd waarom modellen tools niet aanroepen wanneer dat nodig is, of ze onnodig aanroepen, ondanks dat ze mogelijk de interne kennis bezitten om dit te doen.

Methodologie

De auteurs stellen een raamwerk voor dat is gebaseerd op model-adaptieve tool-noodzaak en een tweestaps-decompositie van het toolgebruikproces.

1. Definitie van Model-Adaptieve Tool-Noodzaak:
   In plaats van statische labels wordt tool-noodzaak ($n_f(x)$) empirisch gedefinieerd op basis van de prestaties van een specifiek model $f$. De auteurs voeren $N$ onafhankelijke inferentieruns uit bij temperatuur $T$ zonder toegang tot tools.

   • Als het model consistent correct antwoordt in alle $N$ runs, wordt de vraag beschouwd als tool-onnodig ($n_f(x) = 0$).
   • Als het model minstens één keer faalt, wordt de vraag beschouwd als tool-nodig ($n_f(x) = 1$).
     Deze definitie vangt betrouwbaarheid onder onzekerheid, met erkenning dat een model dat slechts af en toe succesvol is zonder tools, nog steeds baat heeft bij externe hulp.

2. Tweestaps-Decompositie (Cognitie versus Executie):
   Het toolgebruikproces wordt gemodelleerd als $x \to z_f(x) \to a_f(z_f(x))$, waarbij:

   • Cognitie ($z_f$): De interne representatie van het model of een tool nodig is.
   • Executie ($a_f$): De daadwerkelijke beslissing om tokens uit te geven die een tool activeren.
     De end-to-end-fout wordt gecomposeerd in het mismatch tussen werkelijke noodzaak en cognitie, en het mismatch tussen cognitie en executie.

3. Mechanistische Interpretatie via Probing:
   De auteurs maken gebruik van lineair probing op verborgen toestanden van LLM's om beide fasen te analyseren:

   • Cognitie-probe: Traint een lineaire classifier ($w_c$) om de model-adaptieve noodzaaklabel te voorspellen op basis van verborgen toestanden.
   • Actie-probe: Traint een lineaire classifier ($w_a$) om het daadwerkelijke tool-call-gedrag te voorspellen.
   • Geometrische Analyse: De cosinus-achtigheid tussen $w_c$ en $w_a$ wordt berekend over lagen en tokenposities om te bepalen of de interne overtuiging en de uitvoeringsintentie op één lijn liggen.

4. Trajectvolging:
   Samples worden door het tweestapsproces getraceerd om fouten toe te schrijven. Een sample wordt gecategoriseerd op basis van of de fout optreedt in de cognitiefase, de executiefase, of beide.

Experimentele Opzet

• Modellen: Vier verschillende LLM's werden geëvalueerd: Qwen3-8B, Qwen3-4B, Llama-3.1-8B-Instruct en Llama-3.2-3B-Instruct.
• Datasets:
  • Rekenen: 4.000 instanties variërend van eenvoudige optelling tot complexe meerstapsoperaties met modulo en operatorvolgorde.
  • Feitelijke Vraagbaan: TruthfulQA (817 instanties) ontworpen om feitelijke betrouwbaarheid te testen.
• Evaluatie: Modellen werden getest met toegang tot tools (rekenmachine voor rekenen, zoek-API voor vraagbaan). Tool-call-gedrag werd verzameld met behulp van greedy decoding.

Belangrijkste Resultaten

1. Substantieel Mismatch tussen Noodzaak en Actie:
   Met de model-adaptieve definitie vonden de auteurs significante discrepanties tussen wanneer tools werkelijk nodig zijn en wanneer modellen ze aanroepen.

   • Rekenen: Mismatchpercentages varieerden van 26,5% tot 54,0%.
   • Feitelijke Vraagbaan: Mismatchpercentages varieerden van 30,8% tot 41,8%.
     De dominante faalmodi varieerden per model en domein; sommige modellen gebruikten tools te veel (ze aanroepen terwijl ze in staat waren direct te antwoorden), terwijl anderen ze te weinig gebruikten (ze niet aanroepen wanneer ze interne kennis ontbrak).

2. Lineaire Decodeerbaarheid van Cognitie en Actie:

   • Cognitie: Interne representaties van tool-noodzaak zijn lineair decodeerbaar uit verborgen toestanden, met name in de midden- tot late lagen. Echter, de scheidbaarheid is taakafhankelijk, sterker in rekenen (waar moeilijkheid correleert met oppervlakte-structuur) dan in feitelijke vraagbaan.
   • Actie: De beslissing om een tool aan te roepen is ook sterk lineair decodeerbaar, vaak over brede regio's van lagen en tokenposities.

3. De Orthogonaliteitskloof:
   Hoewel cognitie- en actie-probes individueel effectief zijn, worden hun richtingsvectoren ($w_c$ en $w_a$) bijna orthogonaal in de late lagen van het laatste query-token (het regime dat de generatie van het volgende token drijft). Dit geeft aan dat het interne signaal dat de behoefte aan een tool herkent, geometrisch ontkoppeld is van het signaal dat de tool-call triggert op het kritieke moment van beslissing.

4. Lokalisatie van Fouten (De Kennis-Handelingskloof):
   Trajectvolging onthulde dat het merendeel van de end-to-end-mismatches zijn oorsprong vindt in de executiefase (overgang van cognitie naar actie), niet in de cognitiefase.

   • De meeste fouten treden op wanneer het model correct de noodzaak van een tool intern identificeert (correcte cognitie), maar faalt om dit om te zetten in de syntactische actie van het aanroepen van de tool.
   • Dit mismatch blijft bestaan zelfs wanneer het interne vertrouwen van het model in zijn noodzaakbeoordeling hoog is (dicht bij 0 of 1), wat suggereert dat het probleem niet onzekerheid is, maar een falen in het vertalen van bewustzijn naar actie.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen te leveren:

• Herschepping van Tool-Noodzaak: Het introduceert een model-adaptieve definitie van tool-noodzaak die is gebaseerd op empirische prestaties, wat de afhankelijkheid van statische, model-onafhankelijke annotaties uitdaagt.
• Kwantificering van Gedragsmismatch: Het toont empirisch substantiële mismatches (tot 54%) aan tussen werkelijke tool-noodzaak en waargenomen tool-call-acties over meerdere modellen en domeinen.
• Mechanistisch Inzicht: Via representatieprobing toont het aan dat hoewel zowel tool-noodzaak als uitvoeringsintentie lineair decodeerbaar zijn, hun representaties bijna orthogonaal worden in het regime van late lagen en het laatste token.
• Diagnose van de "Kennis-Handelingskloof": Het identificeert dat de primaire bottleneck in LLM-toolgebruik niet de herkenning is van wanneer tools nodig zijn, maar de vertaling van die herkenning naar actie.

De auteurs concluderen dat het verbeteren van autonome LLM-agenten niet alleen vereist dat de interne metacognitie wordt versterkt, maar specifiek het overbruggen van de "kennis-handelingskloof" om ervoor te zorgen dat zelfbewustzijn betrouwbaar vertaalt naar correcte uitvoering.