Technische Samenvatting: Het Beheersen van Toolgebruik via Heading-Specifieke Activatie-sturing

Probleemstelling

Door de integratie van externe tools (bijv. webzoeken, code-executie) breiden Tool-augmented Large Language Models (LLM's) hun capaciteiten uit voorbij hun parametrische kennis. Echter, een hardnekkige foutmodus is tool-overgebruik, waarbij modellen tools onnodig aanroepen, zelfs wanneer interne redenering volstaat. Dit leidt tot verhoogde latentie, kosten en potentiële foutpropagatie.

Bestaande mitigatiestrategieën vereisen doorgaans dure hertraining of opereren op de output-interface, waardoor ze er niet in slagen het latente besluitvormingsproces binnen de interne activaties van het model aan te pakken. Een fundamentele uitdaging ontstaat omdat, in tegenstelling tot concepten zoals sentiment of feitelijkheid die tijdens de training in de modelgewichten zijn gecodeerd, tools volledig in de context bestaan tijdens de inferentie. Bijgevolg laten standaardveronderstellingen uit de lineaire representatiehypothese en representation engineering — waar concepten een stabiele parametrische gronding hebben — zich niet eenvoudigweg toepassen. Het onderzoek onderzoekt of beslissingen over toolgebruik beschikken over een stabiele interne representatie die geëxtraheerd en gemanipuleerd kan worden, ondanks deze niet-parametrische aard.

Methodologie

De auteurs stellen een lichtgewicht, interventiemethode tijdens de inferentie voor genaamd Heading-Specific Activation Steering. De aanpak berust op gestructureerde generatie-trajecten waarbij het model tussenliggende redeneringen genereert met behulp van expliciete sectiekoppen (Heading-Anchors) zoals ### Reasoning, ### Code, ### Search, en ### AskUser.

1. Constructie van de Steering Vector

De methode construeert tool-specifieke sturingsvectoren door de verborgen toestanden (hidden states) te analyseren op de tokenposities die overeenkomen met deze Heading-Anchors.

• Dataverzameling: De auteurs verzamelen gelabelde multi-turn trajecten die specifieke tool-koppen bevatten.
• State Extractie: Verborgen toestanden worden geëxtraheerd uit een specifieke laag $l^*$ op de token die overeenkomt met de leidende ### anchor-marker voor zowel de ### Reasoning state als de doel-tool-heading state (bijv. ### Code).
• Delta Berekening: Voor elk traject wordt een sturingsdelta berekend als het verschil tussen de gemiddelde verborgen staat van de reasoning-anchors en de gemiddelde verborgen staat van de tool-anchors:
  $$\Delta^{(l)}_{k,i} = \bar{h}^{(l)}_{R,i} - \bar{h}^{(l)}_{k,i}$$
• Vector Aggregatie: Deze delta's worden gemiddeld over meerdere trajecten om de uiteindelijke sturingsvector $v^{(l)}_k$ te vormen. Deze aggregatie op sample-niveau voorkomt bias naar trajecten met een hogere frequentie van anchor-voorkomens.

2. Interventiemechanismen

De geëxtraheerde vectoren worden toegepast tijdens de Heading-Anchor formatiestappen tijdens de inferentie met behulp van twee verschillende mechanismen:

• Activation Addition (Onderdrukking): De sturingsvector wordt toegevoegd aan de verborgen staat om de staat weg te bewegen van de tool-aanroep-representatie:
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t + \alpha v^{(l^*)}_k$$
  (waarbij $\alpha=1$).
• Orthogonalisatie (Versterking): De verborgen staat wordt geprojecteerd om orthogonaal te zijn aan de sturingsvector, waardoor de onderdrukkende component wordt verwijderd om toolgebruik te stimuleren:
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t - \text{proj}_{v^{(l^*)}_k}(h^{(l^*)}_t)$$

Belangrijkste Resultaten

De studie evalueert vijf open-source instructie-getunede modellen (Mistral-7B, Llama-3.1-8B, Mistral-Nemo, Mistral-Small, Llama-3.1-70B) over drie domeinen: Math (parametrische redenering volstaat), Time (vereist actuele informatie) en Intention (vereist gebruikersverduidelijking).

1. Bidirectionele Causale Controle

• Onderdrukking: Activation addition vermindert de tool-aanroepfrequentie aanzienlijk. In het Math-domein werd toolgebruik onderdrukt tot bijna nul-niveaus (bijv. van 3.90 naar 0.56 aanroepen per prompt voor Mistral-7B) met slechts bescheiden dalingen in taakaccuratesse, wat aangeeft dat veel tool-aanroepen in dit domein redundant waren.
• Versterking: Orthogonalisatie verhoogde consistent de tool-frequentie boven de baseline over alle modellen en domeinen. Deze kunstmatige toename verbeterde de taakprestaties echter niet en verslechterde de accuratesse vaak, wat suggereert dat het basismodel al een gedeeltelijk intern evenwicht handhaaft en dat het verwijderen van de onderdrukkingsvector leidt tot overgebruik.
• Domeinspecificiteit: Onderdrukking was het meest effectief in Math, maar verslechterde in de Time en Intention domeinen, waar externe retrieval of verduidelijking daadwerkelijk vereist is. In deze domeinen leidde het onderdrukken van toolgebruik tot significante prestatiedalingen, wat bevestigt dat de interventie de noodzaak van tools respecteert wanneer parametrische kennis onvoldoende is.

2. Geometrische Irregulariteit

In tegenstelling tot de "schone lineaire structuur" waargenomen bij parametrisch gegronde concepten (zoals weigering of waarachtigheid), onthulde de geometrische analyse van tool-gebruik-vectoren:

• Diffuse Bimodale Alignment: Tool-aanroepstappen vertoonden een diffuse, bimodale cosinus-gelijkenisverdeling ten opzichte van de onderdrukkingsvector, in plaats van de consistente negatieve alignment die door lineaire encoding-verklaringen wordt voorspeld.
• Lage Cross-Tool Overlap: Verschillende typen tools (Code, Search, AskUser) rekruteerden grotendeels verschillende interne feature-dimensies met een lage Jaccard-overlap (bijv. ~0.04–0.06 voor drieweg-overlap).
• Ontkoppeling van Decodabiliteit en Controle: In het Llama-3.1-70B model kon een gesuperviseerde lineaire probe de ### Code van de ### Reasoning staten perfect scheiden (AUROC 1.000), maar de richting die door de probe werd geïdentificeerd, was veel minder effectief bij het causaal onderdrukken van toolgebruik dan de gemiddelde-verschil-vector. Dit suggereert dat de richting die het meest causaal effectief is voor controle, geometrisch verschillend is van de richting die het meest lineair decodeerbaar is.

3. Robuustheid

De interventie bleek gevoelig voor het schema, maar niet uitsluitend voor de letterlijke oppervlaktestring. Bij tests met cross-format transfer (Markdown naar JSON) en het hernoemen van koppen, bleef het onderdrukingseffect bestaan zelfs wanneer het letterlijke woord "Code" afwezig was, hoewel het effect asymmetrisch en schema-afhankelijk was.

Betekenis en Claims

Het artikel claimt een van de eersten te zijn die activation steering toepast op een gedrag dat bij constructie expliciet niet-parametrisch is. De primaire betekenis ligt in het aantonen dat:

1. Causale Controle Bestaat: Ondanks het gebrek aan parametrische encoding voor tools in modelgewichten, kunnen heading-geankerde sturingsvectoren een bidirectionele causale controle uitoefenen over tool-aanroepgedrag.
2. Niet-Parametrische Geometrie: De geometrische eigenschappen van tool-gebruik-sturingsvectoren verschillen fundamenteel van die van parametrisch gegronde concepten. De waargenomen geometrische irregulariteit (diffuse alignment, lage overlap) wordt gehypothetiseerd als een voorspelde consequentie van de niet-parametrische aard van tools, wat hen onderscheidt van concepten zoals sentiment of weigering.
3. Praktisch Nut: De methode biedt een parameter-vrije, inferentie-tijd mechanisme om tool-overgebruik te mitigeren, met name in domeinen waar parametrische redenering volstaat, zonder de kosten van hertraining.

De auteurs concluderen dat hoewel de causale effectiviteit van de sturing duidelijk is, de relatie tussen deze effectiviteit en de waargenomen geometrische irregulariteit een open vraag blijft, mogelijk gerelateerd aan de multi-turn afhankelijkheidsstructuur van tool-augmented trajecten.