💻 computer science

Tunable Tool-Call Rates in LLM Agents via Representation Steering

Dit artikel toont aan dat de tool-call rates in LLM-agenten nauwkeurig kunnen worden gecontroleerd tijdens de inferentie zonder hertraining door een enkele, training-vrije lineaire sturingsrichting toe te passen die is geëxtraheerd uit de residual stream van het model, wat de aanroep-neigingen monotoon aanpast om de nauwkeurigheid-kosten-afweging te optimaliseren over diverse architecturen en type tools heen.

Oorspronkelijke auteurs: Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

Gepubliceerd 2026-08-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn krachtige motoren van tekst, in staat om vragen te beantwoorden, verhalen te schrijven en problemen op te lossen. Toch opereren deze systemen met een fundamentele beperking: ze vertrouwen volledig op de informatie die in hun interne geheugen is opgeslagen. Wanneer een vraag gaat over feiten die te obscuur, te recent of te complex zijn om te onthouden, raadt het model vaak met gevaarlijke zelfverzekerdheid, waarbij het antwoorden produceert die plausibel klinken maar volkomen onjuist zijn. Om dit op te lossen, hebben ontwikkelaars deze modellen geleerd om externe hulpmiddelen te gebruiken, zoals zoekmachines of rekenmachines, om informatie op te zoeken voordat ze antwoorden. Het aanleren van wanneer een model moet stoppen en naar een hulpmiddel moet grijpen, is echter verrassend moeilijk. Als het model een hulpmiddel te vaak aanroept, verspilt het tijd en geld, en loopt het het risico ongewenste acties te triggeren. Als het een hulpmiddel te zelden aanroept, mist het de kans om het juiste antwoord te vinden en blijft het zelfverzekerd onjuist.

Onderzoekers zoeken al lang naar manieren om deze beslissingen betrouwbaarder te maken, meestal door het model opnieuw te trainen met nieuwe voorbeelden of door de instructies die eraan worden gegeven zorgvuldig te herschrijven. Deze methoden zijn duur en rigide; zodra een model op een bepaalde manier is getraind of geprompt, vereist het veranderen van het gedrag het opnieuw starten van het proces. Een nieuwe studie van onderzoekers van UC Santa Cruz en UC Berkeley suggereert een andere aanpak. Zij ontdekten dat de beslissing om een hulpmiddel te gebruiken geen complex, verborgen proces is dat hertraining vereist om te veranderen. In plaats daarvan wordt het gecontroleerd door een enkel, eenvoudig signaal binnen de interne werking van het model dat in realtime kan worden aangepast, zoals het draaien aan een knop, zonder de training of de instructies van het model te wijzigen.

De onderzoekers begonnen door te observeren hoe een taalmodel zich gedraagt wanneer het wordt gepresenteerd met een lijst van beschikbare hulpmiddelen, zoals een zoekmachine, een rekenmachine en een code-interpreter. Ze merkten op dat voordat het model daadwerkelijk een reactie spreekt of schrijft, het een specifiek intern signaal genereert dat aangeeft of het van plan is om een hulpmiddel te gebruiken. Door de interne staat van het model te vergelijken wanneer het besluit een hulpmiddel te gebruiken versus wanneer het besluit te antwoorden vanuit het geheugen, identificeerde het team een specifieke richting in de wiskundige ruimte van het model die de "drang" vertegenwoordigt om een hulpmiddel aan te roepen. Deze richting is niet gekoppeld aan een specifiek hulpmiddel zoals een rekenmachine of een zoekmachine; het is eerder een algemeen signaal dat simpelweg betekent: "gebruik een hulpmiddel".

Om deze ontdekking te testen, hebben de onderzoekers het model niet opnieuw getraind of hun prompts gewijzigd. In plaats daarvan namen ze deze geïdentificeerde richting en voegden deze toe aan de interne verwerking van het model tijdens het genereren van een antwoord. Door een kleine hoeveelheid van dit signaal toe te voegen, konden ze het model aanmoilen om vaker hulpmiddelen te gebruiken. Door het af te trekken, konden ze de drang om hulpmiddelen te gebruiken volledig onderdrukken. Ze ontdekten dat deze aanpassing met opmerkelijke precisie werkte. Naarmate ze de sterkte van het signaal vergrootten, steeg de frequentie waarmee het model hulpmiddelen aanriep soepel van bijna nul naar bijna honderd procent. Cruciaal was dat het model niet willekeurig begon met het aanroepen van hulpmiddelen. Wanneer de onderzoekers het model aanmoonden om vaker hulpmiddelen te gebruiken, richtte het zich specifiek op de vragen die het niet uit zichzelf kon beantwoorden, zoals obscure historische feiten of complexe berekeningen, terwijl het vragen waar het het antwoord al op wist, negeerde.

De studie onthulde ook dat dit controlemechanisme zeer aanpasbaar is. De onderzoekers extraheerden het "hulpmiddelgebruik"-signaal uit een opstelling met drie specifieke hulpmiddelen en pasten dit vervolgens toe op een volledig andere set hulpmiddelen, inclusل weer weersvoorspellingen, beursinformatie en het versturen van e-mails. Hetzelfde signaal slaagde erin om het model deze nieuwe hulpmiddelen met dezelfde effectiviteit te laten gebruiken als wanneer het specifiek daarvoor getraind zou zijn. Bovendien werkte deze methode bij een grote verscheidenheid aan verschillende modelarchitecturen, van kleinere, standaardmodellen tot massieve, complexe systemen die in de industrie worden gebruikt. In elk geval stelde het enkele signaal de onderzoekers in staat om het aanroepen van hulpmiddelen op of af te regelen zonder het vermogen van het model om correcte zinnen te vormen of het juiste hulpmiddel te selecteren zodra een oproep werd gedaan, te breken.

Wanneer de onderzoekers deze methode testten in een live omgeving waar het model daadwerkelijk webzoekopdrachten kon uitvoeren, waren de resultaten opmerkelijk. Op een set moeilijke feitelijke vragen gaf het ongewijzigde model slechts ongeveer 29 procent van de tijd het juiste antwoord, waarbij het vaak gokte wanneer het had moeten zoeken. Door het sturingssignaal toe te passen om het gebruik van hulpmiddelen aan te moedigen, sprong de nauwkeurigheid naar 56 procent, wat de prestaties van het model bijna verdubbelde. Deze verbetering ging gepaard met een beheersbare kostenpost, aangezien het model ongeveer één zoekopdracht per vraag uitvoerde. De onderzoekers waren in staat om een duidelijk pad te traceren tussen de kosten van het gebruik van hulpmiddelen en de nauwkeurigheid van de antwoorden, wat liet zien dat exploitanten een specifieke balans kunnen kiezen die aan hun behoeften voldoet.

Dit werk daagt de aanname uit dat het controleren van het gedrag van een AI zware hertraining of complexe prompt engineering vereist. Het demonstreert dat een cruciaal besluitvormingsproces — weten wanneer men externe hulp moet zoeken — is gecodeerd in een eenvoudige, lineaire richting binnen de interne staat van het model. Door deze richting te vinden en aan te passen, kunnen onderzoekers AI-agenten betrouwbaarder en efficiënter maken zonder hun fundamentele training te wijzigen. De methode biedt een lichtgewicht manier om de kosten en nauwkeurigheid van AI-systemen af te stemmen, waardoor ze hun hulpmiddelen alleen gebruiken wanneer dat nodig is en de valkuilen van zowel overmatige afhankelijkheid als gevaarlijk gokken vermijden. Hoewel de techniek de fouten in de uitvoering van een hulpmiddel niet oplost, biedt het een krachtige nieuwe hendel voor het beheren van de meest basale en kostbare keuze die een AI-agent maakt: of hij op eigen kracht handelt of hulp zoekt.

Technische Samenvatting: Instelbare Tool-Call Rates in LLM Agents via Representatie-sturing

Probleemstelling

Large Language Model (LLM) agents staan voor een kritieke afweging bij de beslissing of ze externe tools moeten aanroepen. Onjuiste beslissingen zijn kostbaar:

Ondergebruik: Agents falen in het aanroepen van tools wanneer dat wel nodig is, wat leidt tot zelfverzekerde maar incorrecte antwoorden op vragen die externe kennis vereisen (bijv. long-tail feiten).
Overgebruik: Agents roepen onnodig tools aan (bijv. voor eenvoudige rekenkunde), wat zorgt voor latentie, financiële kosten en potentiële onomkeerbare neveneffecten (bijv. het versturen van e-mails).

Bestaande mitigatiestrategieën, zoals fine-tuning of prompt engineering, zijn computationeel duur en moeilijk dynamisch aan te passen tijdens inferentie. Bovendien is het, hoewel eerder werk heeft aangetoond dat welke tool wordt geselecteerd lineair gerepresenteerd kan worden, nog onduidelijk of de binaire beslissing van of er überhaupt een tool wordt aangeroepen een vergelijkbare leesbare en stuurbare interne representatie bezit.

Methodologie

De auteurs stellen een training-vrije, inference-time interventiemethode voor gebaseerd op representatie-sturing. De pipeline bestaat uit drie componenten:

1. Propensity Proxy

In plaats van te vertrouwen op volledige generatie, extraheert de methode een "tool-use propensity" signaal uit een enkele forward pass. In een multi-tool harness begint het tool-calling formaat van het model met een speciaal token ( $t^\star$ , bijv. <tool_call>) dat gedeeld wordt door alle beschikbare tools. De propensity score $s(q)$ voor een query $q$ wordt gedefinieerd als de log-waarschijnlijkheid van het emitteren van dit token op de eerste generatiepositie:
$s(q) = \log p_\theta(t^\star | x(q))$
Deze metriek dient als een getrouwe ranking-signaal voor werkelijk toolgebruik zonder dat daadwerkelijke generatie vereist is.

2. Richting-extractie (Difference-of-Means)

Gebruikmakend van een multi-tool omgeving (neutrale systeemprompt, lijst met beschikbare tools), doen de auteurs het volgende:

Rangschikken van queries op basis van $s(q)$ .
Het vormen van een high-propensity set ( $H$ ) en een low-propensity set ( $L$ ).
Het berekenen van de steering vector $v_\ell$ op elke residual stream laag $\ell$ als het verschil van gemiddelden tussen de twee sets:
$v_\ell = \frac{1}{|H|} \sum_{q \in H} h_\ell(q) - \frac{1}{|L|} \sum_{q \in L} h_\ell(q)$
Deze vector vangt een algemeen "call-propensity" signaal op in plaats van een tool-specifiek signaal, aangezien de high-propensity set een mix van vraagtypen bevat.

3. Inference-Time Steering

Tijdens inferentie wordt de geëxtraheerde vector toegevoegd aan de residual stream op een specifieke decoderlaag $\ell$ :
$h'_\ell = h_\ell + \alpha v_\ell$
waarbij $\alpha$ een scalaire steering coëfficiënt is.

$\alpha > 0$ : Moedigt tool calls aan.
$\alpha < 0$ : Onderdrukt tool calls.
$\alpha = 0$ : Herstelt het ongewijzigde gedrag van het model.

De auteurs testen ook projectie-interventies (clamping en ablatie) om te verifiëren dat de projectie op deze richting causaal de beslissing controleert.

Belangrijkste Bijdragen

Identificatie van een Lineaire Controle-richting: Het paper identificeert een enkele lineaire richting in de residual stream die de binaire beslissing controleert of er een tool wordt aangeroepen. Dit maakt continue, inference-time controle mogelijk zonder hertraining of prompt-modificatie.
Kennis-selectiviteit en Tool-generaliteit:
- Kennis-selectief: Geïnduceerde calls concentreren zich op vragen die het model niet uit parametrische kennis kan beantwoorden (bijv. entiteiten met lage populariteit), in plaats van op vragen die het model al kent.
- Tool-generaal: Een richting die geëxtraheerd is uit een multi-tool harness, stuurt effectief tools aan die niet aanwezig waren in de extractie-set (bijv. vertaling, weer, SQL) met een kracht die vergelijkbaar is met vectoren die specifiek voor die tools zijn geëxtraheerd.
Ontkoppeling van Beslissingen: De steering richting controleert of een tool wordt aangeroepen zonder de beslissing van welke tool substantieel te veranderen. De routing-distributie over tools blijft model-afhankelijk en grotendeels behouden.
Cost-Accuracy Pareto Frontier: Met live tool-executie resulteert het variëren van de steering sterkte in een vloeiende Pareto frontier, waardoor operators de afweging tussen kosten (aantal calls) en nauwkeurigheid kunnen afstemmen.

Experimentele Resultaten

De methode werd geëvalueerd over vijf modellen (Qwen3 varianten, Gemma-4, gpt-oss) variërend van dense, Mixture-of-Experts (MoE), tot multimodale architecturen, gebruikmakend van datasets zoals PopQA (open-domain QA), GSM8K (rekenkunde), en BIG-Bench Hard (string/datum manipulatie).

Monotone Controle: Het variëren van $\alpha$ van $-2$ tot $+3$ beweegt de tool-call rate monotoon van bijna 0% naar meer dan 90% (of 100% voor sommige modellen) over verschillende tool-omgevingen (search, calculator, Python).
Verbetering van Nauwkeurigheid: Op de PopQA dataset met live web search, verhoogde steering de open-domain QA nauwkeurigheid van 0.29 (baseline) naar 0.56 bij ongeveer 1.1 searches per vraag.
Cross-Model Generalisatie: Dezelfde extractie en steering procedure werkte over alle geteste modellen, ongeacht hun baseline neiging tot ondergebruik of overgebruik van tools.
Laag-specificiteit: Het steering effect is het sterkst en meest monotoon in een midden- tot laat stadium van de decoderlagen (bijv. lagen 21–24 voor Qwen3-4B). Vroege lagen zijn inert en zeer late lagen vertonen erratisch gedrag.
Projectie-interventies: Het clippen (clamping) van de projectie van de residual stream op de steering vector verhoogde ook de tool-use monotoon, wat de causale link bevestigt, hoewel additieve steering een breder controlebereik bood.

Betekenis en Claims

Het paper claimt een lichtgewicht, training-vrije mechanisme te bieden voor het controleren van agent-gedrag dat de "black box" natuur van tool-gebruik beslissingen aanpakt. Door aan te tonen dat de beslissing om een tool aan te roepen gecodeerd is in een enkele, stuurbare lineaire richting, laten de auteurs zien dat:

Agents kunnen worden afgestemd om kostbare, onnodige calls te vermijden of om ontbrekende informatie op te halen zonder hertraining.
Deze controle robuust is over diverse model-architecturen en tool-sets.
De methode de dynamische optimalisatie van de cost-accuracy afweging in real-world implementaties mogelijk maakt.

De auteurs merken beperkingen op: de methode controleert de beslissing om aan te roepen, niet de kwaliteit van de uitvoering; voor reasoning-first modellen moet de reasoning span worden omzeild om de beslissingslaag te bereiken; en excessieve positieve steering kan het tool-call formaat corrumperen. Desalniettemin vestigt het werk een nieuw paradigma voor de inference-time controle van agentische gedragingen.