Technische Samenvatting: Diagnose van Inherente Over-Calling Bias in LLM Agents

Probleemstelling

Grote Taalmodellen (LLM) agents zijn geëvolueerd om externe hulpmiddelen (zoals zoekmachines, API's) te gebruiken, maar vertonen een systematische faalmodus die bekendstaat als over-calling: de neiging om hulpmiddelen aan te roepen zelfs wanneer het verzoek van de gebruiker onvoldoende informatie bevat of wanneer een direct antwoord afdoende is.

Evaluatie op de When2Call benchmark onthult een consistente asymmetrie over zes modellen uit drie families (Qwen3.5, Gemma-3, Ministral-3). Hoewel deze modellen een hoge nauwkeurigheid bereiken wanneer een hulpmiddeloproep vereist is (Call Accuracy: 90%–99%), daalt hun nauwkeurigheid aanzienlijk wanneer de juiste actie niet is om een hulpmiddel aan te roepen (No-Call Accuracy: 2%–69%). Dit resulteert in een totale nauwkeurigheidsrange van slechts 55%–70%. Deze bias verslechtert de gebruikerservaring (bijvoorbeeld door hallucinaties van hulpmiddeloproepen voor onvoldoende gespecificeerde verzoeken) en verhoogt de API-kosten in ingezette systemen.

Methodologie

De auteurs stellen een mechanistisch onderzoek voor naar het interne besluitvormingsproces van LLM-agents, waarbij ze verder gaan dan empirische observatie naar causale analyse.

1. Intrinsic Bias Hypothesis (IBH)

Het artikel stelt dat over-calling niet louter een functie is van activatieniveaus, maar voortkomt uit een activatie-onafhankelijke CALL-offset in de besluitvormingsmapping.

• Hypothese: De beslissing om al dan niet aan te roepen wordt bepaald door een getekende activatiemarge ($m$) tussen de "CALL" en "NO_CALL" feature-richtingen. De besluitvormingsgrens is echter zodanig verschoven dat het model, zelfs bij activatie-pariteit ($m=0$), de voorkeur geeft aan het aanroepen. Het model wordt pas besluitvormings-neutraal wanneer de NO_CALL-activatie de CALL-activatie aanzienlijk overtreft.
• Formalisatie: De beslissingswaarschijnlijkheid wordt gemodelleerd als $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$, waarbij $\beta_0 > 0$ de inherente bias-offset vertegenwoordigt.

2. Feature Discovery via Sparse Autoencoders (SAEs)

Om IBH te testen, gebruiken de auteurs Sparse Autoencoders om residual-stream-activaties te ontleden in interpreteerbare features.

• Training: TopK SAE's worden getraind op de residual streams van doelmodellen met behulp van een twee-fasen curriculum: eerst op een breed corpus (OpenWebText2) om algemene geometrie te leren, en vervolgens op de When2Call-dataset om zich aan te passen aan tool-use contexten.
• Feature Bases: Twee gedrags-gealigneerde feature sets worden hersteld:
  • $\mathcal{C}$: Features die sterk geassocieerd zijn met waargenomen CALL beslissingen.
  • $\mathcal{N}$: Features die sterk geassocieerd zijn met waargenomen NO_CALL beslissingen.
• Validatie: Lineaire probes getraind op een handvol van deze features (typisch $K \le 5$) voorspellen de gating-beslissing met een nauwkeurigheid die de bovengrens van de ruwe residual stream benadert, wat bevestigt dat deze features het essentiële gating-signaal vastleggen.

3. Diagnose en Kwantificering

Met behulp van de herstelde feature bases analyseren de auteurs de activatiegeometrie:

• Response-Conditioned View: NO_CALL-responsen concentreren zich in het NO_CALL-dominante halfvlak, terwijl CALL-responsen zich uitstrekken over de pariteitsdiagonaal naar gebieden waar NO_CALL-bewijs vergelijkbaar of sterker is.
• Input-Conditioned View: Onder de uitgezonden CALL-responsen liggen "valse oproepen" (over-calling fouten) dichter bij de pariteitsdiagonaal dan "ware oproepen", wat aangeeft dat de bias zwakke gevallen over de besluitvormingsgrens duwt.
• Offset Schatting: Logistische regressie op de getekende activatiemarge bevestigt een negatieve neutrale grens ($m^* < 0$) voor alle modellen, waarmee de inherente bias $\beta_0$ wordt gekwantificeerd.

4. Causale Interventie: Adaptive Margin-Calibrated Steering (AMCS)

Om IBH causaal te valideren, introduceren de auteurs AMCS, een methode voor sturing in gesloten vorm.

• Mechanisme: AMCS berekent een stuurvector langs de SAE-decoder-richtingen van $\mathcal{C}$ en $\mathcal{N}$. Het past een tegen-bias verschuiving $\delta = -\beta_0 / \beta$ toe op de activatiemarge.
• Implementatie: De verschuiving wordt verdeeld over de best gerangschikte features op basis van hun activatiegaten. De interventie wordt toegepast als een enkele vectoradditie aan de residual stream tijdens inferentie, zonder extra modeloproepen of iteratieve afstelling.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op zes instructie-getrainde modellen (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B).

• Mitigatie van Over-Calling: Het opheffen van de gediagnosticeerde offset via AMCS verbetert de No-Call Accuracy significant met 4 tot 17 procentpunten op vijf van de zes modellen.
• Behoud van Geldige Oproepen: De methode behoudt de Call Accuracy met een verwaarloosbare daling (binnen 5 punten) op vijf modellen, wat aantoont dat de interventie de bias corrigeert zonder noodzakelijk tool-gebruik te onderdrukken.
• Totale Nauwkeurigheid: AMCS verbetert de totale nauwkeurigheid met tot 5 punten op meerdere modellen (bijvoorbeeld +5,10% op Qwen3.5-9B).
• Vergelijking met Baselines:
  • Prompt Engineering: Hoewel effectief in het verhogen van No-Call nauwkeurigheid, vermindert het drastisch de Call nauwkeurigheid (bijvoorbeeld -56% op Ministral-3-8B), wat leidt tot een netto verlies in algehele prestaties.
  • Eenzijdige Sturing: Methoden die alleen CALL-features onderdrukken of alleen NO_CALL-features promoten, slagen er niet in de balans te bereiken die AMCS biedt, wat resulteert in kleinere winsten in totale nauwkeurigheid.
• Gemma-3 Beperking: De Gemma-3-modellen vertoonden weinig scheiding tussen ware en valse oproepen langs de SAE-assen, wat resulteerde in minimale hefboomwerking voor op marge gebaseerde interventies. Deze werden behandeld als referentiekasussen in plaats van primaire bewijzen.

Betekenis en Claims

Het artikel claimt over-calling te herformuleren van een empirisch fenomeen naar een mechanistisch object dat gemeten, gemodelleerd en causaal kan worden aangepast.

1. Mechanistisch Inzicht: Het werk toont aan dat tool-use gating wordt geregeerd door een inherente, activatie-onafhankelijke bias en niet alleen door de relatieve sterkte van feature-activaties.
2. Causale Correctie: Door de specifieke offset-term ($\beta_0$) te identificeren en te annuleren via SAE-gebaseerde sturing, bieden de auteurs een causale validatie van de Intrinsic Bias Hypothesis.
3. Controleerbaarheid: De gediagnosticeerde offset fungeert als een "knop" voor inspanning bij het aanroepen. AMCS dient als een eerste stap naar een "calling effort" interface, waarmee systemen de balans kunnen afstemmen tussen ijverige hulpmiddeloproepen en gebruikersverificatie zonder het model opnieuw te trainen.
4. Scope: De studie richt zich op correctie tijdens inferentie voor ingezette modellen. Het traceert niet de oorsprong van de bias tijdens de trainingstijd, noch claimt het langere horizon agent-planningsproblemen op te lossen buiten de specifieke call-versus-verify besluit-eenheid.

De code en data zijn beschikbaar op https://github.com/SKURA502/agent-sae/.