Riepilogo Tecnico: Diagnosi del Bias Intrinseco di Sovra-Invocazione negli Agenti LLM

Enunciato del Problema

Gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) si sono evoluti per utilizzare strumenti esterni (ad esempio motori di ricerca, API), ma mostrano una modalità di fallimento sistematica nota come sovrainvocazione (over-calling): la tendenza a invocare strumenti anche quando la richiesta dell'utente manca di informazioni necessarie o quando una risposta diretta è sufficiente.

La valutazione sul benchmark When2Call rivela un'asimmetria coerente in sei modelli appartenenti a tre famiglie (Qwen3.5, Gemma-3, Ministral-3). Mentre questi modelli raggiungono un'alta accuratezza quando è richiesto un invito a strumento (Accuratezza di Invito: 90%–99%), la loro accuratezza scende significativamente quando l'azione corretta è non invocare uno strumento (Accuratezza di Non-Invito: 2%–69%). Ciò comporta un intervallo di accuratezza complessiva compreso solo tra il 55% e il 70%. Questo bias degrada l'esperienza utente (ad esempio, generando allucinazioni di inviti a strumenti per richieste sottodeterminate) e aumenta i costi delle API nei sistemi distribuiti.

Metodologia

Gli autori propongono un'indagine meccanicistica sul processo decisionale interno degli agenti LLM, andando oltre l'osservazione empirica per arrivare a un'analisi causale.

1. Ipotesi del Bias Intrinseco (IBH)

Il documento ipotizza che la sovrainvocazione non sia semplicemente una funzione dei livelli di attivazione, ma derivi da un offset di INVITO indipendente dall'attivazione nella mappatura decisionale.

• Ipotesi: La decisione di invocare o meno è determinata da un margine di attivazione firmato ($m$) tra le direzioni delle funzionalità "INVITO" e "NON_INVITO". Tuttavia, il confine decisionale è spostato in modo tale che, anche a parità di attivazione ($m=0$), il modello favorisca l'invito. Il modello diventa neutrale nella decisione solo quando l'attivazione di NON_INVITO supera significativamente quella di INVITO.
• Formalizzazione: La probabilità di decisione è modellata come $P(\text{INVITO} | m) = \sigma(\beta m + \beta_0)$, dove $\beta_0 > 0$ rappresenta l'offset del bias intrinseco.

2. Scoperta delle Funzionalità tramite Autoencoder Sparsi (SAE)

Per testare l'IBH, gli autori impiegano Autoencoder Sparsi per decomporre le attivazioni del flusso residuo in funzionalità interpretabili.

• Addestramento: Gli SAE TopK sono addestrati sui flussi residui dei modelli target utilizzando un curriculum a due stadi: prima su un corpus ampio (OpenWebText2) per apprendere la geometria generale, e successivamente sul dataset When2Call per adattarsi ai contesti di utilizzo degli strumenti.
• Basi di Funzionalità: Vengono recuperati due insiemi di funzionalità allineati al comportamento:
  • $\mathcal{C}$: Funzionalità fortemente associate alle decisioni di INVITO osservate.
  • $\mathcal{N}$: Funzionalità fortemente associate alle decisioni di NON_INVITO osservate.
• Validazione: Sonde lineari addestrate su un manipolo di queste funzionalità (tipicamente $K \le 5$) prevedono la decisione di gating con un'accuratezza che si avvicina al limite superiore del flusso residuo grezzo, confermando che queste funzionalità catturano il segnale di gating essenziale.

3. Diagnosi e Quantificazione

Utilizzando le basi di funzionalità recuperate, gli autori analizzano la geometria delle attivazioni:

• Vista Condizionata alla Risposta: Le risposte NON_INVITO si concentrano nel semipiano dominante NON_INVITO, mentre le risposte INVITO si estendono attraverso la diagonale di parità in regioni dove l'evidenza NON_INVITO è comparabile o più forte.
• Vista Condizionata all'Input: Tra le risposte INVITO emesse, i "falsi inviti" (errori di sovrainvocazione) si trovano più vicini alla diagonale di parità rispetto ai "veri inviti", indicando che il bias spinge i casi deboli oltre il confine decisionale.
• Stima dell'Offset: La regressione logistica sul margine di attivazione firmato conferma un confine neutro negativo ($m^* < 0$) per tutti i modelli, quantificando il bias intrinseco $\beta_0$.

4. Intervento Causale: Stereotipia Adattiva Calibrata sul Margine (AMCS)

Per validare causalmente l'IBH, gli autori introducono l'AMCS, un metodo di steering in forma chiusa.

• Meccanismo: L'AMCS calcola un vettore di steering lungo le direzioni del decoder SAE di $\mathcal{C}$ e $\mathcal{N}$. Applica uno spostamento di contro-bias $\delta = -\beta_0 / \beta$ al margine di attivazione.
• Implementazione: Lo spostamento è distribuito tra le funzionalità classificate più in alto in base ai loro gap di attivazione. L'intervento viene applicato come una singola addizione vettoriale al flusso residuo al momento dell'inferenza, senza richiedere chiamate aggiuntive al modello o sintonizzazione iterativa.

Risultati Chiave

Gli esperimenti sono stati condotti su sei modelli addestrati all'istruzione (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B).

• Mitigazione della Sovrainvocazione: L'annullamento dell'offset diagnosticato tramite AMCS migliora significativamente l'Accuratezza di Non-Invito di 4-17 punti percentuali su cinque dei sei modelli.
• Preservazione degli Inviti Validi: Il metodo mantiene l'Accuratezza di Invito con un calo trascurabile (entro 5 punti) su cinque modelli, dimostrando che l'intervento corregge il bias senza sopprimere l'uso necessario degli strumenti.
• Accuratezza Complessiva: L'AMCS migliora l'accuratezza complessiva fino a 5 punti su diversi modelli (ad esempio, +5,10% su Qwen3.5-9B).
• Confronto con le Baseline:
  • Ingegneria dei Prompt: Sebbene efficace nell'aumentare l'accuratezza di Non-Invito, riduce drasticamente l'accuratezza di Invito (ad esempio, -56% su Ministral-3-8B), portando a una perdita netta nelle prestazioni complessive.
  • Stereoetipia Unilaterale: Metodi che sopprimono solo le funzionalità INVITO o promuovono solo le funzionalità NON_INVITO non riescono a raggiungere l'equilibrio fornito dall'AMCS, producendo guadagni minori nell'accuratezza complessiva.
• Limitazione di Gemma-3: I modelli Gemma-3 hanno mostrato poca separazione tra inviti veri e falsi lungo gli assi SAE, risultando in una leva minima per interventi basati sul margine. Questi sono stati trattati come casi di riferimento piuttosto che come prove primarie.

Significato e Affermazioni

Il documento afferma di ricontestualizzare la sovrainvocazione da un fenomeno empirico a un oggetto meccanicistico che può essere misurato, modellato e aggiustato causalmente.

1. Insight Meccanicistico: Il lavoro dimostra che il gating dell'uso degli strumenti è governato da un bias intrinseco indipendente dall'attivazione e non solo dalla forza relativa delle attivazioni delle funzionalità.
2. Correzione Causale: Identificando e annullando il termine di offset specifico ($\beta_0$) tramite steering basato su SAE, gli autori forniscono una validazione causale dell'Ipotesi del Bias Intrinseco.
3. Controllabilità: L'offset diagnosticato agisce come una "manopola" per lo sforzo di invito. L'AMCS funge da primo passo verso un'interfaccia di "sforzo di invito", consentendo ai sistemi di sintonizzare l'equilibrio tra l'invocazione eager degli strumenti e la verifica da parte dell'utente senza riaddestrare il modello.
4. Ambito: Lo studio si concentra sulla correzione al momento dell'inferenza per i modelli distribuiti. Non traccia le origini durante l'addestramento del bias, né afferma di risolvere problemi di pianificazione degli agenti a lungo orizzonte oltre l'unità decisionale specifica invito-verso-verifica.

Il codice e i dati sono disponibili all'indirizzo https://github.com/SKURA502/agent-sae/.