Riassunto Tecnico: Localizzazione dei Percorsi di Ancoraggio nei Modelli Linguistici

Definizione del Problema

I Large Language Models (LLM), come gli esseri umani, esibiscono un bias di ancoraggio (anchoring bias), in cui un valore numerico irrilevante in un prompt sposta i giudizi successivi verso quel valore, anche quando il modello possiede la corretta conoscenza fattuale. Mentre il lavoro precedente ha stabilito l'esistenza di questo fenomeno comportamentale, lo ha trattato ampiamente come una scatola nera, misurando l'entità dello spostamento senza spiegarne i meccanismi interni. Questo articolo affronta il vuoto nella interpretabilità meccanicistica: nello specifico, l'identificazione di quali percorsi interni all'interno di un LLM trasportino il segnale che causa la competizione tra un ancora irrilevante e la risposta corretta durante la predizione.

Metodologia

1. Configurazione del Task Controllato

Gli autori hanno adattato 100 domande di stima numerica dal dataset Open Anchoring Question (OpAQ) in un formato a scelta multipla controllato.

• Struttura del Prompt: Ogni elemento include una domanda fattuale, una risposta corretta e una frase irrilevante di tipo "slot machine" contenente un ancora basso (low anchor), un ancora alto (high anchor) o un controllo con token corrispondente (stringa non numerica).
• Spazio delle Risposte: Un set fisso di nove opzioni viene utilizzato in tutte le condizioni, contenente la risposta corretta, gli ancori e valori intermedi. Al modello viene istruito di outputare solo la lettera della risposta.
• Modelli Valutati: Quattro modelli decoder-only a pesi aperti delle famiglie Qwen2.5 e Llama-3.1:
  • Modelli base: Qwen2.5-7B, Llama-3.1-8B.
  • Varianti istruite (instruction-tuned): Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct.

2. Metriche

• Metrica Comportamentale: Lo spostamento del Valore Atteso Normalizzato (EV) misura la direzione e l'entità dello spostamento nella distribuzione di probabilità del modello verso l'ancora.
• Metrica di Attribuzione: Viene definita una metrica di differenza dei logit ($m$) come la differenza tra il logit della risposta corretta e il logit della risposta dell'ancora attivo ($m = \text{logit}(y_{correct}) - \text{logit}(y_{anchor})$).
  • Una diminuzione di $m$ indica che l'ancora sta diventando più competitivo.
  • Il cambiamento in questa metrica ($\Delta m$) tra i prompt ancorati e quelli di controllo funge da target per la localizzazione del circuito.
  • La validazione ha confermato che $\Delta m$ correla fortemente con gli spostamenti EV comportamentali.

3. Framework di Localizzazione del Circuito

Lo studio impiega la localizzazione del circuito basata sull'attribuzione per identificare il sottografo minimo del modello responsabile dell'effetto di ancoraggio.

• Rappresentazione a Grafo: Il transformer è trattato come un grafo computazionale in cui i nodi sono componenti (testine di attenzione, MLP) e gli archi sono percorsi diretti.
• Metodi Confrontati:
  • Node Attribution Patching (NAP/NAP-IG): Valuta i singoli componenti.
  • Edge Attribution Patching (EAP/EAP-IG): Valuta i percorsi diretti tra i componenti.
  • Integrated Gradients (IG): Le varianti (NAP-IG, EAP-IG) mediano i gradienti lungo un percorso di interpolazione per migliorare la qualità dell'attribuzione.
• Valutazione della Fedeltà (Faithfulness): Gli autori misurano il Circuit Performance Recovery (CPR). Mantengono i primi $k\%$ degli archi/nodi classificati dalla corsa "pulita" (controllo) e applicano il patching al resto con le attivazioni della corsa "corrotta" (ancorata). Un punteggio CPR elevato indica che il sottografo mantenuto recupera con successo il comportamento non ancorato del modello.

Contributi Chiave

1. Validazione della Metrica: Il paper stabilisce una metrica validata a livello di risposta (differenza dei logit) che traccia l'ancoraggio comportamentale, consentendo l'uso dell'attribuzione basata sui gradienti per la localizzazione del circuito.
2. Localizzazione Edge vs. Node: Lo studio dimostra che i metodi a livello di arco (edge-level) (EAP, EAP-IG) recuperano il segnale di ancoraggio in modo significativamente più fedele rispetto ai metodi a livello di nodo (NAP, NAP-IG). Ciò suggerisce che il bias sia meglio compreso come una proprietà dei percorsi tra i componenti piuttosto che come componenti isolati "biased".
3. Analisi Strutturale dei Circuiti:
   • Pattern per Livello (Layer-wise): I modelli Qwen concentrano l'attribuzione nei livelli medi-tardivi, mentre i modelli Llama la concentrano nei livelli iniziali.
   • Tipi di Componenti: I circuiti con il ranking più alto sono dominati da archi attention-to-attention (circa il 68–80% degli archi selezionati), con un coinvolgimento significativo delle connessioni attention-MLP, suggerendo che gli MLP partecipano tramite percorsi mediati dall'attenzione.
4. Risultati sulla Trasferibilità:
   • All'interno del Modello: I circuiti dell'ancora basso e dell'ancora alto condividono una struttura sostanziale (circa il 66–71% degli archi condivisi) e si trasferiscono bene attraverso i contrasti di ancoraggio all'interno dello stesso modello.
   • Tra Varianti (Cross-Variant): Sebbene i modelli base e quelli istruiti condividano ampi pattern di attribuzione per livello, gli specifici archi sparsi che contano di più cambiano dopo l'instruction tuning. Il trasferimento cross-variant è meno affidabile, in particolare per i contrasti di ancoraggio basso e per i circuiti sparsi.

Risultati

• Fedeltà: EAP-IG (Edge Attribution Patching con Integrated Gradients) è emerso come il metodo di localizzazione più fedele, raggiungendo punteggi CPR spesso superiori a 0.90 in vari modelli e condizioni. Al contrario, i metodi a livello di nodo (NAP) hanno ottenuto punteggi significativamente inferiori (ad esempio, 0.36–0.67).
• Struttura dell'Ancoraggio:
  • I circuiti dell'ancora basso e dell'ancora alto all'interno di un singolo modello sono quasi identici nella loro distribuzione di profondità per livello (correlazione di Pearson > 0.99) e condividono circa due terzi dei loro archi con il ranking più alto.
  • L'instruction tuning preserva la profondità generale dell'attribuzione ma altera gli specifici archi sparsi che guidano l'effetto. Ad esempio, in Qwen-7B, la fedeltà cross-variant per i contrasti di ancoraggio basso è scesa da 0.917 (matched) a 0.291 utilizzando il ranking del modello istruito.
• Differenze tra Modelli: I modelli Qwen mostrano un ancoraggio comportamentale più forte e un'attribuzione nei livelli più tardivi rispetto ai modelli Llama, che mostrano una concentrazione nei livelli iniziali.

Significato e Rivendicazioni

Il paper sostiene di fornire un account meccanicistico di come i segnali decisionali relativi all'ancoraggio siano trasportati all'interno dei modelli linguistici. Inquadrando l'ancoraggio come un problema di localizzazione del circuito, gli autori vanno oltre la misurazione del fatto che un bias avvenga per comprendere come esso venga computato.

Le principali implicazioni tratte dagli autori includono:

• Percorso vs. Componente: L'ancoraggio è un fenomeno a livello di percorso; isolare specifici nodi "biased" è meno efficace che identificare il flusso di informazioni tra i componenti.
• Meccanismi Condivisi: Il forte trasferimento tra l'ancora basso e l'ancora alto suggerisce un meccanismo interno condiviso per la sensibilità all'ancora, piuttosto che modalità di errore distinte per diverse direzioni di ancoraggio.
• Sensibilità al Post-Training: La ridotta trasferibilità tra i modelli base e quelli istruiti indica che il post-training cambia quali percorsi specifici sono critici per questo bias, implicando che le strategie di mitigazione potrebbero dover essere rivalutate dopo il fine-tuning.
• Contributo Metodologico: Il lavoro dimostra l'utilità dell'applicazione della localizzazione del circuito ai bias cognitivi, offrendo un framework per passare dall'osservazione comportamentale alla comprensione meccanicistica.

Gli autori rimangono modesti, osservando che le loro scoperte sono specifiche per la formulazione a scelta multipla e per un dataset specifico (OpAQ), e che i circuiti identificati rappresentano il meccanismo per la metrica validata della differenza dei logit piuttosto che ogni possibile manifestazione di ancoraggio nella generazione open-ended.