Sintesi Tecnica: Emergenza di Circuiti Minimali per l'Identificazione dell'Oggetto Indiretto in Transformer Solo-Attention

Definizione del Problema

L'interpretabilità meccanicistica mira a l'ingegneria inversa dei Large Language Models (LLM) per trasformarli in circuiti computazionali comprensibili all'uomo. Tuttavia, la scala, le connessioni residue e le non-linearità dei moderni LLM spesso oscurano i meccanismi minimi richiesti per specifici compiti di ragionamento. Mentre lavori precedenti (ad es., Wang et al., 2023) hanno identificato complessi circuiti di attenzione multi-hop per l'Identificazione dell'Oggetto Indiretto (IOI) in modelli pre-addestrati come GPT-2 small, tali meccanismi emergono all'interno di un complesso contesto di ottimizzazione che coinvolge il linguaggio naturale e pressioni multi-task. La sfida è determinare se tali capacità di ragionamento possano emergere da architetture più semplici e vincolate e isolare i fondamentali motivi computazionali coinvolti.

Metodologia

Per affrontare questo problema, gli autori hanno addestrato modelli transformer minimali, basati solo sull'attenzione (attention-only), partendo da zero su una versione puramente simbolica del compito IOI. Questo approccio rimuove i confondimenti linguistici e isola la sfida centrale del ragionamento relazionale.

• Formulazione del Task: Il compito IOI prevede la predizione dell'oggetto indiretto (IO) in una frase in cui vengono introdotti un soggetto (S) e un IO, e il soggetto viene ripetuto. Il modello deve predire il nome non ripetuto. Gli autori hanno astratto questo processo in una sequenza simbolica di 6 token: <BOS> IO S1 S2 <MID> ?. Il modello predice il token alla posizione <MID>, che deve essere il nome non ripetuto prima del token <MID> (ad es., distinguendo tra i template "BABA" e "BAAB").
• Architettura del Modello: Lo studio ha utilizzato transformer attention-only con embedding posizionali assoluti, omettendo MLP e normalizzazione dei layer per isolare i meccanismi di attenzione.
  • Configurazione 1: Un modello a singolo strato con due teste di attenzione.
  • Configurazione 2: Un modello a due strati con una singola testa di attenzione per strato.
  • Vocabolario: 8 token totali (6 nomi + <BOS> + <MID>).
  • Addestramento: I modelli sono stati addestrati su tutte le 60 possibili sequenze uniche utilizzando la loss cross-entropy, l'ottimizzatore AdamW e uno scheduler del tasso di apprendimento OneCycle.
• Tecniche di Analisi: Gli autori hanno impiegato la decomposizione della corrente residua (residual stream), l'analisi spettrale delle matrici di transizione Query-Key (QK) e Output-Value (OV), interventi sugli embedding (LogitLens) e ablazioni mirate (rimozione degli embedding posizionali o di specifici percorsi di composizione).

Risultati Chiave

1. Fallimento dei Modelli a Singola Testa

Un modello a zero strati (bigram) e un modello a singolo strato con singola testa hanno fallito nel risolvere il compito. Il modello a singola testa assegnava una probabilità circa uguale a entrambi i nomi nella clausola dipendente. L'analisi ha rivelato che una singola testa non può eseguire simultaneamente la "rilevazione del riferimento" (identificazione del token corretto) e il "copiamento" (propagazione di tale informazione alla posizione di predizione); questi ruoli apparivano funzionalmente incompatibili all'interno di una singola testa di attenzione.

2. Successo del Modello a Due Teste e Uno Strato

Un modello a singolo strato con due teste di attenzione ha raggiunto il 100% di accuratezza. L'analisi meccanicistica ha rivelato una divisione del lavoro altamente interpretabile:

• Testa 1 (Additiva): Attende equamente a entrambi i nomi nella clausola dipendente iniziale. Il suo output si allinea con la direzione della somma degli embedding dei nomi (Corretto + Errato). Agisce come un aggregatore di segnali referenziali.
• Testa 2 (Contrastiva): Attende al soggetto della clausola principale e al nome non ripetuto nella clausola dipendente. Il suo output si allinea con la direzione della differenza (Corretto – Errato). Esegue la soppressione contrastiva dell'alternativa errata.
• Meccanismo: I logit finali sono computati tramite la combinazione additiva di queste due teste. Il segnale additivo della Testa 1 e il segnale contrastivo della Testa 2 risultano nella cancellazione del logit del token errato e nell'amplificazione del logit del token corretto.

3. Analisi Spettrale

L'analisi spettrale delle matrici QK e OV ha confermato la specializzazione funzionale:

• Testa 1: Mostra una dinamica di attenzione relativamente neutra con un mix di autovalori amplificanti e di soppressione, agendo come un meccanismo di "passaggio" o copia.
• Testa 2: Mostra forti dinamiche di soppressione (autovalori negativi dominanti in QK) e un mix di contributi additivi e rotazionali (contrastivi) nell'circuito OV, sottraendo efficacemente il contributo del token errato.

4. Ruolo degli Embedding Posizionali

Quando gli embedding posizionali sono stati rimossi, il modello ha comunque raggiunto circa il 70% di accuratezza, affidandosi alle relazioni contestuali semantiche. Tuttavia, con gli embedding posizionali, il modello ha raggiunto il 100% di accuratezza e si è decomposto perfettamente nei ruoli additivo-contrastivi. I segnali posizionali hanno semplificato il panorama dell'ottimizzazione, permettendo alle teste di specializzarsi in modo più pulito.

5. Modello a Due Strati e Singola Testa

Un modello a due strati con una testa per strato ha anch'esso risolto il compito. A differenza della specializzazione parallela del modello a due teste, questa architettura si basa sulla composizione tra i layer. Gli studi di ablazione sulle composizioni Q, K e V hanno mostrato che il modello si affida pesantemente alla composizione Q (circa il 100% di calo dell'accuratezza quando ablata) e alla composizione V (circa il 93% di calo), indicando che il secondo strato legge e trasforma l'informazione aggregata dal primo strato per risolvere il compito.

Contributi

Il documento apporta tre contributi primari:

1. Sufficienza Minimale: Dimostra che un modello attention-only a un solo strato e due teste è sufficiente per risolvere perfettamente il compito IOI su un template fisso, un compito precedentemente ritenuto richiedere complessi circuiti multi-hop in modelli più grandi.
2. Scoperta di Circuiti Meccanicistici: Rivela un circuito minimale dove la soluzione è computata tramite una diretta combinazione additiva di output specializzati di teste di attenzione (una additiva, una contrastiva), in contrasto con i complessi pipeline multi-hop trovati in GPT-2 small.
3. Intuizione sulla Dinamica di Addestramento: Argomenta che la complessità dei circuiti nei modelli grandi e ampiamente pre-addestrati può derivare da pressioni multi-task, mentre l'addestramento vincolato al compito può rivelare meccanismi più parsimoniosi e interpretabili.

Significato e Rivendicazioni

Gli autori affermano che il loro lavoro fornisce un banco di prova controllato per sondare le fondamenta computazionali del ragionamento dei transformer. Privando il sistema della complessità del linguaggio naturale e degli obiettivi di pre-addestramento, dimostrano che:

• Il training specifico per il task induce circuiti minimi altamente interpretabili.
• La complessità "black box" degli LLM potrebbe non essere inerente al compito di ragionamento stesso, ma piuttosto un sottoprodotto del panorama di ottimizzazione in contesti su larga scala e multi-task.
• I motivi computazionali specifici identificati (circuiti additivo-contrastivi e composizione per layer) offrono una base per comprendere come modelli più grandi potrebbero implementare ragionamenti simili, suggerendo che la logica fondamentale della risoluzione dell'IOI è più semplice di quanto osservato nei modelli pre-addestrati.

Il lavoro rimane modesto riguardo al proprio ambito, riconoscendo che queste scoperte sono limitate a strutture di sequenza rigide e non esplorano ancora come questi circuiti minimi scalino verso lunghezze di sequenza variabili, sintassi dinamica o la dinamica dello sviluppo durante l'addestramento.