Riepilogo Tecnico: Individuazione di Circuiti Specifici per Prompt Interpretabili nei Modelli Linguistici

Enunciato del Problema

Comprendere i meccanismi computazionali interni dei Large Language Models (LLM) rimane una sfida centrale nell'interpretabilità meccanica. Sebbene lavori precedenti abbiano stabilito che i modelli operano tramite "circuiti"—percorsi causali di componenti che scrivono e leggono informazioni dal flusso residuo—i metodi esistenti per tracciare questi circuiti presentano limitazioni significative. Gli approcci tradizionali spesso si basano su patching delle attivazioni, input controfattuali o modelli di sostituzione, che sono computazionalmente costosi, richiedono molteplici passaggi in avanti e possono introdurre rumore o artefatti. Inoltre, i precedenti metodi di tracciamento dei circuiti producono spesso grafi grandi e rumorosi che oscurano i segnali specifici a bassa dimensionalità utilizzati per la comunicazione, rendendo difficile derivare spiegazioni comprensibili all'uomo per il comportamento del modello su base per-prompt.

Metodologia: ACC++

Il documento introduce ACC++ (Attention-Causal Communication++), un metodo migliorato di tracciamento dei circuiti che si basa sul principio della comunicazione causale-attenzione (ACC). ACC++ è progettato per identificare i segnali specifici (contenuti di sottospazi a bassa dimensionalità) che causano una testa di attenzione ad attendere a una specifica coppia di token.

Meccanismo Principale

ACC++ opera in un singolo passaggio in avanti senza richiedere modelli di sostituzione, patching o input controfattuali. Il metodo procede in quattro passaggi per una data testa di attenzione $(\ell, a)$ che attende a una coppia di token destinazione-sorgente $(d, s)$:

1. Decomposizione: Il flusso residuo di destinazione $x_d$ viene decomposto in una somma di output da componenti a monte (embedding, precedenti teste di attenzione, MLP).
2. Costruzione del Segnale Candidato: Utilizzando la Decomposizione ai Valori Singolari (SVD) della matrice Query-Key (QK) della testa $\Omega = W_Q W_K^\top$, il metodo proietta gli output dei componenti a monte sulle direzioni dei vettori singolari. Ciò crea un insieme di segnali candidati, dove ogni segnale corrisponde a un componente a monte specifico che scrive in una specifica direzione singolare (un candidato di rango 1).
   • Avanzamento Tecnico: Per gestire l'eterogeneità del modello (ad esempio, termini di bias e Embedding Posizionali Rotazionali/RoPE), ACC++ unifica il calcolo dell'attenzione in una singola forma bilineare $\tilde{x}_d^\top \Omega \tilde{x}_s$ incorporando le rotazioni di bias e RoPE nelle rappresentazioni dei token. Ciò consente una singola analisi SVD per testa indipendentemente dall'architettura.
3. Attribuzione e Punteggio: Il contributo di ogni segnale candidato al peso di attenzione post-softmax $A_{ds}$ viene valutato utilizzando i Gradienti Integrati (IG). A differenza di lavori precedenti che utilizzavano surrogati lineari per i punteggi pre-softmax, ACC++ valuta esplicitamente l'impatto non lineare della rimozione del segnale sulla distribuzione completa Softmax.
4. Ricerca Controfattuale Gredda: Partendo dall'insieme completo di candidati, l'algoritmo rimuove in modo greedy i segnali con punteggio più alto fino a quando il peso di attenzione $A_{ds}$ scende sotto una soglia $\tau$. L'insieme rimosso costituisce il circuito causale per quella specifica decisione di attenzione.

Costruzione del Circuito

Un circuito completo per un prompt viene costruito applicando ricorsivamente ACC++: partendo dai componenti con un effetto diretto sul logit target, il metodo traccia le attivazioni delle attention a monte, identificando i segnali causali per ciascuna, fino a quando non rimangono ulteriori componenti a monte.

Contributi Chiave

1. Avanzamenti Concettuali e Tecnici

• Identificazione Precisa dei Segnali: ACC++ identifica i segnali come il prodotto incrociato di componenti a monte e direzioni di vettori singolari, piuttosto che identificare componenti e canali indipendentemente. Ciò produce segnali a dimensionalità inferiore e più precisi.
• Contabilità dell'Attenzione Non Lineare: Definendo l'obiettivo controfattuale direttamente sul peso di attenzione post-Softmax (piuttosto che su un surrogato lineare), ACC++ evita componenti spurie e identifica circuiti più piccoli e accurati.
• Analisi QK Unificata: Il metodo gestisce bias e RoPE trasformando i token, consentendo un'analisi coerente basata su SVD attraverso diverse architetture di modello (ad esempio, GPT-2, Pythia, Gemma).

2. Interpretabilità Automatica

Gli autori dimostrano che una frazione sostanziale dei segnali ACC++ è interpretabile. Essi impiegano una pipeline automatizzata (adattata da [18]) che:

• Recupera contesti ad alta attivazione per ogni segnale da un dataset (The Pile).
• Utilizza un LLM per generare una breve descrizione in linguaggio naturale del segnale.
• Convalida la descrizione utilizzando un protocollo LLM-as-a-judge per distinguere segnale da rumore.
  I risultati mostrano che molti segnali ammettono brevi descrizioni coerenti in linguaggio naturale (ad esempio, "secondo elemento in una coppia parallela", "nome proprio", "delimitatore strutturale").

3. Analisi del Circuito Specifico per Prompt

ACC++ consente l'analisi dei circuiti su base per-prompt, rivelando che il comportamento del modello non è statico ma varia significativamente con la struttura e la lingua del prompt.

Risultati e Approfondimenti

1. Compattezza e Qualità del Circuito

Attraverso tre modelli (GPT-2 Small, Pythia-160M, Gemma-2 2B) e tre compiti (Identificazione dell'Oggetto Indiretto, Greater-Than, Pronome di Genere), i circuiti ACC++ sono da 2x a 10x più piccoli di quelli prodotti dal metodo ACC originale.

• Dimensionalità: La maggior parte dei segnali ACC++ è di rango 1 (utilizzando una singola direzione singolare), rispetto ai segnali a dimensionalità più elevata nei lavori precedenti.
• Validità Causale: Gli studi di ablazione confermano che la rimozione dei segnali ACC++ impatta significativamente le prestazioni del modello sul compito target perturbando minimamente il flusso residuo (similarità del coseno $\approx 0.99$), confermando il loro ruolo causale.

2. Sensibilità alla Struttura del Prompt (Compito IOI)

Nel compito di Identificazione dell'Oggetto Indiretto (IOI), il documento rileva che i circuiti sono altamente sensibili ai template del prompt:

• GPT-2: I circuiti si raggruppano strettamente per struttura del template di alto livello (ordine ABBA vs BABA dei nomi). La stessa testa "spostatrice di nomi" (9,9) utilizza segnali in ingresso fondamentalmente diversi a seconda del template (ad esempio, "secondo elemento in una coppia" vs. indizi strutturali generici).
• Pythia: I circuiti si raggruppano per cambiamenti di formulazione di basso livello (ad esempio, "Mentre" vs "Poi"), indicando sensibilità alla formulazione superficiale piuttosto che solo all'ordine strutturale.
• Gemma-2: Mostra un raggruppamento più complesso e meno dipendente dal template, suggerendo una dipendenza da dettagli del prompt più fini.

3. Meccanismi Multilingue (Compito mIOI)

In un setting IOI multilingue (Inglese, Spagnolo, Francese, Portoghese):

• Riutilizzo dei Componenti: I modelli riutilizzano le stesse teste di attenzione e MLP attraverso le lingue.
• Segnali Specifici per Lingua: Sebbene i componenti siano condivisi, i segnali che fluiscono attraverso di essi sono spesso specifici per la lingua.
• Correlazione Linguistica: La distanza tra i circuiti di lingue diverse correla fortemente con la distanza tipologica tra quelle lingue (distanze sintattiche e genetiche). Ad esempio, i circuiti spagnolo e portoghese sono più simili tra loro rispetto a quelli inglese o francese.

Significato e Affermazioni

Il documento afferma che ACC++ fornisce uno strumento pratico e scalabile per l'interpretabilità meccanica che non si basa su interventi controfattuali costosi. La sua principale rilevanza risiede in:

1. Scalabilità: Rendere l'analisi del circuito per-prompt fattibile su larga scala richiedendo un singolo passaggio in avanti.
2. Interpretabilità: Fornire un collegamento diretto tra canali di comunicazione a bassa dimensionalità e descrizioni in linguaggio naturale leggibili dall'uomo, colmando il divario tra meccanismi matematici e comprensione semantica.
3. Comprensione Sottile: Rivelare che i "circuiti" del modello non sono monolitici ma sono assemblaggi dinamici di componenti e segnali che si adattano alla struttura del prompt e alla lingua. Ciò sfida la visione di un singolo circuito universale per un compito, mostrando invece uno spettro di meccanismi specifici per prompt.

Gli autori notano limitazioni, inclusa la natura euristica della soglia $\tau$, la mancanza di tracciamento per i segnali indotti da FFN e il fatto che le interpretazioni automatizzate sono suggestive piuttosto che conclusive. Sottolineano che i risultati multilingue si basano su un piccolo numero di coppie di lingue e dovrebbero essere visti come indicativi di una tendenza più ampia piuttosto che come prova definitiva.