Riepilogo Tecnico: Circuiti di Sonda Spettrale

Enunciato del Problema

L'interpretabilità meccanicistica dei transformer pre-addestrati si basa tipicamente su analisi ex-post: identificazione di circuiti di testine di attenzione dopo che un modello è stato completamente addestrato, mediante ablazione delle testine e osservazione del degrado delle prestazioni su un compito fisso e pre-specificato. Questo flusso di lavoro è computazionalmente costoso (richiede passaggi in avanti su reti completamente addestrate per ogni condizione) e intrinsecamente reattivo, poiché la capacità target deve essere definita prima dell'inizio della ricerca. Inoltre, i metodi esistenti spesso faticano a distinguere tra calcolo generale dipendente dal contenuto e circuiti causali specifici del compito, in particolare nei modelli più grandi dove i "pozzi di attenzione" (testine che si rivolgono al primo token) dominano il panorama.

Metodologia: Una Ricetta in Tre Fasi

Il documento propone una ricetta in tre fasi per identificare circuiti di testine di attenzione che opera per testina, non richiede etichette di compito o gradienti di attribuzione e può essere applicata durante l'addestramento o sui checkpoint finali.

Fase 1: Segnale Spettrale per Testina (L'Indicatore Generale)

La prima fase identifica le testine che eseguono un calcolo sostenuto e dipendente dal contenuto utilizzando una metrica spettrale derivata dalla teoria delle matrici casuali.

• Metrica: Per ogni testina a ogni checkpoint di addestramento, viene calcolato il Rapporto di Partecipazione (PR) della matrice di output dell'attenzione per testina. Il PR misura il rango effettivo (dimensionalità) della distribuzione di output.
• Caratteristica della Traiettoria: Il metodo integra l'evoluzione temporale di questo segnale: $I(L, H) = \sum_t \max(PR(L, H, t) - 1, 0) \cdot \Delta \log(\text{tokens}_t)$.
• Funzione: Questo "integrale-PR" classifica le testine che mantengono un rango effettivo elevato (coprendo molte direzioni) nel tempo. Funge da indicatore generale di specializzazione, filtrando le testine che collassano in stati a basso rango (indipendenti dal contenuto) o rimangono rumorose. Crucialmente, non distingue cosa sta facendo la testina, ma solo che sta eseguendo un calcolo specializzato.

Fase 2: Filtro per Modello di Compito (Il Filtro Specifico per Compito)

Il segnale spettrale generale viene specializzato per un compito target misurando i modelli di attenzione rispetto a target canonici.

• Meccanismo: Uno schermo "tutte-le-testine" misura la selettività di ogni testina per specifici modelli di attenzione (ad esempio, induzione, token precedente, token duplicato, primo token/BOS, sé stesso, locale).
• Definizione di Selettività: La selettività è il rapporto tra l'attenzione alle posizioni target e una linea di base uniforme.
• Soglie: Le testine vengono classificate se la loro selettività supera una soglia (ad esempio, $\ge 30\times$ per l'assegnazione, $\ge 50\times$ per l'adesione al circuito di induzione).
• Funzione: Questa fase converte il segnale generale di "specializzazione" in un circuito candidato per una capacità specifica. Affronta il limite della Fase 1, che nei modelli dominati dai pozzi di attenzione classificherebbe le testine generiche dipendenti dal contenuto più in alto di quelle specifiche per il compito.

Fase 3: Verifica Causale (L'Affermazione Falsificabile)

I circuiti candidati sono validati mediante ablazione di gruppo con controlli rigorosi per garantire che l'effetto sia causale e non un artefatto della composizione dei livelli.

• Procedura: La porzione per testina del flusso residuo alla proiezione di output dell'attenzione viene azzerata.
• Controlli:
  1. Casuale Abbinato: Ablazione di un numero uguale di testine negli stessi livelli che non sono state selezionate dallo schermo. Questo esclude l'ipotesi che "ablare qualsiasi testina in questi livelli causi un degrado".
  2. Limite Superiore: Ablazione di tutte le testine nei livelli selezionati. Questo stabilisce l'effetto massimo possibile per quel livello.
• Criterio: Un circuito è considerato causale se le testine selezionate dallo schermo producono un degrado significativamente maggiore rispetto al controllo casuale abbinato, mentre il limite superiore satura vicino allo zero.

Risultati Chiave

1. Riproduzione Cross-Architettura e Cross-Scala

La ricetta è stata validata su un intervallo di parametri di 8$\times$ (da 51M a 1B attivi / 7B totali) e tre famiglie di architetture (GPT-NeoX denso, stile Llama denso e MoE stile Llama) addestrate su pipeline di dati diverse (TinyStories, FineWeb, Pile, DCLM).

• Circuito di Induzione: Un piccolo circuito di induzione (3–6 testine) è stato trovato causalmente necessario per compiti di induzione sintetica in ogni modello testato.
• Scalatura Sublineare: Mentre il numero totale di testine aumenta linearmente con la dimensione del modello, la dimensione del circuito di induzione rimane sublineare (3–11 testine), indicando che la capacità specifica non scala linearmente con la capacità del modello.

2. La Frazione Conservata di Testine Specializzate

Su un intervallo di scala di 8$\times$ (da 124M a 410M), la frazione di testine che eseguono calcolo specializzato identificabile è conservata al $\sim$17–19%.

• Questa frazione è stata recuperata indipendentemente utilizzando due metodi: (1) classificando le scelte spettrali top-$K$ in classi di capacità, e (2) contando le testine con selettività di induzione al di sopra di un livello di rumore della distribuzione nulla.
• Nei modelli più grandi della classe 1B, questa frazione varia in modo più significativo (dal 4,7% al 27,3%) e si correla con il dominio degli attrattori BOS (pozzi di attenzione) piuttosto che con la scala del modello, suggerendo che la conservazione è una proprietà all'interno di specifiche famiglie di architetture/dati.

3. Potere Predittivo e Specificità del Seed

• Specificità del Seed: In un modello da 51M parametri addestrato con sei diversi semi casuali, la ricetta ha identificato circuiti distinti e specifici per il seed per lo stesso compito. Ablare il circuito identificato per il Seed A non ha avuto alcun effetto sul modello del Seed B, confermando che il metodo trova l'effettiva implementazione del modello piuttosto che un modello universale.
• Tempistica Predittiva: Il segnale spettrale (Fase 1) aumenta prima che la selettività della capacità attraversi la sua soglia funzionale. La ricetta può identificare il circuito utilizzando solo una piccola frazione (0,3–2%) dei token totali di addestramento, precedendo la piena emergenza della capacità.

4. Robustezza agli Spostamenti dei Dati

In un modello addestrato su FineWeb e poi continuato su OpenWebText, il circuito di induzione identificato al punto finale di FineWeb è rimasto invariato (Jaccard = 1,00) attraverso lo spostamento dei dati. Le testine hanno mantenuto le loro selettività e traiettorie PR, suggerendo che il metodo identifica la specializzazione strutturale piuttosto che statistiche specifiche del corpus.

5. Dipendenze Compositive

Il metodo ha identificato con successo il circuito "token precedente" (8–9 testine) e ne ha dimostrato il ruolo causale nell'induzione. Ablare il circuito del token precedente ha distrutto le prestazioni di induzione, confermando la struttura composita standard in cui le testine del token precedente costruiscono i vettori chiave utilizzati dalle testine di induzione.

Significato e Affermazioni

Il documento si posiziona come ancoraggio metodologico per un programma di tre documenti. Le sue affermazioni principali sono modeste e focalizzate sulla validità della ricetta stessa:

1. La Ricetta è una Ricetta, non uno Schermo Universale: Gli autori dichiarano esplicitamente che la Fase 1 (segnale spettrale) è un indicatore generale di specializzazione, non un rilevatore specifico per compito. La Fase 2 (schermo) fornisce specificità per compito, e la Fase 3 (ablazione) fornisce falsificabilità causale. È la combinazione a rendere il metodo robusto.
2. Inquadramento Onesto delle Affermazioni Causali: Il documento sottolinea che il differenziale "casuale abbinato" è ciò che rende onesta l'affermazione causale. Senza questo controllo, non è possibile distinguere tra un circuito specifico e un effetto generale del livello.
3. Precedenza Sviluppo: Il segnale spettrale precede l'emergere della selettività della capacità, offrendo una potenziale finestra per monitorare la formazione dei circuiti durante il pre-addestramento (dettagliato in un documento complementare).
4. Limitazioni: Gli autori notano che per compiti composti (ad esempio, Identificazione dell'Oggetto Indiretto), il modello di attenzione principale può disaccoppiarsi dalla struttura causale del compito tra diverse famiglie di modelli, richiedendo un insieme più ampio di schermi candidati. Inoltre, il metodo si basa su batch di valutazione fissi e le testine specifiche del circuito possono variare tra ri-addestramenti (sebbene la frazione di testine specializzate appaia stabile).

In sintesi, il documento fornisce un framework riproducibile e privo di etichette per isolare piccoli circuiti di testine di attenzione causalmente necessari, dimostrando che una frazione conservata della capacità del modello è dedicata a un calcolo specializzato che scala in modo sublineare con la dimensione del modello.