When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

Riepilogo Tecnico: Traiettorie di Sviluppo della Capacità e Emergenza dei Sink di Attenzione

Definizione del Problema
Questo articolo affronta una lacuna nella comprensione meccanicistica della dinamica di pretraining nei modelli linguistici transformer. Mentre studi precedenti hanno identificato due fenomeni distinti—le teste di induzione (che implementano il pattern di copia $A \dots A \to B$, legato all'apprendimento in-context) e i sink di attenzione (attenzione affidabile al primo token indipendentemente dal contenuto)—essi vengono spesso confusi sotto l'ombrello dell' "emergenza dell'attenzione". Olsson et al. [2022] hanno descritto la formazione dell'induzione come una "transizione di fase" netta, mentre Xiao et al. [2024] hanno documentato i sink di attenzione come una proprietà di inferenza stabile. Questo articolo si chiede: questi due fenomeni emergono simultaneamente come un singolo passaggio, o sono temporalmente separabili? Inoltre, in che modo l'architettura (dense vs. Mixture-of-Experts) e il corpus di pretraining (The Pile vs. DCLM) influenzano la tempistica e la forma di queste emergenze in modelli di classe 1B?

Metodologia
Gli autori tracciano la traiettoria di sviluppo dei circuiti di attenzione attraverso tre modelli di classe 1B che spaziano tra due architetture e due corpora:

1. Pythia 1B: Transformer denso, addestrato su The Pile.
2. OLMo 1B-0724-hf: Transformer denso (stile Llama), addestrato su DCLM.
3. OLMoE 1B-7B-0924: Transformer Mixture-of-Experts (1B attivi/7B totali), addestrato su DCLM.

Lo studio utilizza un panel di sviluppo di 30 run, applicando una ricetta di interpretabilità meccanicistica in tre fasi a 10 revisioni log-spaced per modello:

• Batch di Induzione Sintetica: Un dataset controllato di 2.000 sequenze ($A \dots A \to B$) utilizzato per sondare le capacità di induzione.
• Segnale Spettrale del Participation Ratio (PR): Calcolato sull'output dell'attenzione per testa alla seconda posizione di $A$. Il PR misura la diversità spettrale dell'output della testa, fungendo da segnale per la computazione specializzata.
• Screening della Selettività Specifica della Capacità: Uno screening di tutte le teste che classifica le teste in sei categorie (induzione, token precedente, token duplicato, BOS/primo token, self, locale) in base ai rapporti di selettività dell'attenzione. Le teste sono assegnate a una classe se la selettività supera una specifica soglia (ad es., 50× per l'induzione, 30× per il BOS).
• Verifica Causale: Ablazione di gruppo dei circuiti identificati per confermare il loro ruolo funzionale.

Risultati Chiave

1. Il Pavimento Zero-BOS L0/L1 è una Proprietà Architetturale (F1)
In tutti i 30 revisioni e in tutti i tre modelli, gli strati 0 e 1 producono zero teste classificate come attrattori BOS. Questo "pavimento zero-BOS" si mantiene dalla randomizzazione iniziale fino alla fine dell'addestramento. Gli autori interpretano questo come un vincolo architettonico: gli input L0 sono embedding di token non contestualizzati, e gli output L1 mancano di integrazione cross-token, rendendo impossibile la formazione di sink di attenzione (che richiedono informazioni cross-posizione non banali) in questi strati. È un risultato appreso dal segnale del gradiente, non un artefatto dei dati.

2. Forme di Emergenza Distinte per gli Attrattori BOS (F2)
La formazione della frazione di attrattore BOS segue tre traiettorie qualitativamente diverse a seconda della combinazione dati-architettura:

• Pythia 1B (Pile, Dense): Una rampa graduale e monotona dallo 0% a circa il 58%.
• OLMo 1B (DCLM, Dense): Una transizione di fase netta. La frazione salta dal 7,4% a 117B di token al 70,3% a 264B di token (un aumento di 63 punti percentuali tra checkpoint adiacenti).
• OLMoE 1B-7B (DCLM, MoE): Una rampa graduale e monotona, simile a Pythia ma che raggiunge una saturazione più alta (~76%).
  Ciò dimostra che la "nitidezza" della transizione del sink di attenzione non è una proprietà universale dei dati (DCLM) ma è modulata dall'architettura (Dense vs. MoE).

3. Induzione e Sink di Attenzione sono Temporalmente Separabili (F3)
La formazione dei circuiti di induzione precede la formazione degli attrattori BOS di un ordine di grandezza in termini di token nei modelli addestrati su DCLM:

• OLMo 1B: I circuiti di induzione si formano a 23B di token; gli attrattori BOS raggiungono la saturazione del 50% a 264B di token (11,5× di gap).
• OLMoE 1B-7B: L'induzione si forma a 20B di token; gli attrattori BOS raggiungono il 50% a 419B di token (21× di gap).
  L'articolo conclude che la formazione del circuito di capacità e la formazione del sink di attenzione sono due transizioni distinte, non un singolo evento di transizione di fase.

4. Convergenza Anticipata degli Screening di Capacità (F4)
Lo screening specifico della capacità converge al circuito di induzione finale utilizzando solo una piccola frazione del budget di addestramento.

• OLMo 1B: Il 67% del circuito di induzione finale è identificato a 10B di token (~0,3% del totale dell'addestramento).
• OLMoE 1B-7B: 67% identificato a 41B di token (~0,8%).
• Pythia 1B: 67% identificato a 6B di token (~2,0%).
  Ciò implica che per la scoperta dei circuiti, il modello finale non è richiesto; i checkpoint intermedi contengono la maggior parte del circuito identificabile.

5. I Segnali Spettrali Precedono le Soglie di Selettività (F5)
Per ogni testa di induzione del checkpoint finale campionato, il Participation Ratio (PR) per testa aumenta significativamente al momento o prima della revisione in cui il rapporto di selettività della capacità della testa incrocia la sua soglia di classificazione. In Pythia 1B, il segnale PR per la principale testa di induzione è aumentato circa 12× prima (in termini di conteggio dei token) rispetto al superamento della soglia di selettività. Ciò suggerisce che il segnale spettrale è un indicatore precoce di specializzazione.

Significato e Rivendicazioni
L'articolo si posiziona come la "metà dello spazio di attivazione" di uno studio più ampio sull'emergenza, completando le analisi dello spazio dei parametri sulla dinamica del bordo spettrale. I suoi contributi primari sono:

• Raffinatezza della "Transizione di Fase dell'Induzione": Gli autori sostengono che il termine "transizione di fase dell'induzione" è ambiguo. Su dati DCLM a scala 1B, si riferisce a due eventi distinti: una transizione di capacità precoce (induzione) e una successiva transizione (sink di attenzione) dipendente da dati e architettura.
• Vincoli per la Teoria Meccanicistica: Le scoperte impongono vincoli specifici a qualsiasi teoria sui sink di attenzione:
  1. Deve spiegare l'universale pavimento zero-BOS L0/L1.
  2. Deve spiegare come gli stessi dati (DCLM) producono una transizione netta nei modelli densi ma una rampa graduale nei modelli MoE.
  3. Deve distinguere la tempistica dell'emergenza della capacità dalla tempistica dell'emergenza del sink.
• Utilità Metodologica: L'articolo dimostra che l'interpretabilità meccanicistica può essere eseguita efficacementamente su checkpoint intermedi (0,3–2% dell'addestramento) senza attendere il modello finale, e che sono necessari specifici metodi di screening per distinguere le teste di capacità dalla popolazione dominante di attrattori BOS nelle fasi avanzate dell'addestramento.

Gli autori dichiarano esplicitamente che queste scoperte si basano su specifici run di addestramento e non pretendono di rappresentare l'aspettativa completa di tutti i possibili seed, sebbene notino che i pattern qualitativi (pavimento L0/L1, separazione delle transizioni) sono robusti attraverso le configurazioni testate.