Sintesi Tecnica: I Transformer Convergono verso Core Algoritmici Invarianti

1. Definizione del Problema

L'ostacolo centrale all'interpretabilità meccanicistica nelle reti neurali è l'sottodeterminazione. Sebbene l'addestramento vincoli il comportamento di un modello (la mappatura dagli input agli output), esso non vincola la realizzazione interna di tale comportamento. Modelli addestrati indipendentamente esibiscono spesso un'equivalenza funzionale — eseguono lo stesso compito con configurazioni di pesi e circuiti interni profondamente differenti. Questo fenomeno, osservato nella geometria del paesaggio di perdita (loss landscape), nel merging dei modelli e nei sistemi biologici (ad esempio, degenerazione e deriva del sistema), pone una sfida fondamentale: se i meccanismi non si generalizzano attraverso le realizzazioni, quali spiegazioni sono "reali"?

Gli attuali sforzi di interpretabilità si concentrano spesso su dettagli di implementazione specifici (ad esempio, specifici head di attenzione o feature sparse), che possono essere idiosincratici di un singolo ciclo di addestramento. Questo articolo sostiene che, per ottenere una comprensione meccanicistica generalizzabile, la ricerca debba spostare il focus dalle realizzazioni specifiche dei circuiti agli invarianti — strutture computazionali stabili condivise tra diversi cicli di addestramento indipendenti.

2. Metodologia: Algorithmic Core Extraction (ACE)

L'articolo introduce l'Algorithmic Core Extraction (ACE), un framework progettato per isolare sottospazi a bassa dimensionalità che siano sia necessari che sufficienti per un compito e invarianti rispetto alle diverse realizzazioni del modello. Il metodo operazionalizza i principi della teoria dei sistemi lineari (specificamente la decomposizione di Kalman e la riduzione bilanciata) per i transformer.

La pipeline ACE consiste in tre fasi:

1. Estrazione (Extract): Per un dato layer di un transformer con dimensione nascosta $D$ e $N$ input, il metodo calcola l'interazione tra le attivazioni centrate sulla media ($H$) e i Jacobiani degli output rilevanti per il compito ($J$). Eseguendo la Scomposizione ai Valori Singolari (SVD) su $HJ^\top$, ACE identifica le direzioni che sono congiuntamente attive e rilevanti. I principali vettori singolari definiscono un sottospazio a bassa dimensionalità (il "core") mappato nuovamente nello spazio delle attivazioni.
2. Validazione (Validate): Il core estratto viene validato causalmente tramite ablazione. Un core è considerato sufficiente se la proiezione delle attivazioni su di esso preserva le prestazioni del compito, ed è necessario se la sua rimozione (proiezione sul complemento) riduce le prestazioni a livelli casuali.
3. Identificazione (Identify): La struttura computazionale all'interno del core viene recuperata adattando operatori lineari (ad esempio, $z_{t+1} \approx Az_t$) alle coordinate del core e ispezionando le loro proprietà spettrali (autovalori) per determinare la dinamica sottostante.

3. Risultati Chiave

A. Compiti di Catena di Markov Sintetica

In transformer a singolo layer addestrati su una catena di Markov a quattro stati:

• Parametri Divergenti, Core Convergenti: Modelli addestrati con diversi seed casuali hanno raggiunto un'accuratezza quasi ottimale, ma presentavano una similarità del coseno dei pesi vicina allo zero.
• Sottospazi 3D Invarianti: ACE ha isolato con successo un core tridimensionale in ciascun modello. Questi core erano necessari e sufficienti per il compito.
• Allineamento Geometrico vs. Statistico: Mentre i core risiedevano in sottospazi quasi ortogonali (sovrapposizione dei proiettori $\approx 0.02$), esibivano un allineamento statistico quasi perfetto (Analisi di Correlazione Canonica $\approx 0.99$).
• Recupero della Dinamica: Gli operatori lineari adattati all'interno di questi core hanno recuperato gli esatti autovalori non banali della matrice di transizione di Markov del ground-truth, dimostrando che i modelli codificano le stesse dinamiche di transizione in sistemi di coordinate differenti.

B. Addizione Modulare e Grokking

In transformer a due layer addestrati sull'addizione modulare ($a + b \equiv c \mod p$):

• Emergenza al Grokking: I core algoritmici si sono cristallizzati (condensati in sottospazi a bassa dimensionalità, necessari/sufficienti) in concomitanza con il fenomeno del "grokking" (la transizione ritardata dalla memorizzazione alla generalizzazione).
• Dinamiche Rotazionali: L'adattamento automatico degli operatori ha rivelato che, durante il grokking, gli autovalori degli operatori del core si sono posizionati sul cerchio unitario, indicando l'emergere di dinamiche cicliche/rotazionali necessarie per l'aritmetica modulare.
• Inflazione del Core sotto Regolarizzazione: Sotto un continuo weight decay dopo il grokking, i core si sono "inflati" da circa 15 a circa 60 dimensioni. Questa inflazione è stata guidata dalla ridondanza: mentre il numero di dimensioni sufficienti per le prestazioni rimaneva stabile, il numero di dimensioni necessarie per prevenire prestazioni casuali si è espanso. Il weight decay ha agito come una forza di ridistribuzione, diffondendo i pesi attraverso tutte le modalità funzionalmente equivalenti (fino al massimo teorico di $\lfloor p/2 \rfloor$).
• Legge di Scaling Inversa: L'articolo deriva un legame teorico tra ridondanza funzionale, regolarizzazione e tempo di grokking. Postula che l'equivalenza funzionale acceleri la transizione verso la generalizzazione, fornendo una legge di scaling inversa per il tempo di grokking: $\tau_{grok} \propto 1/(\omega p)$, dove $\omega$ è il weight decay e $p$ è la ridondanza. Analisi empiriche di $\omega$ e $p$ hanno validato questa previsione.

C. Grandi Modelli Linguistici (LLM)

ACE è stato applicato a sei modelli pre-addestrati appartenenti a quattro famiglie (GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5) e su oltre due ordini di grandezza di scala (da 117M a 32B parametri) nel compito di accordo soggetto-verbo per numero:

• Core 1D Universale: Un singolo asse causale monodimensionale è stato identificato negli ultimi layer di tutti i sei modelli.
• Controllo Causale: Questo asse è necessario e sufficiente per l'accordo. La proiezione delle attivazioni su di esso predice il margine del logit singolare-plurale. Fondamentalmente, invertire il segno di questo asse inverte le preferenze del numero grammaticale durante la generazione aperta (ad esempio, cambiando "The key... are" in "The key... is").
• Allineamento Cross-Architettura: Nonostante le differenze in architettura, tokenizzazione e dati di addestramento, le coordinate di questi core 1D si sono allineate significativamente tra i modelli (correlazioni di Spearman fino a 0.93). Ciò suggerisce un meccanismo condiviso e invariante per il numero grammaticale, indipendente dai dettagli di implementazione.

4. Significato e Rivendicazioni

L'articolo sostiene che, al di sotto della apparente complessità dei transformer addestrati, risieda una struttura computazionale più semplice e condivisa. I principali contributi sono:

1. Un Cambio di Paradigma nell'Interpretabilità: Spostare l'attenzione dallo studio delle specifiche realizzazioni dei circuiti allo studio degli invarianti. Gli autori sostengono che le spiegazioni meccanicistiche debbano essere ancorate a quantità stabili e invarianti rispetto all'implementazione, piuttosto che a dettagli idiosincratici.
2. Operazionalizzazione degli Invarianti: Il framework ACE fornisce un metodo per isolare questi invarianti, validarli causalmente e recuperare gli algoritmi che implementano senza presupporre la loro forma.
3. Spiegazione Meccanicistica del Grokking: L'articolo fornisce una teoria che lega l'equivalenza funzionale, la regolarizzazione e il tempo di grokking, suggerendo che la ridondanza permetta al weight decay di accelerare la transizione verso la generalizzazione distribuendo i pesi attraverso modalità valide.
4. Evidenza di Modelli del Mondo Interni: Il recupero delle strutture del ground-truth dei compiti (spettri di Markov, operatori ciclici) suggerisce che questi core codifichino rappresentazioni interne del processo generatore di dati, allineandosi con il "principio del modello interno" della teoria del controllo.
5. Implicazioni per il Model Merging: L'osservazione che i modelli funzionalmente equivalenti embeddano i core in sottospazi quasi ortogonali spiega la difficoltà del model merging (l'interpolazione ingenua fallisce). Suggerisce che lineare gli algoritmi dei core, piuttosto che i pesi, possa essere un approccio fondato per la ricombinazione dei modelli.

L'articolo conclude che puntare agli invarianti offre una via più trattabile verso la comprensione e il controllo meccanicistico, osservando che, sebbene la dimensionalità dei core per compiti di ragionamento complesso rimanga una questione aperta, la stabilità del core di accordo 1D attraverso scale massicce suggerisce che la dimensionalità del core possa non dipendere strettamente dalla dimensione del modello.