Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology

Riepilogo Tecnico: Dinamiche del Flusso Residuale del Transformer

Enunciato del Problema
Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) dimostrino capacità notevoli, i meccanismi mediante i quali il calcolo si propaga attraverso i loro strati rimangono scarsamente compresi. Gli strumenti esistenti di interpretabilità, come l'analisi dei circuiti e gli autoencoder sparsi, identificano cosa rappresentano i componenti ma non riescono a spiegare come le perturbazioni vengano amplificate, compresse o ridirezionate attraverso gli strati. La teoria dei sistemi dinamici offre un formalismo per questo, trattando la profondità come tempo discreto e il flusso residuo come un sistema dinamico. Tuttavia, le analisi precedenti si sono basate su riassunti scalari, linearizzazioni approssimate o studi condotti solo all'inizializzazione casuale. Di conseguenza, la piena geometria spettrale dei Jacobiani addestrati su scala produttiva — specificamente le loro distribuzioni di autovalori, le strutture di non-normalità e le dinamiche rotazionali — rimane non caratterizzata. Inoltre, la relazione tra la topologia computazionale di una rete (struttura delle comunità) e il suo comportamento dinamico non è stata testata su larga scala.

Metodologia
Gli autori eseguono una caratterizzazione spettrale completa di tre transformer decoder-only su scala produttiva: Llama 3.1 8B, OLMo 3 7B e Gemma 4 E4B.

• Calcolo del Jacobiano: Jacobiani esatti per campione ($J_\ell = \partial h_{\ell+1} / \partial h_\ell$) sono calcolati a ogni confine di sottolivello (pre-attenzione e pre-MLP) su 1.000 campioni di WikiText-2.
• Analisi Spettrale: Sulle medie dei Jacobiani vengono eseguite la decomposizione spettrale completa e la decomposizione ai valori singolari (SVD). Le metriche chiave includono i numeri di condizione, l'autoreallineamento (sovrapposizione tra i sottospazi singolari di ingresso/uscita), la deviazione di Henrici (misura della non-normalità) e la frazione di modi espansivi.
• Decomposizione Addestramento vs. Architettura: Utilizzando OLMo 3 7B, lo studio confronta tre checkpoint: Step 0 (inizializzazione casuale), Step 471k e Step 1.41M (pre-addestramento finale). Poiché lo Step 0 condivide l'architettura e la profondità ma manca di pesi appresi, funge da modello nullo per distinguere i prior architetturali dalle proprietà indotte dall'addestramento.
• Analisi Topologica: Per ogni strato vengono costruiti grafi di correlazione delle attivazioni, partizionati in comunità utilizzando signed Leiden CPM. Lo studio analizza l'accoppiamento tra la topologia delle comunità (nello specifico i "nodi di confine" che collegano più comunità) e le dinamiche del Jacobiano.
• Intervento: Viene utilizzata la decomposizione di Schur per isolare il componente non normale ($N_\ell$) del Jacobiano. Scalando $N_\ell$ mantenendo fissi lo spettro ($\Lambda_\ell$) e la base ($Q_\ell$), gli autori testano se i colli di bottiglia dimensionali osservati derivino dallo spettro degli autovalori o dalla struttura feedforward non normale.

Risultati Chiave

1. Gradiente Monotono di Non-Normalità:
   I modelli addestrati mostrano una distinta transizione dipendente dalla profondità nel tipo di operatore. Gli strati iniziali sono dominati da dinamiche non normali e ricche di rotazioni (circa il 98% degli autovalori appare come coppie coniugate complesse), mentre gli strati finali transitano verso operatori quasi-simmetrici. Questo gradiente è in gran parte appreso; all'inizializzazione (OLMo Step 0), gli strati sono già quasi-simmetrici, e l'addestramento spinge gli strati iniziali e intermedi verso la rotazione.

2. Collo di Bottiglia Dimensionale Cumulativo:
   Comporre i Jacobiani da capo a fondo rivela un severo imbuto delle perturbazioni. In Llama 3.1 8B, il rango effettivo del Jacobiano cumulativo scende da ~436 (singolo strato) a ~7 (profondità completa), il che significa che solo una manciata di canali efficaci sopravvive dall'embedding al logit. Questo collasso non è architetturale (il rango effettivo rimane alto allo Step 0) ma è installato dall'addestramento. Crucialmente, gli esperimenti di "chirurgia di Schur" mostrano che rimuovere il componente non normale ($N_\ell$) preservando lo spettro dissolve in gran parte questo collo di bottiglia, indicando che l'imbuto è una proprietà della struttura feedforward non normale addestrata, non degli autovalori.

3. Accoppiamento Topologia-Dinamica:
   Lo studio identifica un accoppiamento appreso tra la topologia delle comunità della rete e le sue dinamiche. Le unità che collegano più comunità del grafo delle attivazioni (nodi di confine) sono preferenzialmente amplificate o soppresse dal Jacobiano.

   • Dipendenza dal Segno: Il segno di questo accoppiamento è determinato dal tipo di operatore locale. Negli strati quasi-simmetrici, le unità di confine sono amplificate. Negli strati fortemente non normali, sono de-amplificate.
   • Emergenza: Questo accoppiamento è assente all'inizializzazione ed emerge in modo monotono durante l'addestramento. In OLMo, il numero di strati significativi secondo FDR aumenta da 0 (Step 0) a 14 (Step 471k) a 24 (Step 1.41M).

Significato e Affermazioni
Il documento afferma di fornire la prima descrizione completa a livello di autovalori dei Jacobiani di transformer su scala produttiva dopo l'addestramento. I suoi contributi principali sono:

• Colmare il Divario: Colma il divario tra la teoria al momento dell'inizializzazione (che non prevede nessuna di queste strutture) e le linearizzazioni approssimate (che non possono risolvere le dinamiche rotazionali che dominano lo spettro).
• Insight Meccanicistico: Dimostra che il "collasso dimensionale" osservato negli LLM è una proprietà appresa guidata dalla non-normalità, non un'inevitabilità architetturale o un artefatto spettrale.
• Collegamento Topologia-Dinamica: Stabilisce che la topologia funzionale della rete (struttura delle comunità) non è solo una caratteristica statica, ma interagisce dinamicamente con la propagazione del segnale, con la natura di questa interazione (amplificazione vs. soppressione) che è una funzione appresa del tipo di operatore dello strato.

Gli autori notano che mentre la struttura delle comunità a mesoscala è in parte architetturale (presente all'inizializzazione), il specifico accoppiamento tra i nodi di confine e l'amplificazione del Jacobiano è un fenomeno appreso. Il lavoro suggerisce che i futuri sforzi di interpretabilità devono tenere conto della piena geometria spettrale, in particolare della non-normalità e delle dinamiche rotazionali, piuttosto che fare affidamento esclusivamente sulle decomposizioni ai valori singolari.