Sintesi Tecnica: Stratificazione Geometrica e Comportamentale nei Flussi Residui dei Transformer

Definizione del Problema

Ricerche recenti hanno stabilito che i modelli transformer addestrati sviluppano "basi privilegiate" — assi di coordinate specifici con proprietà statistiche distinte dal resto del flusso residuo. Tuttavia, il ruolo funzionale e la natura geometrica di queste direzioni privilegiate rimangono poco chiari. Mentre studi precedenti avevano identificato questi assi come insiemi di coordinate anomale, non spiegavano quale direzione specifica selezionino o come organizzino la computazione ad alta dimensionalità del modello.

Questo articolo affronta il divario tra la natura ad alta dimensionalità della computazione dei transformer (migliaia di dimensioni) e la natura a bassa dimensionalità della lettura lineare (una singola proiezione sui logit del vocabolario). L'autore indaga se la direzione di predizione — il vettore di unembedding del token che il modello sta attualmente predicendo — serva come un ancoraggio privilegiato definito dal contenuto che organizza la geometria e il comportamento del flusso residuo.

Metodologia

L'autore introduce la PDSF (Decomposizione delle Caratteristiche del Sottospazio Ancorata alla Predizione), un sistema di coordinate che partiziona lo stato del flusso residuo ($h$) in ogni livello in quattro componenti strettamente ortogonali, ordinate per prossimità alla direzione di predizione attuale del modello ($\hat{u}$):

1. P (Predittiva): La proiezione di rango 1 di $h$ sul vettore di unembedding normalizzato $\hat{u}$ del token argmax corrente.
2. D (Discriminativa): Le direzioni PCA top-$k$ del residuo dopo la rimozione di $P$.
3. S (Situazionale): Le direzioni PCA top-$k$ del residuo dopo la rimozione di sia $P$ che $D$.
4. F (Framework/Complemento): Il resto ortogonale, che rappresenta la stragrande maggioranza delle dimensioni del flusso residuo.

La regione combinata $P + D + S$ è definita interfaccia di predizione, mentre $F$ è il complemento distale dalla predizione.

Configurazione Sperimentale:

• Testbed: 18 modelli transformer su 6 famiglie di architetture (Llama, Gemma, Mistral, Mixtral, Qwen, GPT-OSS), che spaziano da 7B a 120 miliardi di parametri, inclusi varianti base e istruite (instruction-tuned).
• Set di Prompt: Tre set strutturati progettati per sondare diverse variazioni:
  • SpecA: Prompt vincolati con risposte fisse ma forme superficiali variabili (224 prompt).
  • SpecB: Continuazioni narrative aperte (80 prompt).
  • Diverse: Prompt attraverso 8 regimi linguistici (narrativa, codice, matematica, ecc.) (84 prompt).
• Interventi: L'autore impiega interventi mirati, inclusi perturbazioni a singolo passaggio, scrambling rotazionale persistente (rotazioni della misura di Haar applicate a circa il 70% della profondità) e attenuazione dell'ampiezza, per testare i ruoli causali.

Contributi Chiave e Risultati

1. Un'Interfaccia di Predizione Invariante alla Scala

La dimensionalità effettiva dei sottospazi prossimali alla predizione ($D$ e $S$) è bassa e invariante alla scala.

• Su prompt vincolati, il rango effettivo di $D$ è costantemente a cifra singola (media $\approx 4$) in tutti i modelli, indipendentemente dalla dimensione nascosta ($d_{model}$ da 2.880 a 8.192).
• La dimensionalità dell'interfaccia è determinata dalla complessità semantica del prompt, non dalla larghezza del modello.
• L'instruction tuning affina l'organizzazione interna dell'interfaccia (aumentando la discriminazione e riducendo la sensibilità al parafrasismo) ma non la allarga.
• Conclusione: La scalabilità aumenta la dimensione del complemento distale dalla predizione ($F$), non l'interfaccia di predizione.

2. Stratificazione Geometrica: Ortogonalità e Complessità del Manifold

• Ortogonalità: La direzione di predizione è quasi ortogonale (angolo medio $\approx 84^\circ$–$86^\circ$) rispetto agli assi di varianza principale del flusso residuo. Le direzioni ad alta varianza sono spostate lontano dall'asse di lettura.
• Gradiente di Complessità del Manifold: Esiste un forte gradiente nella complessità del manifold lungo l'asse di prossimità alla predizione.
  • Prossimale alla predizione ($D$): Geometria altamente ripiegata e strutturata (alta densità di informazione).
  • Distale dalla predizione ($F$): Geometria piatta e uniforme.
  • Questo gradiente è significativamente più ripido quando misurato rispetto alla direzione di predizione rispetto ai controlli PCA standard ordinati per varianza, specialmente su prompt linguisticamente eterogenei.

3. Anti-Discriminazione nel Complemento

Contrariamente all'aspettativa che la discriminazione di gruppo svanisca con la distanza dalla direzione di predizione, il complemento ($F$) mostra un'anti-discriminazione.

• I prompt dello stesso gruppo semantico sono sistematicamente più lontani nello spazio $F$ rispetto ai prompt di gruppi diversi.
• Ciò suggerisce che $F$ trasporti una configurazione specifica del prompt che compensa le variazioni negli stati prossimali alla predizione per ottenere risultati di lettura simili.

4. Direzione sopra Magnitudo (Ipotesi del Guscio Sottile)

Il paper valida l'ipotesi del "guscio sottile" (thin-shell): la variazione del flusso residuo è guidata dalla direzione, non dalla magnitudo.

• Disturbare la direzione del complemento ($F$) tramite rotazione causa una divergenza immediata e severa dell'output.
• Ridurre la magnitudo di $F$ (attenuazione) preservando la direzione ha un effetto trascurabile.
• Ciò conferma che il complemento agisce come un substrato direzionale essenziale per la computazione, nonostante il suo debole allineamento con la lettura.

5. Stratificazione Comportamentale

Gli interventi rotazionali persistenti rivelano una gerarchia comportamentale allineata con l'asse di prossimità alla predizione:

• Sottospazio $D$ (Framing Immediato): Il disturbo causa una divergenza immediata (media primo token di divergenza $\approx 1.2$) e frequenti spostamenti del frame del task (ad esempio, cambiare da risposta a meta-commento).
• Sottospazi $S$ e $F$-topK (Traiettoria): Il disturbo causa una divergenza ritardata (media primo token di divergenza $\approx 5.6$ per $S$, $\approx 6.5$ per $F$-topK) e una sostituzione del contenuto all'interno di un frame di task preservato.
• Ciò indica che $D$ controlla l'inquadramento iniziale della risposta, mentre $S$ e la parte alta di $F$ controllano la traiettoria successiva.

6. Partizione Statica/Dinamica del Complemento

Il complemento $F$ è ulteriormente organizzato per dinamiche temporali:

• Si divide in uno scaffold statico (media temporale) e un involucro dinamico (aggiornamenti token-to-token).
• L'involucro dinamico è causalmente carico: iniettare un $F$ "obsoleto" (ritardato di un passo) causa una divergenza universale dell'output già al primo token.
• Ruotare le direzioni dell'involucro dinamico causa un fallimento catastrofico (tasso di fallimento del 92,3%), distinto dalla redirezione causata dalla rotazione di $D$ o $S$.

Significato e Rivendicazioni

Il paper sostiene di aver stabilito la direzione di predizione come un ancoraggio privilegiato e definito dal contenuto che organizza la geometria del flusso residuo in modo distinto dai precedentemente descritti assi basati sulle coordinate.

• Vincolo Architetturale: I risultati suggeriscono che la lettura lineare imponga un vincolo di "rapporto segnale-rumore", costringendo il modello a isolare la struttura rilevante per la predizione in un'interfaccia stretta e invariante alla scala, espandendo il substrato computazionale ($F$) ortogonalmente ad essa.
• Cecità della Valutazione: Poiché la maggior parte del flusso residuo (il complemento) è debolmente allineata con la lettura, le metriche di valutazione basate sull'output (logits, accuratezza del next-token) probabilmente sottostimano la computazione interna e i cambiamenti strutturali che avvengono nel modello durante la scalabilità.
• Interpretabilità: La stratificazione geometrica offre un framework per l'interpretabilità a livello di feature, suggerendo che il framing del task risieda in $D$, mentre la traiettoria e il mantenimento dello stato risiedano in $S$ e $F$.
• Geometrico vs. Varianza: Il paper sostiene che l'organizzazione geometrica non sia semplicemente un'ombra della struttura della varianza; ancorarsi alla direzione di predizione rivela principi organizzativi (come l'anti-discriminazione di $F$ e la gerarchia comportamentale) che le analisi basate sulla sola varianza non riescono a catturare.

L'autore conclude che i flussi residui dei transformer sono meglio compresi non come attivazioni diffuse ad alta dimensionalità, ma come geometrie stratificate caratterizzate da un'interfaccia di predizione fissa immersa in un substrato dinamico, causalmente carico e di mantenimento dello stato.