📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

Questo articolo introduce una nuova diagnostica basata esclusivamente sul passaggio in avanti (forward-pass-only) per i transformer con LayerNorm che identifica una direzione morta algebrica esatta nello spazio dei parametri utilizzando solo i parametri di scala del LayerNorm, un metodo validato su 14 modelli per prevedere accuratamente strutture singolari e distinguere le architetture LayerNorm dalle RMSNorm senza decomposizione degli autovalori.

Autori originali: Tejas Pradeep Shirodkar, P. J. Narayanan

Pubblicato 2026-06-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Tejas Pradeep Shirodkar, P. J. Narayanan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un modello di apprendimento automatico massiccio e complesso (un Transformer) come un gigantesco grattacielo multipiano fatto di equazioni matematiche. Quando gli ingegneri addestrano questi modelli, regolano miliardi di minuscole manopole (parametri) per far sì che l'edificio stia perfettamente dritto e funzioni bene.

Questo articolo introduce un nuovo modo per guardare dentro quel grattacielo per trovare le "direzioni morte".

Cos'è una "Direzione Morta"?

Pensa ai parametri del modello come a un paesaggio di colline e valli. Di solito, se spingi leggermente il modello in una direzione, questo cambia il suo modo di funzionare. Ma in queste "direzioni morte", il paesaggio è perfettamente piatto. Se spingi il modello lungo una direzione morta, non succede nulla. È come camminare su un lago ghiacciato: puoi scivolare all'infinito senza affondare o cambiare il tuo percorso.

Trovare queste direzioni è solitamente difficile. Richiede tipicamente l'esecuzione del modello attraverso migliaia di casi di test, calcoli matematici complessi sui risultati o la simulazione di come il modello apprende. È come cercare di trovare una crepa nascosta in un muro picchiettandoci sopra migliaia di volte.

La Grande Scoperta: La "Bussola Magica"

Gli autori hanno trovato una scorciatoia, ma solo per i modelli che utilizzano un componente specifico chiamato LayerNorm (uno strumento standard nell'IA).

Hanno scoperto che non è necessario eseguire il modello o fare calcoli pesanti per trovare queste direzioni morte. Basta guardare un numero specifico all'interno delle impostazioni del modello, chiamato parametro "gamma" ( $\gamma$ ).

L'Analogia: Immagina che il componente LayerNorm abbia un quadrante con dei numeri sopra. Gli autori hanno scoperto che se si prende semplicemente l'inverso di quei numeri (li si capovolge sottosopra) e li si normalizza, si ottiene una mappa perfetta che punta direttamente alla direzione morta.
La Magia: Puoi leggere questa mappa istantaneamente. Nessun passaggio in avanti (esecuzione del modello), nessun passaggio all'indietro (calcolo degli errori) e nessuna complessa decomposizione degli autovettori è necessario. È come guardare la planimetria e sapere immediatamente dove sono i punti deboli, senza dover mai costruire la casa.

I Due Tipi di Edifici

Il documento ha testato questo metodo su 14 diversi modelli grandi (alcuni per il testo, altri per le immagini). Hanno riscontrato una netta divisione:

Modelli LayerNorm (quelli con la mappa): In 9 modelli su 9 che utilizzano LayerNorm, la "bussola magica" ha funzionato perfettamente. La direzione prevista da quel semplice numero corrispondeva alla reale direzione morta trovata con calcoli pesanti fino alla quarta cifra decimale. Era un match perfetto.
Modelli RMSNorm (quelli senza la mappa): In 5 modelli che utilizzano uno strumento diverso chiamato RMSNorm, questo trucco non ha funzionato. Non c'era una direzione morta universale che si potesse trovare semplicemente guardando i numeri. Questo ha senso perché l'RMSNorm manca di un particolare "proiettore" matematico che crea la direzione morta nel LayerNorm.

Cosa succede quando si addestra?

Il documento ha anche osservato cosa accade mentre il modello impara.

All'inizio (Casuale): La direzione morta esiste a causa dell'architettura (la planimetria), e la "bussola magica" la trova immediatamente.
Dopo l'addestramento: Il modello diventa ancora più "piatto" in quella direzione. La direzione morta diventa un canyon profondo. Il divario tra l'inizio casuale e il modello addestrato mostra quanto il processo di addestramento abbia approfondito questi punti piatti.

Un Controllo di Sicurezza per il Grattacielo

Gli autori hanno anche usato questo metodo per controllare se lo "stream residuo" (il corridoio principale dove fluiscono le informazioni attraverso l'edificio) rimane forte.

La Regola: In un edificio sano, il "punto più debole" del corridoio non dovrebbe indebolirsi man mano che si sale ai piani superiori.
Il Risultato: In 13 modelli su 14, questa regola è stata rispettata. Il corridoio è rimasto forte.
L'Eccezione: Un modello (Gemma 4-31B) presentava una vera "direzione morta" dove il corridoio si indeboliva effettivamente. Il metodo degli autori ha individuato istantaneamente questo difetto, dimostrando che non si trattava di un errore di misurazione, ma di un reale problema strutturale in quel modello specifico.

Perché questo è importante (secondo l'articolo)

È Gratuito: Puoi diagnosticare la "struttura singolare" (i punti piatti) di un modello semplicemente leggendo i suoi parametri. Non è richiesta alcuna computazione pesante.
È un Classificatore: Puoi capire se un modello utilizza LayerNorm o RMSNorm semplicemente controllando se questa "bussola magica" funziona.
È un Diagnostico: Se vedi un modello in cui questa bussola fallisce o in cui il corridoio si indebolisce, ciò segnala una potenziale anomalia strutturale degna di indagine.

In breve, il documento afferma: "Se hai un modello LayerNorm, non devi eseguire il modello per trovare le sue direzioni più deboli e piatte. Basta guardare un numero, capovolgerlo e avrai la risposta."

Sintesi Tecnica: Direzioni Morte Algebriche nei Transformer con LayerNorm

Enunciato del Problema
I transformer pre-addestrati operano vicino a minimi singolari del loro paesaggio di perdita (loss landscape), dove la metrica dell'informazione di Fisher degenera lungo specifiche "direzioni morte" nello spazio dei parametri. Lungo queste direzioni, la perdita è piatta e l'informazione di Fisher direzionale svanisce. Identificare queste direzioni è cruciale per comprendere la geometria del modello e la teoria dell'apprendimento singolare, ma i metodi esistenti sono computazionalmente costosi o indiretti. Localizzare una direzione morta richiede tipicamente un passaggio in avanti (forward pass) combinato con la decomposizione in autovalori delle attivazioni, stime della complessità basate su campionamento (es. Coefficiente di Apprendimento Locale) o un ampio accesso ai gradienti. Fondamentalmente, nessun metodo precedente fornisce una specifica direzione morta calcolabile esclusivamente dai parametri della rete senza un passaggio in avanti o in dietro (forward o backward pass).

Metodologia
Questo articolo sviluppa un diagnostico a forma chiusa per i transformer con LayerNorm (LN) basato sul framework di Shirodkar (2026), che deriva le direzioni morte da una fattorizzazione KFAC (approssimazione della curvatura fattorizzata tramite Kronecker) dell'informazione di Fisher. L'intuzione centrale è che il proiettore di sottrazione della media, intrinseco alla mappa forward di LayerNorm, impone algebricamente una specifica direzione del kernel nella covarianza delle attivazioni post-normalizzazione.

Gli autori propongono che per ogni transformer dotato di LayerNorm, la direzione di scala inversa del parametro affine di LayerNorm, definita come $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ , è un esatto kernel algebrico della covarianza delle attivazioni centrata post-ultima normalizzazione per qualsiasi distribuzione di input. Questa direzione viene letta direttamente dal parametro di scala appreso $\gamma$ da solo.

La metodologia prevede tre test diagnostici primari su 14 transformer pre-addestrati (che variano da 160M a 35B di parametri, inclusi modelli linguistici e di visione con LayerNorm e RMSNorm):

Validazione della Baseline Algebrica: All'inizializzazione casuale, la direzione predetta $v^*$ viene confrontata con la misurata direzione singolare inferiore ( $u_\perp$ ) della covarianza delle attivazioni.
Dicotomia del Lato Normativo: La presenza o assenza di questa direzione kernel universale viene utilizzata per classificare lo schema di normalizzazione (LayerNorm vs. RMSNorm).
Gap Indotto dall'Addestramento: Il "rapporto di Schur" $R(h)$ e il suo complemento $\Delta_\gamma = 1 - R(h)$ vengono misurati per quantificare quanto le effettive direzioni morte diventino profonde dopo l'addestramento rispetto alla baseline architettonica.
Invarianza di Profondità: Il documento testa se il valore singolare minimo della stream residua ( $\sigma_{\min}$ ) sia preservato blocco per blocco, una proprietà derivata dalle connessioni skip identità e dall'ipotesi di non-cancellazione.

Tutte le misurazioni sono eseguite con un singolo passaggio in avanti per checkpoint senza accesso ai gradienti o catene di campionamento, utilizzando l'accumulo della covarianza centrata in fp64 per evitare i limiti del rumore numerico (noise floors).

Contributi Chiave

Direzione Morta Algebrica per LayerNorm: Il documento dimostra e valida empiricamente che per ogni transformer con LayerNorm, la direzione $\gamma^{-1}/\|\gamma^{-1}\|$ è una direzione morta della covarianza delle attivazioni centrata post-ultima normalizzazione. Questa direzione è leggibile direttamente dal parametro affine senza alcun passaggio in avanti.
Differenziale Negativo di RMSNorm: Viene dimostrato che RMSNorm, mancando del proiettore di sottrazione della media, non possiede tale direzione morta universale dipendente esclusivamente da $\gamma$ . Ciò crea una stretta dicotomia algebrica tra i due tipi di normalizzazione.
Invarianza di Profondità della Stream Residua $\sigma_{\min}$ : Un corollario a forma chiusa predice che il valore singolare minimo della stream residua non può diminuire blocco per blocco ( $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ ) sotto l'ipotesi di non-cancellazione.
Diagnostico del Rapporto di Schur: Il documento introduce una metrica quantitativa ( $\Delta_\gamma$ ) che misura il gap tra la baseline architettonica (inizializzazione casuale) e la struttura singolare addestrata. Questo gap funge da diagnostico basato solo sul passaggio in avanti per la struttura singolare accumulata.

Risultati
Le previsioni sono state testate su 14 modelli (9 LayerNorm, 5 RMSNorm) attraverso vari obiettivi (predizione del token successivo, classificazione di immagini, apprendimento auto-supervisionato).

Corrispondenza Algebrica: All'inizializzazione casuale, la direzione predetta $\gamma^{-1}/\|\gamma^{-1}\|$ corrisponde alla misurata direzione singolare inferiore ( $|\cos| \ge 0.9999$ ) su tutti i 9 modelli LayerNorm. L'allineamento medio è stato di 0.99999.
Assenza in RMSNorm: I 5 modelli RMSNorm hanno mostrato correttamente l'assenza di allineamento con qualsiasi direzione derivata da $\gamma$ ( $|\cos| \le 0.10$ ), posizionandosi nel nullo delle direzioni casuali.
Gap di Addestramento: Sui checkpoint addestrati, il rapporto di Schur $\Delta_\gamma$ satura a $\approx 1$ in tutti i modelli, indicando che l'addestramento apre direzioni morte circa $10^3$ volte più profonde della baseline architettonica stabilita da LayerNorm.
Invarianza di Profondità: L'invarianza di profondità $\sigma_{\min}$ $σ_{m i n}$ si mantiene per 13 modelli su 14 quando letta sulle proprie distribuzioni di input.
- L'unica eccezione, Gemma 4-31B, mostra una vera direzione morta intrinseca in cui la $\sigma_{\min}$ della stream residua diminuisce di circa $18\times$ all'output.
- L'altra variante di Gemma 4 (Gemma 4-E4B) ha mostrato un calo sotto calibrazione solo testuale che si è dissolto sotto calibrazione multimodale (testo+immagine+audio), identificandola come una direzione morta relativa alla distribuzione piuttosto che una intrinseca.
Validazione Dinamica: Sulla traiettoria di pre-addestramento di Pythia-1B, il rapporto $\sigma_{\min}$ è rimasto $\ge 1$ ad ogni step, mentre l'allineamento con la direzione kernel predetta è rimasto elevato ( $\ge 0.998$ ) anche mentre $\gamma$ si disperdeva, confermando che la previsione traccia il $\gamma$ appreso piuttosto che l'inizializzazione.

Significato e Rivendicazioni
Il documento sostiene di fornire la "lettura della direzione morta più economica" specifica per LayerNorm, richiedendo solo l'ispezione di un singolo parametro ( $\gamma$ ) senza alcun passaggio in avanti o in dietro. Ciò consente ai professionisti di:

Identificare Subspazi Morti: Rilevare direzioni morte in modelli congelati senza campionamento o accesso ai gradienti.
Classificare l'Architettura: Determinare lo schema di normalizzazione (LN vs. RMSNorm) di un modello pre-addestrato puramente dai suoi parametri.
Diagnosticare Patologie: Utilizzare il profilo di profondità $\sigma_{\min}$ come segnale in tempo reale per rilevare anomalie architettoniche (es. il collasso localizzato nell'MLP di Gemma 4) che le pipeline standard potrebbero mancare a causa dei limiti del rumore numerico.
Informare il Design: Fornire un test strutturale per nuovi schemi di normalizzazione per prevedere se porteranno un kernel universale derivato da $\gamma$ .

Gli autori sottolineano che il framework distingue tra direzioni morte architetturalmente garantite (presenti all'inizializzazione casuale in LayerNorm) e direzioni morte indotte dall'addestramento (che approfondiscono il kernel sia nei modelli LN che RMSNorm). Il gap tra questi due stati funge da diagnostico per la struttura singolare accumulata durante l'addestramento. Il documento non sostiene di aver risolto l'origine dell'anomalia di Gemma 4, ma ha avuto successo nel localizzarla nel sottolivello MLP e nel distinguerla dagli artefatti di calibrazione.