💬 NLP

Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis

Questo studio dimostra che negli architetture Transformer basate su LayerNorm, la direzione e la magnitudine degli stati nascosti svolgono ruoli computazionali distinti e dissociabili, influenzando rispettivamente il routing dell'attenzione e l'elaborazione sintattica, mentre tale separazione non si osserva nelle architetture basate su RMSNorm.

Autori originali: Mangadoddi Srikar Vardhan, Lekkala Sai Teja

Pubblicato 2026-02-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mangadoddi Srikar Vardhan, Lekkala Sai Teja

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che il cervello di un'intelligenza artificiale (come un modello linguistico) sia una gigantesca biblioteca piena di libri. Ogni libro contiene informazioni su come parlare, scrivere e capire il mondo. Ma come fa il computer a "leggere" queste informazioni?

Secondo questo studio, ogni "parola" o concetto nella mente del computer non è solo un'idea, ma è come una frecce tridimensionale che punta in una direzione specifica e ha una certa lunghezza.

Gli scienziati si sono chiesti: cosa è più importante? La direzione in cui punta la freccia o quanto è lunga?

Ecco la scoperta sorprendente, spiegata con un'analogia semplice:

1. La Freccia e il suo "Potere"

Immagina di avere una freccia magica che rappresenta una parola.

La Direzione (Dove punta): È come la bussola. Ti dice dove guardare. Se la freccia punta verso "cane", il computer sa che sta parlando di un cane.
La Lunghezza (Quanto è grande): È come il volume della voce o l'intensità. Se la freccia è corta, è un sussurro; se è lunga, è un grido.

2. L'Esperimento: Cosa succede se le rompiamo?

Gli autori del paper hanno fatto un esperimento molto intelligente. Hanno preso queste frecce e le hanno "aggiustate" in due modi diversi, ma assicurandosi che il "danno" fisico fatto alla freccia fosse esattamente lo stesso (come se avessero spostato la punta della freccia di 5 centimetri in entrambi i casi, sia ruotandola che allungandola).

Ecco cosa è successo, e qui sta la magia:

Se cambi la Direzione (la ruoti): Il computer impazzisce quando deve scrivere una frase. Fa errori grammaticali enormi, inventa parole senza senso e perde completamente il filo del discorso.
- Analogia: È come se qualcuno avesse girato la bussola di un capitano. Il capitano sa ancora che il mare è blu (l'informazione c'è), ma non sa più dove andare. Il viaggio (la generazione del testo) fallisce.
- Conclusione: La direzione è fondamentale per il flusso delle informazioni (dove il computer deve "prestare attenzione").
Se cambi la Lunghezza (la accorci o allunghi): Il computer riesce ancora a scrivere frasi che hanno senso, ma fallisce miseramente quando deve fare giochi di grammatica complessi, come accordare il soggetto con il verbo (es. "I cani corrono" vs "I cani corre").
- Analogia: È come se qualcuno avesse cambiato il volume della voce del capitano. La bussola funziona ancora e sa dove andare, ma il capitano non riesce più a capire quanto è importante la sua posizione rispetto agli altri. Perde il senso della "struttura" e della "gerarchia".
- Conclusione: La lunghezza è fondamentale per la struttura grammaticale e per capire le relazioni tra le parole.

3. Il "Doppio Distacco" (La Scoperta Principale)

In psicologia e neuroscienze, quando due cose diverse influenzano due funzioni diverse in modo opposto, si chiama "dissociazione incrociata".

Ruotare la freccia distrugge la capacità di scrivere bene (il "loss" del modello).
Cambiare la lunghezza distrugge la capacità di fare grammatica corretta (l'accuratezza sintattica).

È come se nel cervello del computer ci fossero due strade diverse:

Una strada per la direzione che porta al "centro di controllo del traffico" (dove decide quale parola guardare dopo).
Una strada per la lunghezza che passa attraverso un "regolatore di volume" (che decide quanto è importante la struttura della frase).

4. Perché è importante?

Prima di questo studio, pensavamo che la direzione fosse l'unica cosa che contava davvero, e che la lunghezza fosse solo un dettaglio tecnico. Questo paper ci dice: "No, sono entrambi importanti, ma per cose diverse!"

Se vuoi che un'IA scriva un romanzo fluido, devi proteggere la direzione delle sue frecce.
Se vuoi che un'IA scriva un contratto legale perfetto o una poesia con rime complesse, devi proteggere la lunghezza delle sue frecce.

5. Un avvertimento finale (La "Cucina" conta)

C'è un dettaglio curioso: questo comportamento si vede solo in certi modelli (quelli che usano un tipo di "normalizzazione" chiamato LayerNorm, come la famiglia Pythia). Se provi lo stesso esperimento su un modello diverso (come TinyLlama che usa RMSNorm), succede l'esatto contrario!
È come se due chef diversi usassero lo stesso ingrediente (la freccia) in due ricette diverse: per uno la direzione è il sale, per l'altro è la lunghezza. Questo ci insegna che la "ricetta" (l'architettura) del modello cambia tutto.

In sintesi

Questo studio ci dice che le intelligenze artificiali non usano le informazioni in modo "piatto". Usano la geometria (dove punta e quanto è lunga) per separare i compiti:

Dove punta = "A chi devo parlare?" (Attenzione).
Quanto è lunga = "Quanto è importante la struttura?" (Grammatica).

È una scoperta che ci aiuta a capire meglio come "pensano" le macchine e come potremmo ripararle o modificarle in futuro senza romperle.

1. Il Problema

Le rappresentazioni degli stati nascosti (hidden states) nei modelli Transformer sono vettori ad alta dimensionalità. Una domanda fondamentale rimasta irrisolta riguarda il ruolo funzionale delle due proprietà geometriche di questi vettori:

Direzione: L'orientamento nello spazio di rappresentazione (vettore unitario).
Magnitudine: La norma L2 (la lunghezza del vettore).

L'ipotesi della rappresentazione lineare suggerisce che i concetti siano codificati come direzioni specifiche, ma rimane silenziosa sul ruolo della magnitudine. Sebbene le norme dei vettori varino notevolmente tra token, livelli e contesti, non esisteva un quadro sistematico per distinguere i contributi funzionali di queste due proprietà. Un approccio ingenuo al confronto è confuso dal fatto che piccole rotazioni angolari e piccole scalature di magnitudine producono spostamenti euclidei di dimensioni molto diverse nello spazio delle rappresentazioni, rendendo impossibile un confronto equo senza controllo.

2. Metodologia: Analisi di Perturbazione L2-Matched

Il contributo metodologico centrale è l'introduzione dell'analisi di perturbazione L2-matched. Questo metodo risolve il problema del confondimento garantendo che le perturbazioni angolari e di magnitudine producano uno spostamento euclideo identico ( $\delta$ ) rispetto alla rappresentazione originale.

Formalizzazione: Dato un vettore nascosto $h$ $h$ , viene scomposto in direzione $\hat{h}$ $\hat{h}$ e magnitudine $\|h\|$ $∥ h ∥$ .
- Perturbazione di magnitudine: $h'_{mag} = \alpha h$ (scala la norma, mantiene la direzione).
- Perturbazione angolare: $h'_{ang} = \|h\| \cdot \hat{h}'$ (ruota la direzione, mantiene la norma).
Vincolo: I parametri di perturbazione ( $\alpha$ e l'angolo $\theta$ ) sono calcolati in modo che $\|h - h'_{mag}\| = \|h - h'_{ang}\| = \delta$ .
Protocollo Sperimentale: Le perturbazioni sono state applicate agli stati nascosti dei livelli intermedi (8-15) di modelli della famiglia Pythia (410M e 1.4B parametri). Gli effetti sono stati misurati su:
1. Perdita di modellazione linguistica (Language Modeling Loss): Capacità di prevedere il prossimo token.
2. Accuratezza Sintattica: Performance su coppie minime di BLiMP (accordo soggetto-verbo).

3. Risultati Chiave: Una Doppia Dissociazione

Lo studio ha scoperto una dissociazione incrociata (crossover dissociation) sorprendente, dove ciascun tipo di perturbazione danneggia selettivamente una funzione cognitiva diversa:

Danno alla Modellazione Linguistica (Loss): Le perturbazioni angolari causano un danno sproporzionatamente maggiore rispetto a quelle di magnitudine. A piccoli spostamenti ( $\delta=1.0$ ), le perturbazioni angolari aumentano la perdita fino a 42.9 volte di più rispetto a quelle di magnitudine.
Danno alla Sintassi (Accordo Soggetto-Verbo): Il pattern si inverte. Le perturbazioni di magnitudine causano un calo di accuratezza molto più severo (fino al 20.4% a $\delta=5$ ) rispetto alle perturbazioni angolari (solo 1.6%).

Questa dissociazione suggerisce che direzione e magnitudine supportano ruoli computazionali parzialmente distinti nei Transformer basati su LayerNorm.

4. Analisi Meccanicistica e Percorsi Causali

Attraverso esperimenti di intervento causale (patching), gli autori hanno identificato i percorsi meccanici attraverso cui queste perturbazioni influenzano il modello:

Percorso della Direzione $\rightarrow$ Attenzione:
- Il danno angolare fluisce sostanzialmente attraverso i percorsi di attenzione.
- Riparare i pattern di attenzione (injecting clean attention outputs) recupera il 28.4% del danno indotto da perturbazioni angolari, contro solo il 15.2% per la magnitudine.
- Interpretazione: La direzione governa il routing attentivo (quali token devono prestare attenzione a quali altri).
Percorso della Magnitudine $\rightarrow$ LayerNorm:
- Il danno di magnitudine fluisce parzialmente attraverso i percorsi mediati da LayerNorm.
- Riparare l'output di LayerNorm recupera il 29.9% del danno indotto da perturbazioni di magnitudine, contro solo il 13.7% per quelle angolari.
- Interpretazione: La magnitudine modula l'intensità di elaborazione e codifica informazioni sulla posizione strutturale (profondità nell'albero di parsing). Le perturbazioni di magnitudine distruggono la correlazione tra la lunghezza del vettore e la profondità sintattica, compromettendo compiti come l'accordo soggetto-verbo.

Paradosso Risolto: Sebbene le sonde lineari mostrino che la direzione codifica più informazioni sintattiche (81.6% di accuratezza POS vs 29.7% per la magnitudine), è la magnitudine a essere critica per l'esecuzione sintattica. La direzione codifica "cosa" è un token (categoria), mentre la magnitudine modula "come" e "dove" viene utilizzata quell'informazione nel calcolo strutturale.

5. Generalizzazione e Limiti Architetturali

Un risultato critico è la dipendenza dall'architettura:

Famiglia Pythia (LayerNorm): La dissociazione descritta sopra si replica e si amplifica (nel modello 1.4B il rapporto di danno angolare/magnitudine per la loss aumenta ulteriormente).
TinyLlama (RMSNorm): Il pattern si inverte completamente. In questo caso, le perturbazioni di magnitudine causano più danni alla loss rispetto a quelle angolari.
OPT (LayerNorm): Riproduce la dissociazione sulla loss, ma il pattern di mediazione dell'attenzione si inverte rispetto a Pythia.

Questo indica che la dissociazione direzione-magnitudine non è una proprietà universale di tutti i Transformer, ma dipende dalle scelte architetturali, in particolare dal tipo di normalizzazione (LayerNorm vs RMSNorm).

6. Significato e Contributi

Raffinamento dell'Ipotesi di Rappresentazione Lineare: L'ipotesi viene estesa per includere una specializzazione funzionale parziale: la direzione governa il routing attentivo, mentre la magnitudine modula l'intensità di elaborazione e la posizione strutturale.
Implicazioni per l'Editing dei Modelli: Suggerisce che per modificare le capacità del modello in modo chirurgico, si dovrebbe preservare la direzione quando si mira a mantenere la qualità linguistica e la conoscenza fattuale, e preservare la magnitudine per mantenere la coerenza sintattica.
Interpretabilità: Propone di analizzare separatamente direzione e magnitudine per rivelare flussi informativi distinti (contenuto semantico vs segnali di posizione strutturale/intensità).
Metodologico: Fornisce un framework rigoroso (L2-matched) per confrontare proprietà geometriche senza confondimenti legati alla scala della perturbazione.

In sintesi, il paper dimostra che la geometria degli stati nascosti non è un semplice contenitore di informazioni, ma una struttura attiva che plasma il flusso computazionale, con ruoli distinti per direzione e magnitudine che variano in base all'architettura del modello.