🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

Questo articolo dimostra che analizzare i gradienti della perdita anziché gli aggiornamenti dell'ottimizzatore rivela un forte accoppiamento, precedentemente nascosto, tra la sensibilità alla direzione del gradiente e le caratteristiche dell'ipotesi del centroide lineare, mostrando che vincolare gli aggiornamenti dell'attenzione a sottospazi a basso rango accelera il grokking, mentre gli aggiornamenti naturali a pieno rango sono altamente ridondanti in termini di rango.

Autori originali: Yongzhong Xu

Pubblicato 2026-04-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yongzhong Xu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Osservare un'auto in movimento vs. Guardare la strada

Immagina di cercare di capire come un'auto a guida autonoma impara a navigare in una città complessa. Vuoi sapere: Quali svolte e corsie specifiche stanno effettivamente aiutando l'auto a imparare il percorso?

Per molto tempo, i ricercatori hanno osservato il movimento effettivo dell'auto (la traiettoria dell'ottimizzatore) per capire questo aspetto. Guardavano il percorso fatto dall'auto negli ultimi minuti, tracciavano una linea attraverso il centro di quel percorso e dicevano: "Ecco! L'auto sta imparando muovendosi in questa direzione specifica".

Questo documento sostiene che osservare il movimento dell'auto è fuorviante.

Gli autori affermano che il movimento dell'auto è un miscuglio disordinato di:

Momentum: L'auto sta ancora scivolando per le svolte fatte 10 secondi fa.
Scalatura adattiva: L'auto sta regolando la sua velocità in base a quanto scivolosa sembra la strada.
Decadimento dei pesi: L'auto sta cercando di rimanere al centro della corsia anche quando non ne ha bisogno.
Obiettivi conflittuali: In un contesto multi-task, l'auto sta cercando di andare al supermercato, in palestra e in ufficio tutto insieme. Il percorso che segue è un compromesso, non una rotta chiara verso una singola destinazione.

Il documento afferma che per capire davvero cosa sta imparando l'auto, non dovresti guardare dove l'auto è andata. Invece, dovresti guardare i cartelli stradali e la mappa (i gradienti) che l'auto stava guardando proprio ora.

La scoperta centrale: Il "Percorso disordinato" vs. Il "Segnale chiaro"

I ricercatori hanno testato questo su un modello informatico che risolveva problemi matematici (come addizioni e moltiplicazioni). Hanno usato un "test" per vedere se il modello stava formando caratteristiche specifiche (come una regola mentale per sommare i numeri).

1. Il vecchio metodo (Osservare l'auto):
Quando hanno analizzato il percorso fatto dal modello (l'"Aggiornamento"), i risultati del test erano deboli e confusi.

Il risultato: Il modello sembrava stare imparando, ma la "direzione" dell'apprendimento sembrava casuale. In compiti complessi dove il modello doveva fare quattro cose contemporaneamente, il test falliva completamente. Sembrava che il modello non stesse imparando nulla di specifico.
L'analogia: È come cercare di capire la destinazione di un escursionista guardando le sue impronte fangose. Le impronte sono un pasticcio confuso di scivolamenti, fermate e cambi di direzione, quindi non puoi capire in che direzione stavano effettivamente cercando di andare.

2. Il nuovo metodo (Guardare la mappa):
I ricercatori sono passati ad analizzare i gradienti (il segnale matematico grezzo che dice al modello in che direzione muoversi prima che i disordinati passi dell'ottimizzatore intervengano).

Il risultato: Improvvisamente, il segnale è diventato incredibilmente chiaro. La "direzione" dell'apprendimento era da 30 a 100 volte più forte di prima.
L'analogia: Invece di guardare le impronte fangose, hanno guardato le coordinate GPS verso cui l'escursionista stava puntando in quel preciso secondo. La direzione era netta, chiara e perfettamente allineata con la destinazione.

Punto chiave: L'"ottimizzatore" (l'algoritmo che aggiorna il modello) aggiunge così tanto rumore e storia che nasconde il vero segnale di apprendimento. Devi rimuovere il momentum e la storia per vedere cosa sta effettivamente imparando il modello.

Il problema multi-task: La "Riunione del comitato"

Il documento ha anche esaminato un modello che cercava di imparare quattro diversi problemi matematici contemporaneamente (Addizione, Sottrazione, Moltiplicazione e una complessa formula quadratica).

La vecchia visione: Quando guardavano il percorso combinato del modello, sembrava un disastro. Il modello stava cercando di soddisfare quattro diversi "comitati", e il percorso risultante era un compromesso che non soddisfaceva bene nessuno di loro. Lo strumento diagnostico diceva: "Questo modello non sta imparando alcuna caratteristica specifica".
La nuova visione: Quando hanno guardato la "mappa" per ogni comitato separatamente (calcolando il gradiente per l'addizione, poi per la sottrazione, ecc.), hanno scoperto che il modello stava effettivamente imparando molto bene per tutti e quattro i compiti.
L'analogia: Immagina un comitato di quattro persone che cerca di decidere un ordine per il pranzo.
- Il vecchio metodo: Guardi il compromesso finale e disordinato (ad esempio: "Prendiamo un'insalata con condimenti per la pizza"). Sembra una decisione pessima che non soddisfa nessuno.
- Il nuovo metodo: Ascolti cosa voleva ordinare singolarmente ogni persona. Ti rendi conto che la Persona A voleva davvero un'insalata e la Persona B voleva davvero la pizza. Il "compromesso disordinato" era solo il risultato della loro discussione, ma i loro desideri individuali erano chiari e forti.

Conclusione: Nell'addestramento multi-task, il "percorso di compromesso" nasconde il fatto che il modello sta imparando con successo caratteristiche distinte per ogni compito. Devi separare i compiti per vedere l'apprendimento.

La sorpresa "Rank-3": Si tratta della dimensione, non della direzione

I ricercatori hanno fatto un'ultima esperienza. Hanno chiesto: "Abbiamo bisogno che il modello impari in queste direzioni specifiche che abbiamo trovato, o basta in qualsiasi direzione a bassa dimensionalità?"

Hanno costretto il modello a imparare usando solo un piccolo e semplice "sottospazio" (una minuscola fetta tridimensionale del suo enorme cervello).

Il risultato: Il modello ha imparato più velocemente (circa 2,3 volte più veloce) quando costretto a usare questa piccola fetta.
La svolta: Non importava quale fetta usassero. Che usassero la fetta "intelligente" trovata con il loro nuovo metodo, o una fetta completamente casuale, il modello imparava alla stessa velocità.
L'analogia: Immagina di cercare di mettere una valigia grande nel bagagliaio di un'auto piccola.
- Potresti pensare: "Devo piegare i vestiti in questo modo specifico per farli entrare".
- Ma l'esperimento ha mostrato che finché comprimi la valigia (riduci il rango), entra e arriva a destinazione più velocemente. Non importa se pieghi le camicie o i pantaloni per primi; ciò che conta è l'atto di comprimere lo spazio.

Conclusione: Le specifiche "direzioni" in cui il modello impara sono solo un sintomo del processo di apprendimento, non la causa. La vera magia è che il modello non ha bisogno del suo cervello completo e disordinato per imparare questi trucchi matematici; ha bisogno solo di una versione minuscola e compressa di esso.

Riepilogo per il pubblico generale

Smetti di guardare le impronte: Se vuoi capire come l'IA impara, non guardare il percorso che ha fatto (gli aggiornamenti dell'ottimizzatore). Quel percorso è troppo disordinato per la storia e i compromessi.
Guarda la mappa: Guarda le istruzioni grezze (i gradienti) che l'IA sta seguendo proprio ora. Questo rivela le vere "direzioni" dell'apprendimento, che sono molto più forti e chiare.
Separa i compiti: Se un'IA sta facendo molte cose contemporaneamente, il percorso combinato sembra un fallimento. Devi guardare ogni compito individualmente per vedere che sta effettivamente avendo successo.
La semplicità vince: L'IA impara più velocemente quando è costretta a essere semplice. Non ha bisogno di direzioni complesse e specifiche per imparare; ha solo bisogno di essere vincolata a uno spazio più piccolo e semplice.

Il documento ci dice essenzialmente che i nostri attuali strumenti per "interpretare" l'IA stanno guardando la cosa sbagliata. Passando a una visione più pulita dei dati, possiamo vedere che l'IA sta imparando in modo molto più efficace e semplice di quanto pensassimo.

1. Enunciato del Problema

Nell'interpretabilità meccanica, una domanda centrale è identificare quali direzioni nello spazio dei parametri corrispondono alla formazione di specifiche caratteristiche (circuiti). Un approccio diagnostico comune consiste nell'analizzare la struttura a rango basso delle traiettorie dell'ottimizzatore (aggiornamenti dei parametri, $\Delta \theta$ ) utilizzando la Decomposizione ai Valori Singoli (SVD) su finestre scorrevoli. Questo metodo, noto come Update SED (Spectral Edge Diagnostics), assume che le direzioni in cui si muove l'ottimizzatore riflettano fedelmente le direzioni rilevanti per la formazione delle caratteristiche.

Gli autori sostengono che questa assunzione sia difettosa nelle pipeline di training moderne (che utilizzano AdamW con momento, scalatura adattiva e decadimento dei pesi) e specialmente negli scenari multitask. Essi ipotizzano che gli aggiornamenti dell'ottimizzatore aggregino e distorcano il segnale gradiente sottostante, potenzialmente oscurando o distruggendo l'allineamento tra le diagnostiche basate sulla traiettoria e la effettiva formazione delle caratteristiche.

2. Metodologia

Lo studio investiga questa ipotesi utilizzando il fenomeno del grokking su compiti di aritmetica modulare (addizione, sottrazione, moltiplicazione e $a^2+b^2$ ) all'interno di un'architettura Transformer a 2 livelli. Gli autori confrontano due classi di stimatori spettrali rispetto all'Ipotesi dei Centroidi Lineari (LCH), che postula che le caratteristiche si formino lungo direzioni che massimizzano la sensibilità dei centroidi specifici per il compito.

Stimatori Chiave Confrontati:

Update SED: Esegue la SVD su una finestra scorrevole degli effettivi aggiornamenti dei parametri AdamW ( $\Delta \theta_t$ ). Questo cattura il "percorso" intrapreso dall'ottimizzatore.
Gradient SED: Esegue la SVD su una finestra scorrevole dei gradienti grezzi ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) valutati ai parametri correnti. Questo cattura la direzione di "discesa più ripida" del paesaggio della perdita, privo degli artefatti dell'ottimizzatore (momento, scalatura adattiva, decadimento dei pesi).
- Estensione Multitask: Negli scenari multitask, gli autori calcolano i gradienti per operazione ( $g_{op}$ ) retropropagando la perdita di ciascun compito separatamente, invece di utilizzare il gradiente della perdita totale aggregata.

Metrica Diagnostica:

L'accoppiamento tra una direzione spettrale $v_k$ e la formazione di caratteristiche è misurato dal rapporto perturbativo $R_k$ :
$R_k(t) = \frac{A(v_k, t)}{\text{median}_j A(r_j, t)}$
Dove $A(v, t)$ misura la variazione del centroido del compito quando i parametri di attenzione sono perturbati lungo la direzione $v$ . Un alto $R_k$ indica che la direzione $v$ è altamente sensibile alla formazione delle caratteristiche.

Interventi Causali:

Gli autori eseguono interventi causali vincolando gli aggiornamenti di attenzione a sottospazi a rango basso (Rango-3) definiti o dalla base SED o da una base casuale. Testano due metodi di proiezione:

Proiezione dell'Aggiornamento: Proiezione dell'aggiornamento finale AdamW.
Proiezione del Gradiente: Proiezione del gradiente prima che l'ottimizzatore AdamW calcoli i suoi momenti di momento e scalatura adattiva.

3. Risultati Chiave

A. Risultati Single-Task: Gradiente vs Aggiornamento

Fallimento di Update SED: Sui modelli single-task, Update SED produce rapporti di accoppiamento modesti ( $\bar{R}_k \approx 3\text{--}9\times$ ). L'addizione appare anomala nell'accoppiamento, mentre la moltiplicazione è debole.
Successo di Gradient SED: Sostituendo gli aggiornamenti con gradienti grezzi, i rapporti di accoppiamento aumentano di 30–100 $\times$ ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ ).
- La moltiplicazione diventa il compito più fortemente accoppiato, invertendo la classifica di Update SED.
- La "op-spread" (varianza tra i compiti) si riduce significativamente.
Ruolo della Finestra Scorrevole: L'alto accoppiamento a $W=1$ (gradiente istantaneo) suggerisce che la direzione del gradiente stessa è il principale motore. La finestra scorrevole ( $W=20$ ) agisce principalmente come un meccanismo di denoising, riducendo il rapporto in modo monotono ma mantenendo un segnale di ordini di grandezza superiore al caso.

B. Risultati Multitask: Il Fallimento Critico dell'Aggregazione

Crollo di Update SED: Nel training multitask, Update SED fallisce completamente, producendo $\bar{R}_k \le 1$ (peggiore del caso). L'aggiornamento dell'ottimizzatore aggregato, che bilancia quattro obiettivi in competizione, diventa ortogonale a qualsiasi sottospazio rilevante per le caratteristiche di un singolo compito.
Recupero di Gradient SED: Utilizzando il Gradient SED per operazione si recupera un forte accoppiamento ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ).
- Crucialmente, il segnale Gradient SED multitask è più forte del segnale Update SED single-task.
- Questo dimostra che la formazione delle caratteristiche è robusta negli scenari multitask ma è nascosta dall'aggregazione di gradienti in competizione nel passaggio di aggiornamento dell'ottimizzatore.

C. Interventi Causali: Rango vs Direzione

Accelerazione: Vincolare gli aggiornamenti a un sottospazio a Rango-3 accelera il grokking di circa 2.3 $\times$ .
Indipendenza dalla Direzione: Questa accelerazione si verifica indipendentemente dal fatto che il sottospazio sia la base SED (allineata alle caratteristiche) o una base casuale.
- Proiezione del Gradiente: Quando si proietta il gradiente prima dell'ottimizzazione, rimuovere il sottospazio SED (mantenendo il caso) non ha effetti negativi, e mantenere solo il rango casuale 3 accelera l'addestramento tanto quanto mantenere la base SED.
- Proiezione dell'Aggiornamento: Esperimenti iniziali suggerivano che rimuovere SED aiutasse, ma questo era un artefatto del momento interno e della scalatura adattiva di AdamW che faceva filtrare informazioni di nuovo nella traiettoria. La proiezione del gradiente elimina questo artefatto.
Conclusione: Il vincolo di rango (riducendo la ridondanza) è il fattore causale per l'accelerazione, non la direzione specifica. L'aggiornamento naturale AdamW sull'attenzione è "ridondante di rango", contenente principalmente movimento non funzionale per la transizione del grokking.

4. Contributi Chiave

Cambiamento Metodologico: Dimostra che la struttura del gradiente, e non le traiettorie dell'ottimizzatore, è l'oggetto corretto per l'analisi spettrale della formazione delle caratteristiche. Gli aggiornamenti dell'ottimizzatore introducono distorsioni qualitative che nascondono le direzioni rilevanti per le caratteristiche.
Interpretabilità Multitask: Identifica l'aggregazione dei gradienti tra compiti in competizione come un ostacolo generale all'interpretabilità a livello di circuito. È necessaria un'analisi dei gradienti risolta per compito per recuperare la struttura delle caratteristiche nel training multitask.
Chiarificazione Causale: Mostra che, sebbene le direzioni derivate dai gradienti siano forti diagnostiche della formazione delle caratteristiche, non sono uniche causali. Il fattore chiave è la natura a rango basso dell'aggiornamento, non il specifico allineamento con la base del gradiente.
Identificazione di Artefatti: Rivela che le precedenti osservazioni di "varietà a rango-1" nel grokking erano parzialmente oscurate dal rumore e dalla distorsione intrinseca negli aggiornamenti AdamW.

5. Significato

Per l'Interpretabilità: Questo lavoro sfida la pratica standard di analizzare le traiettorie di aggiornamento dei parametri (ad esempio, PCA sulle differenze di pesi) per trovare circuiti. Sostiene che tali metodi sottostimano sistematicamente la formazione delle caratteristiche, specialmente in scenari multitask complessi o su larga scala (come Mixture-of-Experts).
Per le Dinamiche di Training: Suggerisce che il "percorso naturale" intrapreso da ottimizzatori come AdamW è spesso inefficiente e ridondante. Vincolare l'ottimizzazione a ranghi inferiori può accelerare significativamente l'apprendimento senza sacrificare le prestazioni.
Direzioni Future: I risultati implicano che per modelli su larga scala (LLM, instruction tuning), analizzare i gradienti per compito (o approssimazioni come Lanczos sulla Fisher empirica) è essenziale per comprendere come si formano circuiti specifici, piuttosto che affidarsi all'analisi aggregata delle traiettorie.

In sintesi, il paper sostiene che il gradiente è il segnale e l'ottimizzatore è il rumore. Per comprendere come le reti neurali apprendono le caratteristiche, è necessario analizzare il paesaggio del gradiente grezzo, in particolare decomposto per compito, piuttosto che il percorso distorto che l'ottimizzatore compie attraverso lo spazio dei parametri.