🤖 machine learning

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold

Questo articolo spiega il fenomeno della generalizzazione ritardata noto come grokking, dimostrando che, nel limite di tassi di apprendimento e decadimento del peso piccoli, la discesa del gradiente minimizza la norma del peso sul manifold a perdita zero, un meccanismo validato attraverso un'espressione in forma chiusa derivata per la dinamica post-memorizzazione e simulazioni sperimentali.

Autori originali: Tiberiu Musat

Pubblicato 2026-06-02

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tiberiu Musat

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Mistero: Cos'è il "Grokking"?

Immagina di insegnare la matematica a un robot. Gli mostri un esempio: $1 + 1 = 2$ .

Fase 1 (Memorizzazione): Il robot impara rapidamente a dire "2" ogni volta che vede "1 + 1". Ha memorizzato la risposta. Se gli chiedi di risolvere un nuovo problema, come $2 + 2$ , fallisce. È solo un pappagallo che ripete ciò che ha sentito.
La Lunga Attesa: Continui ad addestrare il robot. Per molto tempo, nulla sembra cambiare. Conosce ancora solo quell'unico esempio.
Fase 2 (Grokking): Improvvisamente, dopo centinaia o migliavere di passi extra, il robot ha un "momento di illuminazione". Capisce la regola dell'addizione. Ora può risolvere $2 + 2$ , $5 + 3$ e qualsiasi altro problema di addizione perfettamente.

Questo strano ritardo — dove il robot passa dal "memorizzare" al "comprendere" molto tempo dopo aver già padroneggiato i dati di addestramento — è chiamato Grokking.

L'Idea Principale del Saggio: Il Manifold a "Zero-Loss"

Gli autori di questo saggio vogliono spiegare perché accade questo. Propongono un nuovo modo di guardare a come il robot impara durante quel lungo periodo di attesa.

Pensa al cervello del robot come a un enorme paesaggio multidimensionale.

L'Obiettivo: Il robot vuole raggiungere una valle dove l'errore (quanto sbaglia) è zero.
La Valle a Zero-Loss: Una volta che il robot ha memorizzato il singolo esempio ( $1 + 1 = 2$ ), ha raggiunto il fondo di una valle molto specifica e piatta. In questa valle, il robot commette zero errori sui dati di addestramento.
Il Problema: Questa valle è enorme. Ci sono milioni di modi diversi per disporre le manopole interne (i pesi) del robot per ottenere lo zero errore. Alcune di queste disposizioni sono "intelligenti" (generalizzano alla nuova matematica), e altre sono "stupide" (funzionano solo per l'unico esempio dato).

Il Meccanismo Segreto: Minimizzazione della Norma

Il saggio sostiene che, una volta che il robot si trova in questa "Valle a Zero-Loss", il processo di addestramento cambia il suo obiettivo. Smette di cercare di abbassare l'errore (perché l'errore è già zero) e inizia a semplificare se stesso.

L'Analogia: Il Funambolo
Immagina il robot come un funambolo su un filo molto lungo e sinuoso (la Valle a Zero-Loss).

Il Filo: Il filo rappresenta tutti i possibili modi in cui il robot può ottenere la risposta corretta.
La Spinta: L'addestramento include un "weight decay" (una piccola forza che spinge costantemente il robot a usare meno energia).
Il Risultato: Poiché il robot è già sul filo (errore zero), l'unica cosa che può fare è scivolare lungo il filo. La forza di "risparmio energetico" lo spinge verso la parte del filo che è la più breve e semplice.

Gli autori dimostrano matematicamente che il robot sta essenzialmente scivolando lungo questo filo, cercando la soluzione più semplice. Alla fine, trova il percorso più "semplice", che è proprio quello che comprende la regola generale dell'addizione. Ecco perché la generalizzazione avviene dopo la memorizzazione: il robot deve completare la sua lunga e lenta scivolata lungo il filo per trovare la soluzione semplice.

La Prova del "Modello Toy"

Per dimostrare che non si tratti di una semplice coincidenza, gli autori hanno costruito un piccolo e semplice robot (un modello lineare) con solo due manopole.

Li hanno addestrati su $1 + 1 = 2$ .
Osservazione: Il robot ha trovato rapidamente una soluzione che funzionava per i dati di addestramento ma era strana (ad esempio, usando un numero positivo enorme e un numero negativo enorme che si annullavano a vicenda).
Lo Scivolamento: Poi, lentamente, il "weight decay" ha spinto le manopole verso una soluzione molto più semplice e bilanciata (1 e 1).
Il Risultato: Non appena le manopole hanno raggiunto quel punto semplice e bilanciato, il robot è diventato improvvisamente bravissimo a risolvere qualsiasi problema di addizione, non solo $1 + 1$ .

La Prospettiva "Isolata": Concentrarsi sullo Strato di Embedding

Il saggio affronta anche una seconda domanda: Possiamo capire solo una parte del cervello del robot senza modellare tutto l'insieme?

Nel caso specifico dell'addizione modulare (matematica con un orologio, come $11 + 2 = 1$ ), ricerche precedenti hanno mostrato che il robot dispone i numeri in un cerchio.

L'Analogia: Immagina che il primo strato del robot sia un cartografo. Prende i numeri e li colloca su una mappa.
La Scoperta: Gli autori hanno creato una scorciatoia matematica. Hanno dimostrato che se si assume che il secondo strato del robot sia sempre "perfettamente regolato" rispetto al primo, è possibile scrivere una formula semplice che predice esattamente come il cartografo (il primo strato) si muoverà.
La Simulazione: Quando hanno eseguito questa formula su un computer, ha ricreato perfettamente l'effetto "Grokking". Il cartografo ha lentamente riorganizzato i numeri da una massa disordinata a un cerchio perfetto, e poi il robot ha iniziato a comprendere la matematica.

Sintesi delle Scoperte

Il Grokking è Geometria: Il ritardo nell'apprendimento non è un bug; è una caratteristica della geometria. Il robot deve percorrere una lunga distanza lungo un percorso a "errore zero" per trovare la soluzione più semplice.
Il Weight Decay è il Motore: La piccola forza che cerca di rendere più piccoli i numeri del robot (weight decay) è ciò che lo spinge lungo questo percorso. Senza di essa, il robot rimarrebbe bloccato nel punto di "memorizzazione" per sempre.
La Semplificazione Funziona: Puoi prevedere come una rete complessa impara guardando solo una parte di essa (lo strato di embedding) e assumendo che il resto della rete si adatti istantaneamente ad essa.

Cosa il Saggio Non Afferma

Non afferma che questo funzioni per ogni tipo di IA o per ogni tipo di dati (si concentra su problemi matematici specifici e reti semplici).
Non suggerisce di usare questo approccio per costruire migliori IA mediche o auto a guida autonoma per ora.
Non afferma di aver risolto il mistero di tutte le reti neurali, ma solo del fenomeno specifico del "grokking" in questi contesti.

In breve, il saggio ci dice che il Grokking è il robot che fa una lunga, lenta passeggiata lungo una linea retta per trovare il modo più semplice ed elegante di risolvere un problema.

Sintesi Tecnica: La Geometria del Grokking

Enunciato del Problema
Il documento affronta il fenomeno del "grokking" nelle reti neurali, in cui un modello raggiunge una perfetta generalizzazione sui dati di test solo dopo un ritardo sostanziale rispetto alla completa memorizzazione del set di addestramento. Sebbene ricerche precedenti abbiano collegato questa generalizzazione ritardata all'apprendimento di rappresentazioni guidato dal decadimento del peso (weight decay), la dinamica sottostante precisa rimane poco chiara. Nello specifico, gli autori cercano di rispondere a: (1) Qual è l'esatto ruolo del decadimento del peso nell'apprendimento post-memorizzazione? e (2) È possibile isolare le dinamiche di apprendimento di componenti specifiche della rete (come gli strati di embedding) dal resto della rete?

Metodologia e Quadro Teorico
Gli autori approcciano il problema attraverso la lente dell'ottimizzazione vincolata e del flusso del gradiente, analizzando il sistema nel limite di tassi di apprendimento e coefficienti di decadimento del peso infinitesimalmente piccoli ( $\lambda \to 0$ ).

Dinamiche Post-Memorizzazione: Il documento dimostra formalmente che, una volta che una rete raggiunge una perdita di addestramento nulla (memorizzazione), le dinamiche di apprendimento successive sono vincolate al manifold a perdita zero ( $Z$ ). In questo regime, la discesa del gradiente minimizza efficacementamente la norma dei pesi ( $\|\theta\|^2$ ) rimanendo su $Z$ . Gli autori stabiliscono che il gradiente della perdita diventa ortogonale allo spazio tangente del manifold a perdita zero man mano che i parametri si avvicinano a $Z$ , il che significa che la funzione di perdita non guida più gli aggiornamenti dei parametri; invece, il decadimento del peso spinge i parametri verso la soluzione a norma minima all'interno dell'insieme a perdita zero.
Dinamiche di Componenti Isolate: Per analizzare strati specifici, gli autori propongono un'approssimazione in cui le dinamiche di un sottoinsieme di parametri ( $\theta_1$ ) sono disaccoppiate dal resto ( $\theta_2$ ). Assumendo che $\theta_2$ si adatti istantaneamente al valore ottimale per ogni dato $\theta_1$ (trattando efficacemente $\theta_2$ come una variabile veloce), derivano una funzione di costo efficace $R(\theta_1) = \min_{\theta_2} L_\lambda(\theta_1, \theta_2)$ .
Derivazione di una Rete a Due Strati: Applicando questo framework a una rete a due strati con perdita di errore quadratico medio, gli autori derivano un'espressione in forma chiusa per le dinamiche di apprendimento del primo strato (lo strato di embedding). Nel limite di sovra-parametrizzazione a perdita zero, le dinamiche dei pesi del primo strato $W_1$ seguono il flusso del gradiente di una specifica funzione di costo che bilancia il decadimento del peso contro l'adattamento del secondo strato.

Risultati Chiave

Dimostrazione Teorica: Il documento prova che, per quasi ogni dataset, l'insieme a perdita zero è un manifold liscio privo di singolarità durante l'addestramento standard. Dimostra inoltre che il gradiente della perdita è ortogonale a questo manifold vicino alla soluzione, confermando che l'apprendimento post-memorizzazione è guidato interamente dalla minimizzazione della norma.
Validazione tramite Modello Semplice (Toy Model): Utilizzando modelli lineari su compiti di addizione, gli autori dimostrano che i modelli convergono inizialmente a una soluzione a perdita zero (memorizzazione) e poi scivolano lentamente lungo il manifold a perdita zero verso la soluzione a norma minima (generalizzazione). La velocità di questo scivolamento è inversamente proporzionale al coefficiente di decadimento del peso.
Simulazione del Grokking: Gli autori simulano le dinamiche derivate in forma chiusa per il primo strato di una rete addestrata sulla somma modulare. La simulazione riproduce con successo il caratteristico ritardo nella generalizzazione: il modello mantiene una perdita di addestramento nulla mentre l'accuratezza di test rimane al livello del caso casuale per centinaia di step, per poi saltare a una perfetta generalizzazione.
Apprendimento delle Rappresentazioni: La simulazione rivela che, durante la fase di generalizzazione, i vettori di embedding si organizzano in strutture circolari nel dominio di Fourier. Nello specifico, le norme delle caratteristiche di Fourier si eguagliano e le caratteristiche diventano ortogonali, rispecchiando le "rappresentazioni circolari" osservate in precedenti studi di interpretabilità sul grokking.

Significatività e Rivendicazioni
Il documento sostiene di fornire una spiegazione geometrica formale del grokking, identificandolo come un processo a due fasi: una fase veloce di memorizzazione seguita da una fase lenta di minimizzazione della norma sul manifold a perdita zero. Derivando un'espressione in forma chiusa per le dinamiche dello strato di embedding, gli autori offrono una base teorica per comprendere come componenti specifiche della rete apprendano le rappresentazioni.

Gli autori pongono questo lavoro come un passo verso la demistificazione del funzionamento interno delle reti neurali, fondamentale per sviluppare sistemi di IA più sicuri e affidabili. Notano che i loro risultati sono in linea con il lavoro concomitante di Boursier et al. (2026) riguardante il flusso del gradiente regolarizzato. Il documento riconosce modestamente i limiti, osservando che si concentra sulla perdita di errore quadratico medio piuttosto che sulla cross-entropy ed è attualmente limitato alle reti a due strati, lasciando le dinamiche di architetture più profonde come una sfida aperta.