📊 statistics

A Stochastic--Geometric Theory of Scaling Laws in Grokking

Questo articolo propone una teoria stocastico-geometrica che spiega il grokking come una transizione indotta dall'ottimizzazione da un guscio di memorizzazione a un nucleo di generalizzazione all'interno dello spazio dei parametri di Adam, derivando e validando così le leggi di scala per il tempo di ritardo basate sul tasso di apprendimento, la dimensione del batch e la regolarizzazione.

Autori originali: Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Pubblicato 2026-07-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare il personaggio di un videogioco che cerca di risolvere un enigma complicato. All'inizio, il personaggio corre freneticamente intorno, memorizzando ogni singolo passaggio del percorso che ha appena compiuto. Ottiene il punteggio zero istantaneamente, ma non ha realmente imparato le regole; ha solo memorizzato la mappa specifica. Questo si chiama memorizzazione.

Poi, succede qualcosa di magico. Dopo un lungo, noioso periodo in cui nulla sembra cambiare, il personaggio si ferma improvvisamente, guarda la lavagna e capisce. Inizia a risolvere nuovi enigmi mai visti prima in modo perfetto. Questo improvviso momento di illuminazione è ciò che i ricercatori chiamano grokking.

Per molto tempo, nessuno sapeva perché accadesse questo ritardo. Era magia? Un glitch? In questo articolo, gli autori suggeriscono un nuovo modo per visualizzare ciò che accade all'interno del cervello del computer (la rete neurale) usando una mappa di forme e distanze.

La Cipolla delle Soluzioni

Gli autori propongono che lo spazio in cui può esistere il "cervello" del computer assomigli a un insieme di sfere nidificate, simile a una cipolla o a un bersaglio.

Il Guscio Esterno (Inizializzazione): Quando il computer parte, le sue impostazioni sono sparse su un sottile guscio esterno. È come lanciare freccette che atterrano tutte sul bordo di un enorme palloncino.
Il Guscio Intermedio (Memorizzazione): Mentre il computer impara, scivola rapidamente verso uno strato intermedio. Qui, ha memorizzato perfettamente i dati di addestramento. È come il personaggio del nostro gioco che ha memorizzato la mappa ma non capisce le regole. Il computer rimane bloccato qui per molto tempo.
Il Nucleo (Generalizzazione): Profondamente nel centro della cipolla si trova il nucleo della "generalizzazione". Questo è il punto ideale dove il computer capisce realmente le regole e può risolvere nuovi problemi.

Il fenomeno del "grokking" è semplicemente il viaggio dal guscio intermedio, attraverso lo spazio vuoto, verso il nucleo. Il mistero era: Perché ci vuole così tanto per arrivarci?

La Camminata Ubriaca e l'Attrazione Magnetica

Gli autori spiegano che il processo di apprendimento del computer (usando un ottimizzatore chiamato Adam) è un mix di due forze:

La Camminata Ubriaca (Diffusione): Poiché il computer impara da piccoli lotti di dati, il suo percorso è un po' traballante, come una persona ubriaca che cammina in linea retta. Questo traballamento è casuale.
L'Attrazione Magnetica (Drift): C'è anche una forza costante che tira il computer verso il centro, specialmente a causa di una regola chiamata regolarizzazione $\ell_2$ (che agisce come un magnete gentile cercando di mantenere piccole le impostazioni).

Il saggio suggerisce che il computer rimanga bloccato nel guscio intermedio perché la "camminata ubriaca" è troppo debole per spingerlo fuori da quello strato, e la "attrazione magnetica" non è abbastanza forte da trascinarlo direttamente al centro immediatamente. Deve vagare intorno al guscio intermedio per un po', finché, per caso, i traballamenti casuali non lo spingono abbastanza lontano da farlo cadere nel nucleo.

Le Regole del Gioco (Leggi di Scala)

Gli autori non hanno solo tirato a indovinare; hanno usato la matematica (specificamente la teoria del tempo di arresto e le equazioni differenziali stocastiche) per prevedere esattamente quanto dovrebbe durare questo ritardo. Hanno scoperto tre "manopole" principali che controllano la velocità di questo viaggio:

Tasso di Apprendimento ( $\eta$ ): Questo è quanto è grande il passo che il computer compie. L'articolo mostra che se i passi sono troppo piccoli, ci vuole un'eternità per uscire dal guscio intermedio. Se sono troppo grandi, il computer potrebbe superare l'obiettivo. Esiste una zona "Goldilocks" (né troppo calda, né troppo fredda).
Dimensione del Batch ( $b$ ): Questo è quanti esempi il computer guarda prima di compiere un passo. L'articolo suggerisce che i batch più grandi rendono la "camminata ubriaca" meno traballante, il che in realtà rallenta l'uscita dal guscio intermedio.
Regolarizzazione ( $\lambda$ ): Questa è la forza dell' "attrazione magnetica". L'articolo trova che una trazione più forte aiuta il computer a uscire dal guscio intermedio più velocemente, ma solo fino a un certo punto.

Hanno derivato formule specifiche (leggi di scala) su come queste manopole cambiano il tempo necessario per il grokking. Ad esempio, il tempo necessario per saltare dalla memorizzazione alla generalizzazione è approssimativamente proporzionale a $1/(\eta \lambda)$ . Ciò significa che se raddoppi il tasso di apprendimento o la regolarizzazione, il tempo di ritardo viene dimezzato.

Ciò che hanno Escluso

L'articolo è molto attento a precisare cosa non sta affermando. Non dicono che il grokking accade perché la rete improvvisamente "trova un circuito" o a causa di un misterioso risveglio di tipo biologico. Al contrario, sostengono che sia puramente il risultato della geometria dello spazio delle soluzioni e della casualità del processo di ottimizzazione. Escludono anche l'idea che si tratti di una semplice fortuna casuale; la loro matematica suggerisce che sia una caratteristica strutturale e prevedibile del modo in cui Adam ottimizza questi tipi specifici di problemi.

Quanto sono sicuri?

Gli autori sono piuttosto fiduciosi nella loro teoria, ma sono cauti nel distinguere tra ciò che hanno dimostrato e ciò che hanno misurato.

La Matematica: Hanno derivato queste leggi di scala utilizzando rigorose prove matematiche basate su modelli a tempo continuo del processo di apprendimento. Hanno utilizzato un sistema di algebra simbolica (un programma per computer che fa matematica) per controllare le loro formule, il che conferisce loro un'alta fiducia nelle equazioni.
La Prova: Hanno testato le loro idee su due tipi specifici di enigmi: apprendimento di teoria dei gruppi (specificamente sul gruppo simmetrico $S_5$ ) e aritmetica modulare (specificamente sugli interi modulo 127, scritto come $Z_{127}$ ).
I Risultati: In questi esperimenti, il comportamento del computer corrispondeva alle loro previsioni. Ad esempio, quando hanno cambiato il tasso di apprendimento o la dimensione del batch, il tempo necessario per il grokking è cambiato esattamente come previsto dalle loro formule. Hanno anche osservato la curva a "forma di U" per il raggio di memorizzazione, che la loro teoria diceva che sarebbe accaduta.

Tuttavia, notano che la loro matematica si basa su certe condizioni, come avere un piccolo tasso di apprendimento e una grande dimensione del batch. Non pretendono che questo spieghi ogni istanza di grokking in ogni possibile rete neurale, ma piuttosto che spiega il fenomeno in questi compiti specifici e strutturati dove esiste la geometria "guscio-nucleo".

Il Punto Fondamentale

Il grokking non è magia; è un viaggio geometrico. Il computer inizia all'esterno, rimane bloccato in un "guscio di memorizzazione" e deve vagare finché il rumore casuale del suo processo di apprendimento non lo spinge nel "nucleo di generalizzazione". Il tempo necessario per compiere questo salto dipende da quanto è veloce il passo (tasso di apprendimento), quanto sono costanti i suoi passi (dimensione del batch) e quanto fortemente viene tirato verso il centro (regolarizzazione). Gli autori hanno mappato queste regole con la matematica e le hanno confermate con esperimenti, offrendo un quadro più chiaro del perché queste reti neurali sembrano a volte dormire a lungo prima di svegliarsi improvvisamente.

Problematica
La generalizzazione ritardata, o "grokking", è un fenomeno osservato nelle reti neurali addestrate su compiti altamente strutturati e privi di rumore (ad es., aritmetica modulare, apprendimento della teoria dei gruppi). In questi contesti, i modelli raggiungono rapidamente una perdita di addestramento prossima allo zero (memorizzazione), ma falliscono nel generalizzare per un periodo prolungato prima di transire bruscamente verso una forte performance di test. Nonostante l'estesa ricerca empirica, il meccanismo sottostante che guida questo ritardo e il ruolo specifico degli iperparametri (learning rate, dimensione del batch, regolarizzazione) rimangono scarsamente compresi.

Metodologia
Gli autori propongono un framework stocastico-geometrico per caratterizzare il grokking, basato sulla dinamica di ottimizzazione dell'ottimizzatore Adam con regolarizzazione di tipo weight-shrinkage $\ell_2$ .

Caratterizzazione Topologica: Il documento postula che le dinamiche di ottimizzazione di Adam inducano una configurazione topologica "shell–core" (guscio-nucleo) nello spazio dei parametri.
- Inizializzazione: Le soluzioni si concentrano su un sottile guscio ipersferico esterno ( $\Theta$ ).
- Memorizzazione: All'interno di $\Theta$ si trova un guscio di soluzioni di memorizzazione ( $M \setminus G$ ), dove il modello adatta i dati di addestramento ma fallisce nella generalizzazione.
- Generalizzazione: Al centro si trova un nucleo compatto di soluzioni di generalizzazione ( $G$ ).
- La transizione dalla memorizzazione alla generalizzazione è modellata come una fuga stocastica dal guscio esterno verso il nucleo interno.
Formulazione di Equazioni Differenziali Stocastiche (SDE):
- Gli autori derivano un limite a tempo continuo delle dinamiche di Adam, formulando una SDE a stato congiunto per i parametri ( $\theta$ ) e le stime del primo e secondo momento ( $m, v$ ). Questa SDE tiene conto della stocasticità dei gradienti dei mini-batch e dei meccanismi di correzione del bias di Adam.
- Riduzione dello stadio avanzato: Osservazioni empiriche suggeriscono che nelle fasi avanzate dell'addestramento (post-memorizzazione), le stime dei momenti convergono ai loro limiti di campo medio e il rumore del gradiente diventa piccolo e isotropo. Queste proprietà permettono di ridurre la complessa SDE a stato congiunto a una trattabile SDE radiale che governa l'evoluzione della norma al quadrato dei parametri ( $r_t^2 = \|\theta_t\|^2$ ).
Analisi del Tempo di Arresto:
- La transizione temporale dal manifold di memorizzazione ( $\partial M$ ) al manifold di generalizzazione ( $\partial G$ ) è analizzata utilizzando la teoria dei tempi di arresto per i processi stocastici.
- Gli autori derivano leggi di scala per i raggi di questi manifold e il tempo di transizione atteso risolvendo problemi di valore al contorno di Dirichlet ed equazioni del tempo medio di primo passaggio derivate dalle SDE ridotte.

Contributi Chiave

Topologia Shell–Core Indotta dall'Ottimizzazione: Il documento introduce un prior teorico dove l'inizializzazione si concentra su un guscio che racchiude soluzioni di memorizzazione, che a loro volta racchiudono un nucleo di generalizzazione. Questa configurazione è indotta specificamente dalle dinamiche di Adam con weight shrinkage.
Caratterizzazione Stocastico-Geometrica: Il grokking è formalmente caratterizzato come un problema di transizione stocastica. La geometria dello spazio delle soluzioni è definita dal primo tempo di arresto in cui i flussi di gradiente stocastico sfuggono dal manifold di memorizzazione e raggiungono il manifold di generalizzazione.
Derivazione delle Leggi di Scala: Gli autori derivano leggi di scala asintotiche in forma chiusa per:
- Raggio di Memorizzazione ( $\rho_M$ ): Dipende dal learning rate ( $\eta$ ), dalla dimensione del batch ( $b$ ) e dalla regolarizzazione ( $\lambda$ ). La teoria predice una dipendenza a forma di U rispetto al rapporto $\eta/b$ .
- Raggio di Generalizzazione ( $\rho_G$ ): Dipende da $\eta$ , $\lambda$ e $b$ , decomponendosi in un termine dipendente dal landscape e in una correzione di fluttuazione.
- Tempo di Transizione della Soluzione ( $\tau_{M \to G}$ ): Il numero atteso di iterazioni per transitare dalla memorizzazione alla generalizzazione scala inversamente con il coefficiente di regolarizzazione ( $\lambda$ ) e il learning rate ( $\eta$ ), specificamente $\tau \propto 1/(\eta \lambda)$ .

Risultati
Le previsioni teoriche sono state validate attraverso esperimenti su due compiti di apprendimento strutturato: apprendimento della teoria dei gruppi su $S_5$ e aritmetica modulare su $\mathbb{Z}_{127}$ .

Validazione Empirica: Gli esperimenti hanno confermato le leggi di scala previste per i raggi dei manifold e i tempi di transizione attraverso diversi iperparametri.
Curva a forma di U: I dati hanno supportato la previsione teorica che il raggio di memorizzazione $\rho_M$ esibisca una curva a forma di U rispetto a $\eta/b$ .
Recupero della Letteratura: Le leggi di scala derivate hanno recuperato risultati empirici noti dalla letteratura precedente, come la dipendenza inversa del ritardo di grokking dalla regolarizzazione e la "zona Goldilocks" per le norme dei pesi.
Verifica Simbolica: Tutti i risultati in forma chiusa e asintotica sono stati verificati tramite un sistema di algebra simbolica (Julia) per garantirne la correttezza tecnica.

Significato
Il documento sostiene di fornire un framework teorico che connette la geometria dei manifold di soluzione con le dinamiche stocastiche dell'ottimizzatore Adam. Caratterizzando il grokking attraverso l'analisi del tempo di arresto delle SDE, il lavoro offre una spiegazione meccanicistica del fenomeno della generalizzazione ritardata. Chiarisce come specifici iperparametri modulino la diffusione stocastica e il drift deterministico per influenzare il tempo necessario affinché un modello transiti dalla memorizzazione alla generalizzazione. Gli autori osservano che i loro risultati dipendono dalle condizioni richieste per il limite SDE di Adam (learning rate sufficientemente piccolo e dimensione del batch elevata) e non si applicano direttamente al regime di $\eta/b$ elevato.