Riepilogo Tecnico: Grokking o Glitch? Come la Bassa Precisione Guida i Picchi di Perdita a Fionda

1. Enunciato del Problema

Le reti neurali profonde addestrate senza regolarizzazione esplicita spesso esibiscono un fenomeno noto come "Grokking", in cui i modelli raggiungono una generalizzazione improvvisa molto tempo dopo aver raggiunto una precisione di addestramento perfetta. Questo processo è frequentemente accompagnato dal Meccanismo a Fionda: instabilità periodiche caratterizzate da una rapida crescita, quasi esponenziale, della norma dei parametri dell'ultimo strato, seguita da picchi improvvisi nella perdita di addestramento.

Mentre la letteratura esistente attribuisce questi picchi a dinamiche intrinseche di ottimizzazione—come il Bordo della Stabilità (EOS) o le interazioni tra le scale dei gradienti e gli ottimizzatori adattivi—il meccanismo di attivazione preciso rimane incerto. Questo articolo indaga se queste instabilità siano intrinseche al paesaggio di ottimizzazione o artefatti dell'aritmetica in precisione finita.

2. Metodologia e Quadro Teorico

Gli autori propongono che il Meccanismo a Fionda non sia un fenomeno intrinseco di ottimizzazione, ma il risultato dei limiti di precisione dell'aritmetica in virgola mobile durante il calcolo della perdita Entropia Incrociata (CE).

2.1 Collasso Softmax (SC)

Il cuore del meccanismo risiede nell'errore di assorbimento intrinseco all'addizione in virgola mobile. Man mano che l'addestramento procede e il modello entra in un regime ad alta confidenza (precisione di addestramento perfetta), il logit per la classe corretta ($z_r$) diventa significativamente più grande dei logit per le classi errate ($z_k$).

• Nel calcolo Softmax, il denominatore coinvolge un'operazione log-sum-exp: $Z = \log(\sum \exp(z_k))$.
• Quando il margine $z_r - \max_{k \neq r} z_k$ supera una soglia determinata dalla precisione della mantissa (ad esempio, $\approx 16$ per float32), i termini più piccoli vengono assorbiti nel termine più grande a causa della precisione limitata.
• Di conseguenza, la probabilità calcolata per la classe corretta diventa esattamente 1, e il gradiente rispetto al logit della classe corretta, $\partial L / \partial z_r$, arrotonda a esattamente zero. Questo fenomeno è denominato Collasso Softmax (SC).

2.2 Rottura del Vincolo a Somma Zero

In aritmetica esatta, la somma dei gradienti su tutte le classi per un singolo campione è zero ($\sum_k \nabla_{W_k} L = 0$), assicurando che la media globale dei pesi del classificatore ($W_G$) rimanga statica.

• Sotto SC, il gradiente per la classe corretta svanisce, mentre i gradienti per le classi errate rimangono non nulli (sebbene piccoli).
• Questo rompe il vincolo a somma zero, introducendo una deriva netta nell'aggiornamento della media globale del classificatore $W_G$. Nello specifico, $W_G$ deriva nella direzione di $-\mu_G$, dove $\mu_G$ è la media globale delle caratteristiche dello strato penultimo.

2.3 Inflazione Numerica delle Caratteristiche (NFI)

L'articolo identifica un ciclo di retroazione positivo denominato Inflazione Numerica delle Caratteristiche (NFI):

1. La deriva in $W_G$ altera il flusso del gradiente indietro verso lo strato delle caratteristiche.
2. La media delle caratteristiche $\mu_G$ riceve una deriva nella direzione di $-W_G$.
3. Questo crea una dinamica accoppiata in cui $W_G$ e $\mu_G$ diventano anti-paralleli, e le loro norme crescono esponenzialmente.
4. Man mano che queste norme crescono, il margine per alcuni campioni (in particolare gli outlier) alla fine scende sotto la soglia di assorbimento, causando la riapparizione improvvisa del gradiente della classe corretta.

2.4 Il Picco a Fionda

La riapparizione del gradiente della classe corretta innesca il picco di perdita:

• Prima del picco, il gradiente della classe corretta è zero e i gradienti delle classi errate sono minuscoli. L'accumulatore del secondo momento dell'ottimizzatore Adam ($v_t$) decade, causando la crescita estrema del tasso di apprendimento effettivo ($\eta / \sqrt{v_t + \epsilon}$).
• Quando il gradiente riappare improvvisamente, questo enorme tasso di apprendimento effettivo risulta in un aggiornamento dei parametri sproporzionatamente grande, spingendo la perdita a livelli di indovinio casuale (la "Fionda").

3. Contributi Chiave

1. Spiegazione Teorica della Fionda: L'articolo fornisce una prova rigorosa che il Meccanismo a Fionda è un artefatto numerico causato dal calcolo della perdita CE in precisione finita, collegandolo specificamente al Collasso Softmax e alla successiva rottura del vincolo di gradiente a somma zero.
2. Identificazione della NFI: Gli autori definiscono l'Inflazione Numerica delle Caratteristiche (NFI), un ciclo di retroazione tra la media globale del classificatore e la media globale delle caratteristiche, che guida la crescita esponenziale delle norme dei parametri osservata prima dei picchi di perdita.
3. Distinzione dalle Dinamiche Intrinseche: Il lavoro dimostra che la Fionda è distinta dal Bordo della Stabilità (EOS). Mentre l'EOS coinvolge oscillazioni dovute alla curvatura dell'Hessiano, la Fionda si verifica in regimi in cui gli autovalori dell'Hessiano svaniscono (regime di interpolazione) ed è eliminata aumentando la precisione.
4. Interventi Pratici: L'articolo propone e convalida metodi per sopprimere la NFI, tra cui:
   • Utilizzare float64 per il calcolo della perdita (eliminando gli errori di assorbimento).
   • Imporre il vincolo a somma zero tramite proiezione del gradiente.
   • Applicare la Normalizzazione di Batch immediatamente prima del classificatore finale per rimuovere la componente della media globale.
   • Aumentare il parametro $\epsilon$ di Adam per limitare il tasso di apprendimento effettivo.

4. Risultati Sperimentali

Gli autori convalidano la loro teoria su più architetture (MLP, VGG11, ResNet18, ViT, Transformers) e dataset (Aritmetica Modulare, CIFAR-10, FineWeb per LLM).

• Sensibilità alla Precisione: Passare il calcolo della perdita a float64 elimina completamente i picchi a Fionda, anche quando i parametri del modello rimangono in float32. Questo conferma che l'instabilità origina dal calcolo della perdita, non dalle dinamiche del modello.
• Dipendenza Architettonica: Il fenomeno è osservato nella maggior parte delle architetture ma è notevolmente assente in ResNet18. Gli autori attribuiscono ciò alla capacità di ResNet18 di ridurre la massa di probabilità residua ($\epsilon$) abbastanza rapidamente da impedire al ciclo di retroazione NFI di entrare nel regime di crescita esponenziale prima che il modello si stabilizzi.
• Mitigazione:
  • La Normalizzazione a Strato (LN) applicata prima del classificatore non riesce a mitigare l'effetto e può accelerare i picchi vincolando le norme delle caratteristiche.
  • La Normalizzazione di Batch (BN) applicata immediatamente prima dello strato lineare finale elimina con successo i picchi centrando le caratteristiche e rimuovendo la componente di deriva.
  • Il Label Smoothing elimina i picchi indotti dalla precisione ma introduce una diversa instabilità legata al Bordo della Stabilità a causa di autovalori dell'Hessiano non nulli.
• Contesto LLM: Nell'addestramento di Modelli Linguistici di Grande Dimensione, sebbene i picchi a Fionda su batch completo siano rari a causa della stocasticità dei mini-batch, il meccanismo NFI guida ancora una crescita anomala dei logit. Gli autori notano che nella modellazione linguistica, gli squilibri nella frequenza dei token (legge di Zipf) possono creare una grande media globale $W_G$ anche senza collasso numerico, portando a una dinamica diversa in cui la bassa precisione può parzialmente sopprimere la divergenza indotta dalla frequenza.

5. Significato e Affermazioni

L'articolo reinterpreta il Meccanismo a Fionda non come un comportamento misterioso di ottimizzazione, ma come una dinamica numerica dell'addestramento in precisione finita.

• Reinterpretazione del Flusso del Gradiente: I risultati evidenziano un divario tra le analisi teoriche del flusso del gradiente (che assumono precisione infinita e spesso prevedono una crescita logaritmica delle norme) e l'addestramento pratico, dove errori numerici possono guidare una crescita esponenziale.
• Stabilità nell'Addestramento a Bassa Precisione: Mentre il campo si sposta verso precisioni inferiori (BF16, FP8, FP4) per l'addestramento su larga scala, comprendere la NFI è fondamentale. Gli autori sostengono che gli errori numerici nel calcolo della log-probabilità rappresentano un modo di fallimento distinto che può destabilizzare l'addestramento, separato dagli errori di quantizzazione nella moltiplicazione di matrici o nei sink di attenzione.
• Portata Modesta: Gli autori riconoscono le limitazioni, notando che la loro analisi si basa sull'assunzione del Modello delle Caratteristiche Non Vincolate e indaga principalmente l'interazione tra l'ultimo strato e le caratteristiche penultime. Non affermano di spiegare tutte le forme di instabilità nell'addestramento, ma mirano specificamente ai picchi periodici di perdita osservati nell'addestramento a lungo termine senza regolarizzazione.

In conclusione, l'articolo afferma che la Fionda è un glitch, non una caratteristica, guidata dagli errori di assorbimento dell'aritmetica in virgola mobile, e offre spiegazioni concrete e verificabili e interventi per la crescita anomala dei parametri nelle fasi finali dell'addestramento.