🤖 machine learning

(How) Learning Rates Regulate Catastrophic Overtraining

Lo studio rivela che il tasso di apprendimento regola il sovraddestramento catastrofico nei modelli linguistici, poiché un suo decadimento aumenta la nitidezza del modello preaddestrato, esacerbando l'oblio durante il fine-tuning supervisionato.

Autori originali: Mark Rofin, Aditya Varre, Nicolas Flammarion

Pubblicato 2026-04-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mark Rofin, Aditya Varre, Nicolas Flammarion

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cuoco stellato (il nostro modello linguistico, o LLM).

1. La Storia: Il Cuoco che Dimentica

Il nostro cuoco ha passato anni a studiare milioni di libri, ricette, enciclopedie e conversazioni (questa è la fase di Pretraining). Ora sa di tutto: dalla storia antica alla fisica quantistica, sa come scrivere poesie e come risolvere problemi complessi. È un genio universale.

Poi, arriva il proprietario del ristorante e gli dice: "Ottimo! Ora dobbiamo specializzarti. Voglio che tu impari a seguire le mie istruzioni specifiche per servire i clienti in modo gentile e utile" (questa è la fase di SFT o Fine-tuning).

Il problema? Quando il cuoco si concentra troppo sulle nuove istruzioni per servire i clienti, rischia di dimenticare tutto il resto. Dimentica come cucinare piatti complessi, dimentica la storia, dimentica la fisica. Questo fenomeno si chiama Dimenticanza Catastrofica.

Ma c'è una cosa ancora più strana scoperta dai ricercatori: più il cuoco è stato "allenato" a lungo sui libri (più token ha letto), più è difficile insegnargli le nuove istruzioni senza fargli perdere le vecchie conoscenze. Più è esperto, più diventa fragile quando deve imparare qualcosa di nuovo. Questo è il Sovra-addestramento Catastrofico.

2. Il Colpevole: Il "Passo" (Learning Rate)

I ricercatori hanno scoperto che la chiave per capire perché succede questo non è la quantità di libri letti, ma come il cuoco impara le nuove istruzioni.

Immagina che imparare una nuova ricetta sia come camminare su un terreno accidentato (il "paesaggio della perdita").

Passi Giganti (Learning Rate Alto): Se il cuoco fa passi enormi per imparare la nuova ricetta, corre veloce, ma rischia di scivolare via da tutto il terreno che conosceva bene. Cambia la sua "forma mentale" in modo drastico. È come se, per imparare a servire il caffè, decidesse di dimenticare completamente come si usa il coltello.
Passi Piccoli (Learning Rate Basso): Se il cuoco fa passi minuscoli, quasi a strisciare, impara la nuova ricetta molto più lentamente, ma non perde le vecchie abilità. Si adatta senza stravolgere la sua mente.

La scoperta principale: Usare un "Learning Rate" (tasso di apprendimento) basso durante la fase di specializzazione (SFT) agisce come un freno di sicurezza. Permette al modello di imparare le nuove istruzioni senza cancellare le vecchie conoscenze.

3. Il Paradosso: Perché i modelli più "allenati" dimenticano di più?

Qui entra in gioco il concetto di Rigidità (o "Sharpness" nel paper).

Immagina che il terreno su cui cammina il cuoco sia fatto di neve.

All'inizio dell'allenamento, la neve è soffice e facile da camminare.
Man mano che il cuoco legge più libri (pretraining), la neve si compatta e diventa ghiaccio duro e scivoloso. Il terreno diventa "più acuto" (sharp).

Quando il terreno è ghiacciato (modello molto addestrato):

Se fai un passo anche solo leggermente grande, scivoli via violentemente.
Il modello diventa così "specializzato" nel suo terreno di ghiaccio che qualsiasi piccolo cambiamento lo fa perdere l'equilibrio.

Il paper scopre che durante il pretraining, spesso si riduce la velocità di apprendimento (Learning Rate decay). Questo rende il terreno di ghiaccio ancora più duro e scivoloso. Quindi, quando arriva il momento di insegnare le nuove istruzioni, il modello è così "rigido" che anche un piccolo passo lo fa scivolare via, dimenticando tutto.

4. La Soluzione: Camminare piano su ghiaccio

Il paper ci dice due cose pratiche per salvare il nostro cuoco:

Durante la specializzazione (SFT): Usa passi piccolissimi (Learning Rate basso). Non importa quanto sia bravo il cuoco, se gli fai fare passi piccoli, manterrà le sue conoscenze vecchie mentre impara quelle nuove.
Durante l'allenamento iniziale (Pretraining): Forse dovremmo smettere di rendere il terreno così duro. Invece di ridurre la velocità di apprendimento fino a renderlo "ghiacciato", potremmo mantenere un terreno più "soffice" finché non arriviamo alla specializzazione.

In Sintesi

Il Problema: I modelli AI intelligenti tendono a dimenticare le loro conoscenze generali quando vengono addestrati a seguire istruzioni, specialmente se sono stati addestrati per molto tempo.
La Causa: È come se l'addestramento lungo rendesse la mente del modello "rigida" e fragile.
La Soluzione: Quando si insegna a un modello a seguire istruzioni, bisogna usare un ritmo di apprendimento molto lento e costante (passi piccoli). Questo permette al modello di adattarsi senza "rompersi" o dimenticare chi era prima.

È come insegnare a un vecchio maestro di scacchi a giocare a dama: se gli fai cambiare strategia troppo velocemente, dimentica le regole degli scacchi. Se glielo mostri passo dopo passo, piccolo per piccolo, impara a giocare a dama senza perdere la sua maestria negli scacchi.

Titolo

(Come) i Tassi di Apprendimento Regolano l'Addestramento Catastrofico (Catastrophic Overtraining)

1. Il Problema: Catastrofe dell'Oblio e Overtraining

Il lavoro affronta un problema critico nel post-addestramento dei Large Language Models (LLM): il dimenticamento catastrofico (catastrophic forgetting) durante la fase di Supervised Finetuning (SFT).

Contesto: I modelli LLM vengono prima pre-addestrati su grandi corpora non supervisionati e poi finetunati su dati di istruzioni (SFT) per seguire comandi.
Il Fenomeno: L'SFT spesso degrada le capacità generali del modello (misurate su dataset fuori distribuzione, OOD), un fenomeno noto come dimenticamento catastrofico.
La Nuova Scoperta (Overtraining): Recentemente, Springer et al. (2025) hanno identificato una dimensione sorprendente: l'overtraining catastrofico. Si osserva che un pre-addestramento più lungo (con più token) porta a un modello base migliore, ma paradossalmente a un modello finetunato peggiore in termini di capacità OOD.
Ipotesi Precedenti: Si pensava che ciò fosse dovuto a una maggiore sensibilità al rumore o a limiti di capacità del modello. Tuttavia, la causa meccanica rimaneva oscura.

2. Metodologia e Approccio Sperimentale

Gli autori adottano una prospettiva di ottimizzazione, analizzando come il tasso di apprendimento (Learning Rate - LR) durante l'SFT e il pre-addestramento influenzi la traiettoria del modello nello spazio dei parametri.

Setup Sperimentale:
- Modelli: OLMo-1B/2B, Hubble-1B, Gemma-3-1B, SmolLM-3B, Apertus-8B.
- Dataset SFT: Anthropic-HH e Tulu 3.
- Metriche:
  - Train Loss SFT: Per valutare l'adattamento al task di finetuning.
  - OOD Score: Accuratezza su 6 task generali (ARC, PIQA, HellaSwag, ecc.) per misurare la perdita di capacità.
  - MPA (Mean Principal Angle): Una metrica geometrica per quantificare la divergenza delle rappresentazioni interne (stream residuo) tra il modello base e quello finetunato.
  - Sharpness (Nitidezza): Misurata tramite un proxy basato sulla variazione delle predizioni dopo l'aggiunta di rumore gaussiano ai parametri (poiché calcolare l'autovalore massimo dell'Hessiano è computazionalmente proibitivo per modelli grandi).
Esperimenti Chiave:
1. Variazione del LR di finetuning a parità di checkpoint base.
2. Analisi del paesaggio di perdita (loss landscape) e della deriva delle feature (feature drift) in funzione del LR.
3. Utilizzo di una rete diagonale semplificata per isolare gli effetti teorici.
4. Variazione del checkpoint di base (diversi stadi di pre-addestramento) mantenendo fisso il LR di finetuning.

3. Contributi Chiave e Risultati

A. Il Tasso di Apprendimento di Finetuning come Regularizzazione Implicita

Gli autori dimostrano che, a parità di loss di addestramento raggiunta, LR più bassi preservano meglio le capacità pre-addestrate.

Risultato: Modelli finetunati con LR elevati mostrano un calo significativo delle prestazioni OOD rispetto a quelli con LR bassi, anche se entrambi raggiungono lo stesso errore sul dataset di finetuning.
Meccanismo: I LR bassi operano in un regime "lazy" (pigro), dove il modello fa piccoli passi e le feature pre-addestrate non si spostano drasticamente. I LR alti spingono il modello in un regime "ricco" (rich), favorendo l'apprendimento di nuove feature specifiche del task ma sovrascrivendo quelle preesistenti (feature drift).
Evidenza Geometrica: L'angolo principale medio (MPA) tra le rappresentazioni del modello base e quello finetunato cresce molto più rapidamente con LR alti.

B. Il Ruolo della Sharpness (Nitidezza) del Paesaggio di Perdita

Il paper collega la deriva delle feature alla sharpness del modello.

Teoria: Un modello "più sharp" (con un minimo di perdita più acuto) è più sensibile ai passi di ottimizzazione.
Esperimento con Reti Diagonali: In un modello semplificato, si osserva che iniziare da una configurazione più sharp (o usare LR alti) porta a una maggiore perdita delle feature pre-addestrate.
Correlazione: La sharpness del modello base e il LR di finetuning agiscono come "interruttori" simili: entrambi aumentano il tasso di deriva delle feature rispetto alla riduzione della loss.

C. La Causa dell'Overtraining: Decay del LR durante il Pre-addestramento

Questa è la scoperta centrale che spiega il fenomeno dell'overtraining catastrofico.

Dinamica del Pre-addestramento: Durante il pre-addestramento, il LR viene tipicamente decrescente (decay). Secondo la teoria dell'Edge of Stability (EoS), quando il LR diminuisce, la soglia di stabilità ( $2/\eta$ ) aumenta, permettendo al modello di entrare in regioni di maggiore sharpness.
Conseguenza: I checkpoint pre-addestrati più recenti (dopo il decay del LR) sono intrinsecamente più "sharp".
Il Ciclo Vizioso: Quando un modello base più sharp viene sottoposto a finetuning (anche con lo stesso LR), la sua alta nitidezza amplifica la deriva delle feature, portando a un dimenticamento catastrofico più severo.
Verifica: Analizzando SmolLM e Apertus (che usano schedule WSD - Warmup-Stable-Decay), gli autori mostrano che l'aumento della sharpness e il conseguente aumento del dimenticamento avvengono esattamente nella fase di decay del LR.

4. Significato e Implicazioni Pratiche

Il paper offre una spiegazione meccanicistica unificata per il dimenticamento catastrofico e l'overtraining, spostando il focus dalla semplice "capacità del modello" alla dinamica di ottimizzazione.

Raccomandazioni Pratiche:

Finetuning: Utilizzare il tasso di apprendimento più basso possibile che garantisca comunque prestazioni accettabili sul task specifico (in-distribution). Questo massimizza la conservazione delle capacità generali (OOD).
Pre-addestramento: Evitare il decay del LR durante la fase di pre-addestramento se l'obiettivo è un modello facile da finetunare senza dimenticare. Si suggerisce di mantenere un LR stabile durante il pre-addestramento e di applicare l'annealing (riduzione) solo durante le fasi successive di post-addestramento (SFT/RL), come suggerito anche da lavori recenti (Yano et al., 2026).

Conclusioni:
L'overtraining non è inevitabile né puramente statistico; è una conseguenza diretta dell'interazione tra la nitidezza indotta dal pre-addestramento (dovuta al decay del LR) e la dinamica di ottimizzazione del finetuning. Comprendere e controllare questi fattori permette di mitigare la perdita di capacità nei modelli LLM.