🤖 machine learning

RL Fine-Tuning Heals OOD Forgetting in SFT

Questo lavoro sfida la nozione secondo cui "SFT memorizza, RL generalizza" dimostrando, attraverso analisi checkpoint-wise e spettrali, che SFT spesso provoca un oblio fuori distribuzione che viene successivamente ripristinato da RL, un processo di recupero legato alla rotazione dei vettori singolari piuttosto che a variazioni dei valori singolari.

Autori originali: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: La Danza a "Due Passi" dell'Addestramento dell'IA

Immagina di insegnare a uno studente brillante ma inesperto (un Modello Linguistico di grandi dimensioni) come risolvere puzzle complessi. La ricetta standard per trasformare questo studente in un esperto di ragionamento prevede due passaggi:

Passo 1: Affinamento Supervisionato (SFT) – Dai allo studente un libro di testo con le soluzioni e dici: "Memorizza questi schemi e copia lo stile".
Passo 2: Apprendimento per Rinforzo (RL) – Metti lo studente in un gioco in cui guadagna punti per le risposte corrette e perde punti per quelle sbagliate, dicendo: "Ora, capisci la logica da solo per vincere".

Per molto tempo, la comunità dell'IA ha creduto a una storia semplice: "L'SFT fa memorizzare allo studente il libro di testo (buono per problemi noti), e l'RL fa generalizzare e pensare in modo creativo allo studente (buono per problemi nuovi)."

Questo documento afferma che quella storia è incompleta. Gli autori hanno scoperto che, sebbene l'SFT sia ottimo all'inizio, in realtà inizia a danneggiare la capacità dello studente di risolvere nuovi tipi di puzzle se gli si permette di studiare il libro di testo troppo a lungo. Poi, l'RL non insegna necessariamente nuovi superpoteri; per lo più si limita a riparare i danni causati dall'SFT.

La Scoperta: Il "Picco e il Crollo"

I ricercatori hanno osservato i progressi dello studente ogni singolo giorno durante il processo di addestramento. Hanno trovato un modello sorprendente:

La Vittoria Iniziale: All'inizio dello "studio del libro di testo" (SFT), lo studente diventa davvero bravo a risolvere nuovi tipi di puzzle (compiti fuori distribuzione o OOD). È come se lo studente comprendesse improvvisamente la logica sottostante della matematica.
Il Crollo: Mentre lo studente continua a studiare il libro di testo, inizia a diventare peggiore nei nuovi puzzle, anche se diventa migliore nei problemi specifici del libro di testo. Diventa così ossessionato dal formato esatto delle risposte del libro di testo che dimentica come applicare la logica a situazioni leggermente diverse.
La Riparazione: Quando finalmente passano alla fase di "gioco" (RL), le prestazioni dello studente sui nuovi puzzle rimbalzano verso l'alto.

L'Analogia:
Immagina uno chef che impara a cucinare.

SFT Iniziale: Lo chef impara le regole di base del sapore. Può preparare un ottimo pasto con qualsiasi ingrediente.
SFT Tardivo: Lo chef è costretto a memorizzare un libro di ricette specifico. Diventa straordinario nel preparare quel piatto esatto, ma dimentica come regolare i sapori se gli vengono dati ingredienti diversi. Ha "dimenticato" la sua intuizione culinaria generale.
RL: Lo chef viene messo in una competizione in cui guadagna punti per il cibo gustoso, indipendentemente dalla ricetta. Questo lo costringe a smettere di seguire ciecamente il libro e a ricominciare a usare la sua intuizione. Recupera le sue abilità culinarie generali, ma non diventa improvvisamente uno chef migliore di quanto non fosse all'inizio del suo addestramento.

La Scoperta Chiave: L'RL è un "Restauratore", non un "Creatore"

Il documento sfida l'idea che l'RL crei nuove capacità di ragionamento da zero. Invece, gli autori hanno scoperto:

L'SFT Dimentica: Se addestri troppo a lungo su dati specifici, il modello "dimentica" la sua capacità di gestire situazioni strane o nuove.
L'RL Recupera: L'RL agisce come una benda. Ripara i buchi creati dall'SFT, riportando il modello al livello di prestazioni che aveva al picco della fase SFT.
Il Tetto: L'RL raramente rende il modello migliore di quel primo picco. Lo riporta semplicemente al livello in cui era prima di diventare troppo specializzato.

La Zona "Porcellino d'Oro":
I ricercatori hanno scoperto che l'RL funziona solo se lo si avvia al momento giusto.

Se inizi l'RL troppo presto (prima che il modello conosca le basi), fallisce perché il modello è troppo confuso.
Se inizi l'RL troppo tardi (dopo che il modello ha dimenticato tutto), i segnali del "gioco" sono troppo caotici perché il modello possa imparare da essi.
Esiste una specifica "zona ideale" (una serie di checkpoint) in cui l'RL può guarire con successo l'oblio.

Il Meccanismo Segreto: La "Bussola che Gira"

Per capire perché questo accade, gli autori hanno guardato dentro il cervello del modello utilizzando uno strumento matematico chiamato Decomposizione ai Valori Singoli (SVD). Pensa alla conoscenza del modello come a una gigantesca bussola con molti aghi che puntano in direzioni diverse.

La Dimensione degli Aghi (Valori Singoli): I ricercatori hanno scoperto che la forza di questi aghi (quanto sapere è memorizzato) cambia a malapena durante l'addestramento. Rimangono stabili.
La Direzione degli Aghi (Vettori Singolari): Tuttavia, la direzione verso cui puntano gli aghi cambia drasticamente.

L'Analogia:
Immagina che la conoscenza del modello sia una mappa.

L'SFT non cancella la mappa (la quantità di dati rimane la stessa), ma ruota la mappa. Gira la bussola in modo che il "Nord" punti verso gli esempi specifici del libro di testo, rendendo difficile trovare il "Nord" per nuove e diverse località.
L'RL ruota la bussola indietro. Non aggiunge nuova terra alla mappa; riallinea semplicemente la bussola in modo che il "Nord" punti di nuovo alla logica generale, permettendo al modello di navigare in nuovi territori.

Riepilogo per il Lettore Comune

Vecchia Credenza: "L'SFT memorizza, l'RL generalizza."
Nuova Realtà: "L'SFT dimentica (sovraspecializzandosi), e l'RL recupera (riallineando)."
La Lezione: Non continuare ad addestrare la tua IA sugli stessi dati specifici per sempre. Perderà la sua capacità di pensare in modo flessibile. Se vuoi che sia intelligente su cose nuove, devi fermare la fase di "memorizzazione" al momento giusto e usare la fase di "gioco" per correggere il focus, piuttosto che aspettarsi che il gioco le insegni abilità completamente nuove da zero.

Il documento conclude che le migliori prestazioni nella risoluzione di problemi nuovi e difficili si verificano spesso all'inizio del processo di addestramento, e la seconda fase (RL) serve principalmente a salvarci dagli errori commessi addestrando troppo a lungo nella prima fase.

Riepilogo Tecnico: Il Fine-Tuning RL Ripristina l'Oblio OOD nel SFT

Enunciato del Problema

La pipeline standard di post-addestramento per i Large Language Models (LLM) coinvolge tipicamente il Fine-Tuning Supervisionato (SFT) seguito dal Fine-Tuning con Apprendimento per Rinforzo (RLFT). Un'ipotesi prevalente nel campo è che "l'SFT memorizza, il RL generalizza", suggerendo che l'SFT porti a un sovradattamento sulla distribuzione di addestramento, mentre il RL migliori la generalizzazione Out-of-Distribution (OOD). Tuttavia, le dinamiche sottostanti di come le prestazioni OOD evolvono durante queste due fasi rimangono poco chiare. Nello specifico, non è ben compreso se il RL crei nuove capacità di ragionamento o semplicemente recuperi quelle perse, né è completamente caratterizzato il meccanismo alla base del degrado OOD durante l'SFT.

Metodologia

Gli autori conducono un'analisi completa checkpoint per checkpoint del processo di fine-tuning a due fasi utilizzando due modelli open-source: LLaMA-3.2-11B-Vision e Qwen-2.5-7B.

Configurazione Sperimentale:
- Compiti: Lo studio utilizza ambienti di ragionamento controllati per definire esplicitamente le divisioni In-Distribution (ID) e OOD: GeneralPoints (ragionamento aritmetico con regole delle carte modificate), Navigazione (ragionamento spaziale con spostamenti di direzione) e Calcolo del Determinante di Rang (algebra lineare).
- Protocollo: I modelli subiscono un SFT a parametri completi, seguito da RL (utilizzando PPO o GRPO). Crucialmente, gli autori non confrontano semplicemente il checkpoint finale SFT con il checkpoint finale RL. Invece, applicano il RL partendo da vari checkpoint SFT intermedi per mappare l'evoluzione delle prestazioni.
- Valutazione: Le prestazioni vengono monitorate sia sui compiti ID che su quelli OOD lungo l'intera traiettoria di addestramento.
Analisi Meccanicistica:
- Analisi SVD: Gli autori eseguono la Decomposizione ai Valori Singolari (SVD) sulle matrici dei parametri chiave (Self-Attention $W_Q, W_K, W_V$ e livelli MLP). Conduttano studi di ablazione in cui ripristinano valori singolari o vettori singolari da checkpoint specifici (ad esempio, scambiando i vettori singolari di un checkpoint SFT tardivo con quelli di un checkpoint "di picco" iniziale) per isolare l'impatto dei cambiamenti spettrali sulle prestazioni.
- Analisi della Distribuzione del Vantaggio: Analizzano la distribuzione delle stime del vantaggio durante i roll-out RL per comprendere le condizioni in cui il RL recupera con successo le prestazioni OOD.

Risultati Chiave

1. Il Fenomeno "L'SFT Dimentica, il RL Recupera"

Contrariamente alla semplice narrazione "l'SFT memorizza, il RL generalizza", gli autori osservano una dinamica più sfumata:

Picco Iniziale SFT: Le prestazioni di ragionamento OOD spesso raggiungono il picco molto presto nel processo SFT (denotato come $SFT_{MaxOOD}$ ).
Oblio OOD: Man mano che l'SFT prosegue oltre questo picco, le prestazioni OOD si degradano significativamente, anche mentre le prestazioni ID (perdita di addestramento/test) continuano a migliorare. Ciò indica che il modello si sta specializzando eccessivamente sul formato o sulle regole specifici dei dati di addestramento, "dimenticando" efficacemente la capacità di ragionamento generale richiesta per i compiti OOD.
RL come Ripristinatore: Il RL tipicamente non supera la migliore prestazione OOD raggiunta dall'SFT iniziale. Invece, il RL agisce come un meccanismo di recupero, ripristinando la capacità OOD persa durante le fasi successive dell'SFT. Questo recupero è efficace solo entro un intervallo limitato di checkpoint SFT (ad esempio, dove l'accuratezza ID è approssimativamente tra il 40% e l'80%).

2. Meccanismo: Rotazione dei Vettori Singolari

L'analisi spettrale rivela la causa radice di queste dinamiche:

Valori Singolari Stabili: I valori singolari delle matrici dei parametri rimangono largamente stabili durante entrambe le fasi SFT e RL. Il fine-tuning non amplifica o diminuisce significativamente la magnitudine di questi valori.
Vettori Singolari in Rotazione: Il degrado e il recupero delle prestazioni OOD correlano fortemente con la rotazione dei vettori singolari.
- Durante la fase di "oblio" dell'SFT, i vettori singolari ruotano allontanandosi dalle direzioni associate alla robustezza OOD.
- Durante il RL, i vettori singolari ruotano indietro, ripristinando parzialmente l'allineamento originale del sottospazio.
Evidenza di Ablazione: Ripristinare i vettori singolari di un checkpoint SFT iniziale (quando l'OOD era alto) su un checkpoint SFT tardivo (quando l'OOD era basso) recupera le prestazioni OOD, confermando che la rotazione dei vettori è il principale motore dell'oblio.

3. Vincoli sulla Distribuzione del Vantaggio

L'efficacia del RL nel recuperare le prestazioni OOD dipende dalla distribuzione dei segnali di vantaggio. Il RL è più efficace quando la distribuzione del vantaggio è bilanciata (bassa asimmetria, alta entropia e bassa divergenza KL da una distribuzione normale). Se il checkpoint SFT è troppo avanzato (collasso dell'entropia della politica) o troppo iniziale (mancanza di competenza nel compito), i segnali di vantaggio diventano distorti o instabili, impedendo un recupero efficace.

Significato e Affermazioni

Il paper afferma di fornire una comprensione più precisa e meccanicistica delle dinamiche di post-addestramento:

Raffinamento del Paradigma: Sfida la visione binaria di SFT vs RL, proponendo che l'SFT può dimenticare e il RL può recuperare. La migliore prestazione OOD si trova spesso nei checkpoint SFT iniziali, non necessariamente dopo il RL.
Valore Diagnostico: Lo studio evidenzia che i metodi tradizionali di rilevamento del sovradattamento (monitoraggio della perdita ID) falliscono nel catturare l'oblio OOD, poiché la perdita ID può continuare a diminuire mentre le prestazioni OOD calano.
Implicazione Algoritmica: I risultati suggeriscono una direzione potenziale per l'SFT Protetto, in cui gli aggiornamenti sono ortogonalizzati rispetto alle direzioni dei vettori singolari di rango superiore associate alle capacità OOD per prevenirne la rotazione e il successivo oblio. Esperimenti preliminari con questo approccio mostrano promesse nel preservare l'accuratezza OOD mantenendo le prestazioni ID.
Generalizzabilità: Il pattern di "oblio e recupero" è osservato su modelli diversi (LLaMA, Qwen), compiti di ragionamento diversi e diversi algoritmi RL (PPO, GRPO, DAPO), suggerendo che sia una proprietà fondamentale del processo di fine-tuning a due fasi.

In conclusione, gli autori sostengono che il RL non è un generatore universale di nuove capacità di ragionamento, ma piuttosto uno strumento potente per mitigare l'oblio OOD indotto da un SFT prolungato, a condizione che sia inizializzato da un checkpoint con una distribuzione del vantaggio bilanciata.