🤖 machine learning

RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training

Questo articolo mette in discussione la pratica standard di applicare l'apprendimento per rinforzo (RL) solo dopo il fine-tuning supervisionato (SFT), dimostrando che integrare l'RL prima nel pre-addestramento, ottimizzare la composizione dei dati e fondere l'RL con gli obiettivi di SFT può potenziare efficacemente le capacità di ragionamento ed espandere le distribuzioni del modello preservando al contempo le abilità generali.

Autori originali: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Pubblicato 2026-06-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di stare addestrando uno studente brillante ma inesperto (il modello AI) per risolvere problemi di matematica. Per anni, la ricetta standard è stata composta da tre fasi:

Pre-addestramento: Lo studente legge milioni di libri per imparare il linguaggio generale e i fatti.
SFT (Fine-Tuning Supervisionato): Un insegnante dà allo studente un libro di testo con i problemi e le loro risposte esatte, costringendolo a memorizzare il percorso della soluzione.
RL (Apprendimento per Rinforzo): Lo studente viene messo in un gioco dove riceve punti solo se indovina la risposta finale, incoraggiandolo a trovare nuovi modi per risolvere i problemi da solo.

Questo articolo si chiede: Dobbiamo davvero aspettare che lo studente abbia letto tutti i libri e memorizzato il libro di testo prima di lasciarlo giocare al gioco?

Ecco cosa hanno scoperto i ricercatori, spiegato in modo semplice:

1. Puoi iniziare il gioco presto

La regola standard dice: "Aspetta che lo studente sia completamente addestrato prima di dargli il gioco". I ricercatori hanno provato a dare il gioco (RL) allo studente mentre stava ancora leggendo i suoi primi capitoli (all'inizio del pre-addestramento).

Il Risultato: Ha funzionato sorprendentemente bene! Anche quando lo studente aveva letto solo una minima frazione dei libri, giocare al gioco lo aiutava a risolvere i problemi matematici molto meglio rispetto al semplice leggere più libri. Infatti, giocare al gioco presto era spesso altrettanto efficace che aspettare la fine e fare l'intero percorso "Leggi → Memorizza → Gioca".

2. Il "Gioco" è migliore quando non hai un libro di testo

Di solito, la fase di "Memorizzazione" (SFT) richiede un libro di testo con le risposte corrette. Ma cosa succede se non hai abbastanza libri di testo?

La Scoperta: Se hai solo uno o due esempi di come risolvere un problema, la fase di "Memorizzazione" (SlFT) fallisce. Ma il "Gioco" (RL) prospera. Lo studente impara a esplorare e a trovare soluzioni da solo senza bisogno di una chiave di risposta perfetta. Il gioco è un insegnante molto più forte quando hai pochi esempi a disposizione.

3. L'ingrediente segreto è il Tipo di Libri, non la dimensione dello Studente

Le persone spesso pensano: "Se lo studente è più grande (più potente), imparerà meglio". I ricercatori hanno testato questo aspetto rendendo lo studente più grande.

Il Colpo di Scena: Rendere lo studente più grande non lo ha aiutato ad imparare il gioco più velocemente. Tuttavia, dargli più libri di matematica specificamente durante la sua fase iniziale di lettura ha fatto la differenza.
La Lezione: Se vuoi che lo studente sia bravo in matematica, dagli storie di matematica fin dall'inizio. Il contenuto di ciò che legge conta più di quanto sia grande il suo cervello.

4. Il mito dell' "Affilatura" vs. l' "Espansione"

C'è un dibattito recente: Il "Gioco" (RL) rende solo le risposte esistenti dello studente più affilate e sicure, o insegna davvero loro nuovi modi di pensare?

La Vecchia Visione: Molti pensavano che l'RL servisse solo ad "affilare" lo studente, rendendolo sicuro di sé ma non necessariamente più intelligente.
La Nuova Scoperta: I ricercatori hanno scoperto che l'effetto di "affilatura" avviene in realtà a causa della fase di "Memorizzazione" (SFT). Quando costringi uno studente a memorizzare prima un libro di testo, gli impedisci di esplorare.
La Vera Magia: Se lasci che lo studente giochi al gioco direttamente senza memorizzare prima il libro di testo, egli in realtà espande il suo pensiero. Prova molti percorsi diversi e scopre nuove soluzioni che non conosceva prima. La fase di "Memorizzazione" è ciò che limita la sua creatività, non il gioco stesso.

5. La ricetta dello "Super-Studente"

I ricercatori hanno combinato il meglio di entrambi i mondi. Invece di fare "Memorizza" poi "Gioca", hanno fatto sì che lo studente facesse entrambi contemporaneamente.

Come funziona: Immagina lo studente che risolve un problema. Una parte del suo cervello sta controllando il libro di testo (SFT), e un'altra parte sta sperimentando nuove idee (RL). Essi mediano i consigli di entrambe le parti per aggiornare il loro cervello.
Il Risultato: Questo "Super-Studente" (Mediazione Parallela) è diventato il migliore nel risolvere problemi. Otteneva le risposte corrette più spesso di chiunque altro e, a differenza degli studenti che hanno solo memorizzato il libro di testo, non ha dimenticato come fare altre cose (come la conversazione generale).

Sintesi dei punti chiave

Non aspettare: Puoi usare l'Apprendimento per Rinforzo (il gioco) molto presto nella vita di un modello, anche prima che abbia finito la sua fase di "lettura".
I dati contano più della dimensione: Nutrire il modello con dati specifici (come la matematica) durante il pre-addestramento è più importante che rendere semplicemente il modello più grande.
L'RL non è il cattivo: L'RL non rovina le abilità generali di un modello né serve solo ad "affilarlo". Quegli effetti negativi derivano dalla fase di "Memorizzazione" (SFT). L'RL aiuta effettivamente i modelli a esplorare e trovare nuove soluzioni.
Fallo insieme: I risultati migliori si ottengono mescolando le fasi di "Memorizzazione" e "Gioco" simultaneamente, invece di farle una dopo l'altra.

In breve, il paper suggerisce che dovremmo smettere di trattare l'Apprendimento per Rinforzo come una lucidatura finale alla fine del processo. Inveve, dovremmo intrecciarlo nel processo di addestramento molto prima e mescolarlo con altri metodi per ottenere modelli più intelligenti e capaci.

Sintesi Tecnica: Escursioni di RL durante il Pre-training

Definizione del Problema

La tipica pipeline di addestramento per i Large Language Models (LLM) solitamente restringe l'Apprendimento per Rinforzo (RL) alla fase di post-training, applicandolo solo dopo un esteso pre-training di next-token prediction (NTP) e Supervised Fine-Tuning (SFT). Questo approccio sequenziale solleva due domande fondamentali:

Tempistica: È fondamentalmente necessario aspettare la fine del pre-training per applicare l'RL, o l'RL può essere efficace prima?
Meccanismo: L'RL "affila" intrinsecamente la distribuzione di output esistente di un modello (limitando l'esplorazione) o espande le capacità? La letteratura recente suggerisce che l'RL serva principalmente ad affilare le distribuzioni, ma non è chiaro se questo sia un artefatto della standard pipeline SFT $\to$ RL piuttosto che una proprietà dell'obiettivo di RL stesso.

Inoltre, esiste un dibattito sul fatto che l'RL eroda le capacità generali ereditate dal pre-training.

Metodologia

Gli autori conducono uno studio controllato su larga scala per isolare gli effetti dell'RL dal regime di addestramento standard.

Modello e Dati: Pre-addestrano un modello da 1 miliardo di parametri (basato sull'architettura OLMo2) da zero su un corpus ad alta qualità e orientato al ragionamento (mix DOLMino, 50 miliardi di token). Sperimentano anche con un modello da 4 miliardi e un modello da 1 miliardo addestrato su 60 miliardi di token (con dati matematici aggiuntivi).
Checkpoint: Invece di aspettare il modello finale, salvano checkpoint durante tutto il processo di pre-training (da 4 a 50 miliardi di token).
Pipeline di Addestramento: Per ogni checkpoint $M_t$ $M_{t}$ , applicano quattro distinte strategie di post-training:
1. RL Diretto ( $M^R_t$ ): Applicare l'RL (specificamente GRPO con ricompense verificabili) direttamente al checkpoint base senza precedente SFT.
2. SFT ( $M^{SFT}_t$ ): Supervised Fine-Tuning utilizzando una singola soluzione ground-truth per problema.
3. SFT-Gold ( $M^{SFT-Gold}_t$ ): SFT utilizzando tutte le soluzioni ground-truth disponibili per problema (una configurazione spesso impraticabile nella realtà).
4. Pipeline Standard ( $M^{SFT \to RL}_t$ ): SFT seguito da RL, che rappresenta lo standard attuale del settore.
5. Media Parallela ( $M^{Parallel}_t$ ): Un metodo proposto in cui i gradienti di RL e SFT vengono calcolati in parallelo dallo stesso snapshot dei parametri e mediati per aggiornare i pesi.
Valutazione: Le prestazioni sono misurate su GSM8K (livello scuola elementare) e MATH (livello competizione) utilizzando metriche pass@k ( $k=1, 8, 32$ ). Le capacità generali sono valutate su sei benchmark non matematici (es. LAMBADA, HellaSwag).

Contributi Chiave e Risultati

1. L'RL è Efficace Presto nel Pre-training

Contrariamente all'assunto che l'RL richieda un modello base altamente capace, gli autori scoprono che l'RL è efficace sorprendentemente presto.

Guadagni Precoci: L'RL diretto migliora le prestazioni su GSM8K già a partire da soli 4 miliardi di token di pre-training, ben prima del conteggio dei token Chinchilla-ottimale.
Competitività: A 10 miliardi di token, l'RL diretto eguaglia le prestazioni della standard pipeline SFT $\to$ RL su pass@1 e pass@32, nonostante non abbia mai visto tracce di ragionamento ground-truth.
Scarsità di Dati: Quando le dimostrazioni ground-truth sono scarse (singola soluzione per prompt), l'RL supera significativamente l'SFT. L'SFT supera l'RL solo quando viene fornito con molteplici soluzioni di alta qualità (SFT-Gold), una condizione raramente soddisfatta nella pratica.

2. Composizione dei Dati di Pre-training > Scala del Modello

Per compiti di ragionamento più difficili (dataset MATH), l'efficacia dell'RL dipende più dalla composizione dei dati di pre-training che dalla scala del modello.

Scaling dei Dati: Aggiungere dati mirati e densi di matematica al mix di pre-training (aumentando i token da 50 a 60 miliardi) potenzia significativamente i guadagni ottenibili dall'RL diretto.
Scaling del Modello: Aumentare la dimensione del modello da 1B a 4B migliora le prestazioni assolute del modello base ma non migliora sostanzialmente il guadagno relativo fornito dall'RL.
Diagnostica: L'accuratezza pass@k del modello base sul test set funge da predittore leggero per determinare se l'addestramento RL produrrà guadagni a valle.

3. L'RL Espande vs. Affila le Distribuzioni

Il paper mette in discussione l'affermazione che l'RL affili intrinsecamente le distribuzioni.

Espansione: Quando applicato direttamente ai checkpoint base, l'RL espande la distribuzione del modello, migliorando sia pass@1 che pass@32. Il modello scopre nuovi percorsi di ragionamento attraverso l'apprendimento on-policy.
Artefatto di Affilatura: L'effetto di "affilatura" (miglioramento di pass@1 ma degradazione di pass@32) osservato in lavori recenti deriva solo quando l'RL segue l'SFT. Gli autori ipotizzano che l'SFT costringa l'esplorazione esponendo il modello alle soluzioni ground-truth, causando il fatto che il successivo RL si limiti a raffinare i percorsi esistenti invece di scoprirne di nuovi.

4. Preservazione delle Capacità Generali

Degradazione SFT: L'SFT degrada costantemente le capacità generali (non matematiche) di 4–8 punti percentuali attraverso i benchmark.
Preservazione RL: L'RL diretto lascia le capacità generali essenzialmente invariate.
Media Parallela: Il metodo di media parallela proposto ( $M^{Parallel}_t$ ) combina i punti di forza di entrambi: ottiene i punteggi pass@32 più forti (superando la pipeline standard) pur preservando le capacità generali, evitando la regressione vista nei regimi basati su SFT.

Significato

Il paper sostiene che molte assunzioni sull'RL (ad esempio, che richieda un modello base maturo, che affili intrinsecamente le distribuzioni o che eroda le capacità generali) siano artefatti dell'attuale regime di addestramento SFT $\to$ RL piuttosto che proprietà intrinseche dell'obiettivo di RL.

Gli autori concludono che:

Fattibilità: Introdurre l'RL prima nella pipeline di addestramento è fattibile e spesso preferibile.
Leva sui Dati: La composizione mirata dei dati di pre-training è una leva più forte per l'efficacia dell'RL rispetto allo scaling del modello.
Sinergia degli Obiettivi: Gli obiettivi di RL e SFT sono complementari. L'approccio della media parallela dimostra che combinarli può produrre capacità di ragionamento superiori (pass@32) senza sacrificare l'intelligenza generale.

Il lavoro suggerisce un cambio di paradigma in cui l'RL viene trattato come un obiettivo di addestramento di prima classe integrato durante tutto il processo di pre-training e fine-tuning, piuttosto che come un semplice passo finale di post-training.