Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

Sintesi Tecnica: L'Addestramento Intermedio con Dati Auto-Generati Migliora l'Apprendimento per Rinforzo nei Modelli Linguistici

Enunciato del Problema
I recenti progressi nei Modelli Linguistici di Grandi Dimensioni (LLM) hanno evidenziato l'Apprendimento per Rinforzo (RL) come una tecnica potente per potenziare le capacità di ragionamento, in particolare attraverso la scalabilità al momento dell'inferenza. Tuttavia, l'efficacia del RL dipende fortemente dai prior stabiliti nel modello prima dell'addestramento RL. La letteratura esistente suggerisce che il RL con ricompense verificabili (RLVR) spesso esegue un "affinamento distributivo", amplificando selettivamente comportamenti già presenti nel modello di base piuttosto che indurre capacità genuinamente nuove. Quando un modello manca di esposizione a diversi approcci di risoluzione dei problemi per un singolo compito, il successivo addestramento RL potrebbe faticare a migliorare le prestazioni o addirittura peggiorarle sotto determinate metriche di valutazione (ad esempio, pass@k). La sfida centrale affrontata è come equipaggiare efficacemente un modello di base con un ricco insieme di strategie di ragionamento diverse prima di applicare il RL, permettendo così al processo RL di comporre e raffinare queste strategie invece di rafforzare semplicemente un ristretto insieme di comportamenti esistenti.

Metodologia
Gli autori propongono un framework di addestramento intermedio che funge da passo intermedio tra il pre-addestramento e il RL. Questa fase utilizza dati auto-generati diversificati per esporre il modello a multiple traiettorie di soluzione valide per lo stesso problema.

1. Generazione di Dati Guidata da Euristiche:

   • Il framework trae ispirazione dalle euristiche di risoluzione dei problemi di George Pólya (ad esempio, Analogia, Decomposizione e Ricomposizione, Lavorare all'indietro).
   • Per ogni domanda in un dataset seed (GSM8K), il modello di base viene sollecitato con descrizioni specifiche delle euristiche e pochi esempi (few-shot) per generare multiple risposte candidate.
   • Questo processo è auto-avviante: il modello genera i propri dati di addestramento senza fare affidamento sulla distillazione da modelli insegnanti più potenti.
   • Filtraggio e Selezione: Le risposte generate vengono filtrate per correttezza utilizzando verificatori basati su regole (ad esempio, Math-Verify). I candidati rimanenti vengono valutati da un modello di ricompensa ($R_\phi$) in base all'aderenza all'euristica specifica. Viene selezionata la risposta con il punteggio più alto per ogni coppia domanda-euristica.
   • Il dataset risultante ($D_{Pólya}$) contiene $n$ varianti di soluzione distinte per domanda, dove $n$ rappresenta il numero di euristiche applicate.

2. Addestramento Intermedio (Fine-Tuning Supervisionato):

   • Il modello di base viene fine-tunato su $D_{Pólya}$. A differenza dello SFT standard che associa una domanda a una singola risposta, questo approccio associa ogni domanda a $n$ traiettorie diverse.
   • L'obiettivo è minimizzare la log-verosimiglianza negativa su queste multiple traiettorie, incoraggiando il modello ad assegnare una probabilità non trascurabile a varie opzioni di token successivi nei punti di diramazione, creando efficacemente una distribuzione N-modale del token successivo.

3. Apprendimento per Rinforzo:

   • Dopo l'addestramento intermedio, il modello subisce un addestramento RL utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) su un dataset separato (DAPO-Math-17k).
   • Lo studio confronta modelli inizializzati con un numero variabile di euristiche ($n \in \{1, 2, \dots, 64\}$) rispetto a baseline: Zero-Shot, RL Vanilla (direttamente sul modello di base) e STaR+RL (Reasoner Auto-Insegnato seguito da RL).

Prospettiva Teorica
Il documento fornisce un'analisi teorica di come l'addestramento intermedio influenzi gli aggiornamenti del gradiente della politica:

• Regimi Uni-modali vs N-modali: In un regime uni-modale (alta fiducia in un singolo token), un aggiornamento del gradiente della politica comporta cambiamenti trascurabili ($\propto \epsilon^2$). Al contrario, in un regime N-modale (massa di probabilità suddivisa tra $N$ modalità dominanti), l'aggiornamento induce cambiamenti conservativi ma apprezzabili ($\propto 1/N$).
• Composizione delle Strategie: Gli autori dimostrano che, sotto un aggiornamento di vantaggio negativo, la massa di probabilità rimossa da un token campionato viene ridistribuita prevalentemente alle rimanenti $N-1$ modalità dominanti. Questo meccanismo incentiva il modello a imparare a combinare diversi approcci di risoluzione dei problemi all'interno di una singola risposta durante il RL, invece di collassare su una singola strategia.

Risultati Chiave
Gli esperimenti sono stati condotti su Llama 3.2–3B–Instruct e Qwen2.5–7B–Instruct su sei benchmark di ragionamento matematico (Math-500, AIME 2024/2025, AMC 2023, HMMT 2025, OlympiadBench) e su compiti fuori dominio (HumanEval, MuSR).

• Miglioramenti delle Prestazioni: L'addestramento intermedio con dati auto-generati diversificati migliora costantemente le prestazioni del RL, in particolare a valori di $k$ più elevati (pass@64).
  • Su Math-500, il pass@64 è migliorato dall'87,76% (Zero-Shot) all'88,94% ($n=64$).
  • Su AIME 2025, il pass@64 è aumentato dal 12,84% al 18,66%.
  • I modelli addestrati intermedialmente con una maggiore diversità di ragionamento ($n=64$) hanno superato sia le baseline RL Vanilla che STaR+RL su tutti i benchmark.
• Diversità vs Quantità: Un esperimento controllato ha dimostrato che imparare multiple approcci per domanda (meno problemi, più approcci) produce benefici maggiori per il RL rispetto all'imparare un singolo approccio su un numero maggiore di problemi, dato un budget di addestramento fisso.
• La Correttezza è Essenziale: L'addestramento intermedio con approcci diversificati che portano a risposte errate non è riuscito a migliorare le prestazioni del RL, indicando che la correttezza è un prerequisito per i benefici della diversità.
• Superiorità rispetto alla Distillazione: I dati auto-generati hanno mostrato una maggiore diversità (Vendi Score 13,81) rispetto ai dati distillati da un modello insegnante più potente (QwQ-32B, Vendi Score 10,95), portando a migliori prestazioni a valle.
• Generalizzazione: Nonostante la natura centrata sulla matematica delle euristiche di Pólya, le strategie apprese si sono generalizzate alla generazione di codice (HumanEval) e al ragionamento narrativo (MuSR), con guadagni significativi nei compiti di ragionamento multi-step.

Significato e Affermazioni
Il documento afferma che il contributo principale è dimostrare che l'esposizione a multiple approcci di risoluzione dei problemi tramite dati auto-generati durante l'addestramento intermedio plasma fondamentalmente i prior del modello, permettendo al successivo RL di comporre efficacemente queste strategie.

• Meccanismo di Miglioramento: Lo studio ipotizza che il RL non crea necessariamente capacità di ragionamento "emergenti" da zero, ma piuttosto compone comportamenti esistenti. L'addestramento intermedio garantisce che questi comportamenti siano diversificati e disponibili per la composizione.
• Utilità Pratica: L'approccio offre un metodo semplice, efficace e scalabile per migliorare il RL senza richiedere annotazione umana o modelli insegnanti più potenti.
• Insight Teorico: Il lavoro colma il divario tra il successo empirico del RL e la comprensione teorica, mostrando come le distribuzioni N-modali prevengano il collasso delle modalità e facilitino l'apprendimento di catene di ragionamento composite.

Gli autori rimangono modesti riguardo all'accuratezza su singolo campione (pass@1), notando che il loro focus è sulla comprensione di come l'esposizione diversificata plasmi il comportamento del RL e sul miglioramento delle prestazioni in scenari che richiedono tentativi di campionamento multipli (pass@k). Riconoscono che, sebbene le euristiche siano centrate sulla matematica, la conseguente generalizzazione ad altri domini suggerisce che la procedura porta alla luce e consolida capacità latenti all'interno del modello di base.