Learn Hard Problems During RL with Reference Guided Fine-tuning

Il paper introduce ReGFT, un metodo che utilizza soluzioni di riferimento parziali per generare traiettorie di ragionamento all'interno dello spazio del modello, superando la sparsità dei reward e migliorando significativamente le prestazioni del Reinforcement Learning nel ragionamento matematico.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza background tecnico.

Il Problema: L'Alunno Bloccato sul Monte

Immagina di avere un genio matematico (l'Intelligenza Artificiale) che sta imparando a risolvere problemi difficili, come quelli delle Olimpiadi di Matematica.

Per diventare un campione, questo genio deve allenarsi. Il metodo migliore per allenarlo è il Rinforzo (RL): gli dai un problema, lui prova a risolverlo. Se indovina, riceve un "premio" (una caramella digitale). Se sbaglia, non riceve nulla.

Il problema è questo: se il problema è troppo difficile, il genio non riesce a trovare nessuna soluzione corretta, nemmeno dopo mille tentativi.

• Risultato: Non riceve mai premi. Non sa cosa sta facendo bene o male. Si blocca. È come se un allenatore di calcio desse un compito impossibile a un giocatore: se il giocatore non riesce mai a segnare, non impara mai a migliorare.

Inoltre, spesso abbiamo la soluzione scritta da un umano (un libro di testo o un esperto). Ma se mostri semplicemente la soluzione al modello e gli dici "copiala", lui non impara davvero. È come se un musicista leggesse lo spartito di un concerto senza mai suonare una nota: non sviluppa il "muscolo" mentale per creare la musica da solo.

La Soluzione: La "Guida di Riflessione" (ReGFT)

Gli autori del paper hanno inventato un metodo chiamato ReGFT (Reference-Guided Fine-Tuning). Immaginalo come un allenatore molto intelligente che usa un trucco geniale per sbloccare il genio matematico.

Ecco come funziona, passo dopo passo:

1. Non dare la soluzione intera: L'allenatore prende la soluzione umana e ne mostra solo l'inizio (per esempio, i primi 80% del ragionamento).
2. Lascia che il genio finisca il lavoro: Dice al modello: "Ehi, ecco come inizia il ragionamento. Ora tocca a te! Usa questa idea come guida, ma devi scrivere tu il resto della soluzione, passo dopo passo."
3. Il risultato magico:
   • Il modello non copia passivamente (quindi non si blocca).
   • Il modello usa la sua "mente" per completare il lavoro, ma ha una bussola (la guida umana) che lo tiene sulla strada giusta.
   • Anche se il problema era troppo difficile per lui da solo, ora riesce a produrre una soluzione corretta perché ha avuto un piccolo aiuto strategico.

Perché è così potente?

Immagina che il modello sia un esploratore in una foresta nebbiosa (i problemi difficili).

• Senza aiuto: L'esploratore gira in tondo, si perde e non trova mai l'uscita (nessun premio).
• Con la soluzione completa: L'esploratore legge la mappa dell'uscita, ma non impara a orientarsi da solo. Se la nebbia cambia, si perde di nuovo.
• Con ReGFT: L'allenatore gli dice: "Guarda, la strada inizia così (punto A). Ora cammina tu fino al punto B." L'esploratore impara a camminare, guadagna fiducia e, alla fine, trova l'uscita.

I Risultati: Cosa è successo davvero?

Gli autori hanno provato questo metodo su tre "palestre" matematiche molto difficili (chiamate AIME 2024, AIME 2025 e Beyond-AIME). Ecco cosa hanno scoperto:

1. Più premi, meno blocchi: Grazie a questo metodo, il modello ha iniziato a trovare soluzioni corrette su problemi che prima sembravano impossibili. Questo significa che durante l'allenamento finale (il Rinforzo), riceve molti più "premi" e impara molto più velocemente.
2. Un punto di partenza migliore: I modelli addestrati con ReGFT partono con un "livello" più alto. Quando iniziano l'allenamento finale, sono già più forti e arrivano a risultati finali molto più alti rispetto a chi ha provato a imparare da solo o copiando le soluzioni.
3. Resistenza sotto pressione: Quando hanno chiesto al modello di provare a risolvere lo stesso problema molte volte (per aumentare le probabilità di successo), i modelli addestrati con ReGFT sono stati molto più affidabili e costanti.

In Sintesi

Il paper ci dice che per insegnare a un'Intelligenza Artificiale a risolvere problemi impossibili, non basta dargli la risposta (non funziona) e non basta lasciarlo solo a tentare (si blocca).

La chiave è mescolare l'esperienza umana con la creatività dell'AI. Dare all'AI un "aiuto parziale" le permette di costruire il proprio ragionamento, trasformando problemi "impossibili" in problemi "risolvibili" e rendendo l'allenamento finale molto più efficace.

È come insegnare a un bambino a nuotare: non lo lasci affogare nel mare aperto, ma non lo porti in braccio fino alla riva. Gli dai un salvagente (la guida parziale) e lo lasci remare da solo, così impara davvero a nuotare.

Sommario tecnico

Sintesi Tecnica: ReGFT (Reference-Guided Fine-Tuning)

1. Il Problema: La Sparsità delle Ricompense nel RL per il Ragionamento Matematico

Il Reinforcement Learning (RL) è stato fondamentale per migliorare le capacità di ragionamento dei Large Language Models (LLM), come dimostrato da modelli quali OpenAI o1 e DeepSeek R1. Tuttavia, nell'ambito del ragionamento matematico (RLVR - Reinforcement Learning with Verifiable Rewards), esiste un collo di bottiglia fondamentale: la sparsità delle ricompense.

• Il limite: Per problemi complessi o mai visti, il modello base spesso non riesce a generare alcuna traiettoria di ragionamento corretta durante la fase di esplorazione.
• La conseguenza: Se il modello non produce soluzioni corrette, il verificatore automatico non assegna ricompense positive. Senza segnali di gradiente significativi (ricompense), l'addestramento RL si blocca o diventa estremamente inefficiente, sprecando risorse computazionali su traiettorie errate.
• Il fallimento del SFT diretto: Sebbene i dataset di addestramento contengano spesso soluzioni di riferimento scritte da umani, il Supervised Fine-Tuning (SFT) diretto su queste soluzioni è spesso inefficace. I modelli tendono a non essere in grado di imitare prove umane che si trovano al di fuori della loro distribuzione di ragionamento intrinseca, portando a una scarsa generalizzazione.

2. Metodologia: Reference-Guided Fine-Tuning (ReGFT)

Gli autori propongono ReGFT, un metodo semplice ma efficace per colmare il divario tra le capacità del modello e la difficoltà dei problemi prima di avviare il Reinforcement Learning.

Il Processo ReGFT:

1. Selezione dei Problemi Difficili: Il metodo si concentra sui problemi che il modello non riesce a risolvere autonomamente (definiti come quelli con accuratezza < 25% sotto campionamento standard).
2. Ibridazione delle Soluzioni: Invece di addestrare il modello direttamente sulla soluzione umana completa, ReGFT utilizza le soluzioni di riferimento come guida parziale.
   • Al modello viene fornita una parte iniziale della soluzione umana (es. i primi 80% della traccia di ragionamento) come "hint" o contesto.
   • Il modello è quindi obbligato a generare la propria traccia di ragionamento per completare la soluzione, partendo da zero o continuando la logica, ma senza copiare la soluzione finale.
3. Allineamento della Distribuzione: Questo approccio garantisce che le traiettorie di addestramento rimangano all'interno dello "spazio di ragionamento" del modello (evitando il mismatch tipico del SFT diretto), pur beneficiando della struttura logica fornita dall'esperto umano.
4. Addestramento Ibrido: Il modello viene fine-tunato su un mix di:
   • Traiettorie corrette generate autonomamente dal modello (come nel metodo ReFT esistente).
   • Traiettorie guidate dai riferimenti (ReGFT) generate sui problemi difficili.

L'obiettivo è creare un checkpoint iniziale più forte che abbia una probabilità significativamente maggiore di generare soluzioni corrette sui problemi difficili, fornendo così segnali di ricompensa più densi per la fase successiva di RL.

3. Contributi Chiave

• Superamento della Sparsità delle Ricompense: ReGFT trasforma problemi precedentemente "insolubili" per il modello in problemi risolvibili durante la fase di pre-addestramento, aumentando la densità dei segnali di apprendimento per il RL successivo.
• Distinzione Critica tra SFT Diretto e Guidato: Il paper dimostra che l'addestramento diretto su soluzioni umane è insufficiente. Il successo dipende dalla generazione di traiettorie derivate dal modello ma guidate dai riferimenti, che preservano lo stile inferenziale del modello.
• Sinergia con RL Avanzato: ReGFT è ortogonale agli algoritmi RL (come DAPO). Anche con algoritmi di campionamento dinamico avanzati, un'inizializzazione ReGFT porta a miglioramenti sostanziali, dimostrando che il problema non è solo di ottimizzazione, ma di capacità iniziale del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su OmniMath (dataset di addestramento) e valutati su benchmark difficili: AIME'24, AIME'25 e Beyond-AIME. Il modello base utilizzato è Qwen3-4B-Instruct.

• Prestazioni RL Superiori: I modelli inizializzati con ReGFT superano costantemente i checkpoint "raw" (grezzi) e quelli inizializzati con ReFT (solo traiettorie auto-generate) su tutti i benchmark. Mostrano una convergenza più rapida e un'accuratezza finale più elevata.
• Miglioramento della Scalabilità (Pass@k): L'analisi pass@k (prestazioni con budget di inferenza crescente) rivela che ReGFT offre miglioramenti stabili e sostenuti all'aumentare di $k$. Al contrario, i benefici del solo ReFT tendono a saturare rapidamente, suggerendo che ReGFT espande effettivamente lo spazio delle soluzioni accessibili al modello, non solo rafforza quelle esistenti.
• Tabella 1 (Sintesi):
  • Su AIME'24, ReGFT + DAPO raggiunge il 70.0% (vs 67.1% per Raw + DAPO).
  • Su Beyond-AIME, ReGFT + DAPO raggiunge il 40.3% (vs 39.8% per Raw + DAPO).
• Capacità di Risolvere Problemi Insolubili: L'analisi mostra che la generazione guidata dai riferimenti permette al modello di risolvere un 5.85% in più di problemi che non sarebbero mai stati risolti con il campionamento standard, espandendo i confini delle capacità del modello.

5. Significato e Implicazioni

Il lavoro di ReGFT offre una nuova prospettiva sul ciclo di addestramento dei modelli di ragionamento:

1. Pre-RL è Critico: Migliorare le capacità di base del modello prima dell'RL (mid-training mirato) è essenziale per sbloccare il potenziale del Reinforcement Learning. Senza un checkpoint iniziale capace di generare almeno alcune soluzioni corrette, l'RL fatica a partire.
2. Utilizzo Intelligente dei Dati Umani: Dimostra che le soluzioni umane non devono essere usate come "copie" da memorizzare, ma come "impalcature" (scaffolding) per guidare il modello a costruire il proprio ragionamento su problemi difficili.
3. Efficienza Computazionale: Riduce lo spreco di risorse computazionali nelle fasi iniziali dell'RL, dove i modelli spesso esplorano senza successo problemi troppo difficili per le loro attuali capacità.

In conclusione, ReGFT si presenta come un metodo robusto per trasformare la sparsità delle ricompense in un segnale di apprendimento denso, permettendo ai modelli di raggiungere prestazioni matematiche superiori e più stabili rispetto alle tecniche attuali.