🤖 machine learning

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

Il paper dimostra che l'approccio standard "SFT-then-RL" supera i recenti metodi a politica mista per il ragionamento degli LLM, rivelando che i presunti vantaggi di questi ultimi derivavano in realtà da bug tecnici nei framework di ottimizzazione e aggregazione delle perdite.

Autori originali: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Pubblicato 2026-04-28

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Inganno dei "Super-Allenatori" di AI

Immaginate che stiamo cercando di insegnare a un robot (l'Intelligenza Artificiale) a risolvere problemi di matematica difficilissimi. Esistono due scuole di pensiero su come farlo:

Il Metodo Classico (SFT $\to$ RL): Prima lo fai studiare su un libro di testo con le soluzioni già scritte (Supervised Fine-Tuning), così impara le basi. Una volta che sa leggere e scrivere, lo metti davanti a un problema e lo lasci provare da solo, premiandolo quando indovina (Reinforcement Learning).
Il Metodo "Mix" (Mixed-Policy): Questi ricercatori dicono: "Perché aspettare? Facciamo tutto insieme! Mentre il robot prova a risolvere i problemi, gli diamo anche dei suggerimenti dal libro di testo, mescolando le due cose in un unico grande allenamento."

Recentemente, molti scienziati hanno pubblicato studi dicendo: "Il Metodo Mix è il migliore! Batte il Metodo Classico!"

E invece... era tutto un errore!

Il Problema: Lo "Zaino Forato" e il "Maestro Distratto"

I ricercatori di questo paper hanno scoperto che i ricercatori precedenti non stavano confrontando i due metodi in modo equo. Il Metodo Classico stava perdendo non perché fosse debole, ma perché gli strumenti che usavano per allenarlo erano "rotti".

Immaginate di voler allenare un atleta, ma gli date due strumenti difettosi:

Il Bug dello Zaino Forato (DeepSpeed Bug): Immaginate che l'atleta debba correre con uno zaino pieno di libri per studiare. Ma lo zaino ha un buco sul fondo! Ogni volta che l'atleta fa un passo (un "micro-batch" di dati), un pezzo di conoscenza cade fuori. Alla fine della giornata, l'atleta pensa di aver studiato tutto, ma in realtà ha portato in spalla quasi nulla. Questo è quello che succedeva all'AI: i dati fondamentali "scivolavano via" durante l'allenamento.
Il Bug del Maestro Distratto (OpenRLHF Bug): Immaginate un maestro che corregge i compiti. Invece di guardare quanto è lungo e complesso il ragionamento dello studente, il maestro guarda solo il numero di pagine. Se uno studente scrive una risposta lunghissima e complessa e un altro una risposta brevissima, il maestro dà lo stesso "peso" a entrambi, ignorando la qualità reale. Questo ha reso l'apprendimento dell'AI confuso e instabile.

La Scoperta: Il Metodo Classico è il vero Campione

I ricercatori hanno preso questi strumenti, li hanno "riparati" (hanno chiuso il buco nello zaino e dato al maestro un occhio più attento) e hanno riprovato l'allenamento classico.

Il risultato è stato scioccante:
Il Metodo Classico (Studia prima $\to$ Prova dopo) non solo ha recuperato il terreno perduto, ma ha distrutto tutti i metodi "Mix". È diventato molto più intelligente, risolvendo problemi matematici con una precisione che i metodi moderni si sognano.

Perché il Metodo Classico vince? (La metafora della Bicicletta)

Perché è meglio studiare prima e poi provare?

Immaginate di imparare ad andare in bicicletta.

Il Metodo Mix è come cercare di imparare l'equilibrio e la pedalata mentre qualcuno ti urla istruzioni complicate in orecchio. È un caos: non sai se stai cadendo perché non hai equilibrio o perché non hai capito l'istruzione.
Il Metodo Classico è come prima imparare a stare in equilibrio con le rotelle (SFT), e solo quando sei sicuro di saper stare dritto, togliere le rotelle e iniziare a pedalare velocemente (RL).

In breve: Il Metodo Classico è più efficiente perché crea una base solida. Una volta che l'AI "sa già come ragionare", l'ultima fase di allenamento serve solo a rifinire i dettagli, non a imparare tutto da capo.

Conclusione

Il paper ci insegna una lezione fondamentale per la scienza: controlla sempre i tuoi strumenti. A volte, pensiamo di aver scoperto una nuova tecnologia rivoluzionaria, quando in realtà abbiamo solo dimenticato di chiudere lo zaino!

Riassunto Tecnico: SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

Problema

Negli ultimi tempi, la ricerca sull'addestramento di Large Language Models (LLM) per il ragionamento complesso (come la matematica) si è spostata dal classico approccio sequenziale SFT-then-RL (Supervised Fine-Tuning seguito da Reinforcement Learning) verso i metodi a "politica mista" (mixed-policy). Questi ultimi tentano di combinare i segnali di SFT e RL durante lo stesso processo di addestramento per superare la scarsità di ricompense (sparse rewards) tipica del RL puro.

Tuttavia, gli autori di questo paper sostengono che i recenti progressi dichiarati da questi metodi a politica mista siano in gran parte illusori. Essi dimostrano che i risultati ottenuti sono frutto di un confronto con baseline (SFT) difettose, causate da bug silenti in framework di addestramento ampiamente utilizzati.

Metodologia

Gli autori hanno identificato e analizzato due bug critici che degradano sistematicamente la qualità della fase di SFT nei framework open-source:

Bug dell'Ottimizzatore con CPU-offloading (DeepSpeed): In configurazioni che utilizzano DeepSpeed ZeRO Stage 1 o 2 con ottimizzatore spostato su CPU (per risparmiare memoria GPU), un errore nella routine di accumulo dei gradienti fa sì che vengano considerati solo i gradienti del primo micro-batch. Gli altri micro-batch vengono accumulati correttamente sulla GPU, ma non vengono mai trasferiti all'ottimizzatore sulla CPU. Questo "silenziosamente" scarta gran parte dell'informazione durante l'addestramento.
Bug di Aggregazione della Loss (OpenRLHF, Llama-Factory, verl): Un errore comune nel calcolo della loss durante l'accumulo dei gradienti consiste nel calcolare la media delle medie dei mini-batch, anziché la vera media per token. Poiché i mini-batch hanno lunghezze diverse, questo approccio assegna un peso errato ai batch con meno token, distorcendo il segnale di apprendimento.

Per validare la loro tesi, gli autori hanno:

Corretto i bug nei framework esistenti.
Implementato una pipeline SFT-then-RL corretta utilizzando il framework verl.
Confrontato i risultati su due modelli: Qwen2.5-Math-7B e Llama-3.1-8B.
Testato l'efficienza computazionale (FLOPs) e la generalizzazione (test out-of-distribution).

Contributi Chiave

Identificazione di Bug Sistemici: La scoperta che bug in DeepSpeed, OpenRLHF e Llama-Factory hanno invalidato le baseline di numerosi paper di ricerca recenti.
Ripristino del Paradigma SFT-then-RL: Dimostrazione che la separazione netta tra SFT (per acquisire conoscenza e formato) e RL (per affinare la strategia di ragionamento) è superiore ai metodi che tentano di mescolare i due segnali.
Efficienza Computazionale: Dimostrazione che una versione troncata della pipeline (solo 50 step di RL invece di 500) è più veloce e consuma meno FLOPs rispetto ai metodi mixed-policy, pur ottenendo risultati migliori.

Risultati Principali

Superamento dei Metodi Esistenti: Una volta corretta la baseline SFT, la pipeline SFT $\rightarrow$ RL supera ogni metodo a politica mista pubblicato. Su Qwen2.5-Math-7B, supera il miglior metodo (SRFT) di +3.8 punti nei benchmark matematici. Su Llama-3.1-8B, il distacco è ancora più netto: +22.2 punti.
Impatto dei Bug: Il bug dell'ottimizzatore è il principale responsabile del calo di performance (causando una perdita di circa 5.7 punti su Qwen). Il bug della loss contribuisce in modo minore ma significativo alla variabilità e all'instabilità.
Dinamiche di Addestramento: Gli autori mostrano che i metodi mixed-policy faticano perché devono imparare la conoscenza (SFT) e affinarla (RL) contemporaneamente, partendo da un segnale di reward quasi nullo. Al contrario, la pipeline SFT-then-RL inizia la fase di RL con un modello già capace, beneficiando di segnali di reward densi fin dal primo step.

Significato e Implicazioni

Il paper ha un impatto profondo sulla comunità di ricerca dell'IA per due motivi:

Validità della Ricerca: Avverte che i progressi dichiarati in molti paper recenti potrebbero essere artefatti dovuti a baseline errate. Suggerisce la necessità di una validazione incrociata tra framework indipendenti.
Efficienza del Design: Conferma che, per il ragionamento logico, la specializzazione delle fasi (prima impara il "cosa", poi ottimizza il "come") è una strategia più robusta ed efficiente rispetto al tentativo di ottimizzare tutto simultaneamente.