Riepilogo Tecnico: RASFT (Rollout-Adaptive Supervised Fine-Tuning per il Ragionamento)

1. Definizione del Problema

Il Supervised Fine-Tuning (SFT) è l'approccio standard per adattare i Large Language Models (LLM) a compiti di ragionamento attraverso l'imitazione di dimostrazioni esperte offline. Tuttavia, gli autori identificano un limite critico in questo paradigma: il ragionamento non è un semplice compito di imitazione di un percorso. Un singolo problema spesso ammette molteplici percorsi di soluzione validi, eppure lo standard SFT tratta una singola traiettoria esperta offline come il comportamento target rigido.

Questa imitazione rigida può portare a due problemi:

1. Overfitting alle Forme Superficiali: Il modello può memorizzare la specifica dimostrazione piuttosto che apprendere la distribuzione sottostante del ragionamento.
2. Soppressione della Capacità Latente: Gli LLM pre-addestrati possiedono spesso ricche distribuzioni di ragionamento latenti. L'over-imitazione di un singolo percorso esperto può sovrascrivere questi priori, indebolendo la capacità del modello di generare traiettorie di ragionamento diverse e corrette.

Le varianti esistenti di SFT (ad es., DFT, ASFT, ProFiT) tentano di mitigare questo aspetto riscalando i segnali di apprendimento o ancorandosi a modelli di riferimento, ma rimangono ampiamente "interne alla dimostrazione". Esse ottimizzano basandosi su segnali all'interno della traiettoria offline piuttosto che calibrare la supervisione in base alla capacità attuale della policy di risolvere il problema.

2. Metodologia: RASFT

Gli autori propongono il Rollout-Adaptive Supervised Fine-Tuning (RASFT), un framework consapevole della policy che bilancia dinamicamente la guida esperta con il ragionamento auto-generato basato sulle prestazioni attuali del modello.

Componenti Core

1. Costruzione del Pool di Candidati Locali:
   Per ogni prompt del problema $x_i$, RASFT costruisce un pool $G_i$ contenente:

   • La traiettoria esperta offline ($y^e_i$).
   • Traiettorie corrette verificate generate dalla policy attuale ($\pi_\theta$) tramite rollout on-policy.
   • Nota: Le rollout errate vengono filtrate dai target di ottimizzazione ma utilizzate per stimare la difficoltà.

2. Stima della Solvibilità a Livello di Problema ($\zeta_i$):
   Il modello genera $K$ rollout per un dato prompt. Un verificatore specifico per il task (ad es., matching della risposta finale per la matematica, test di asserzione per il codice) determina la correttezza. L'indice di solvibilità è calcolato come il tasso di successo:
   $$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$$
   dove $c_{i,k} \in \{0, 1\}$ indica la correttezza. Questo punteggio riflette quanto bene la policy attuale può risolvere il problema.

3. Ponderazione Adattiva:
   RASFT assegna pesi alle traiettorie nel pool di candidati in base a $\zeta_i$:

   • Peso della Traiettoria Esperta ($W_e$): Regolato dinamicamente. Quando $\zeta_i$ è basso (il modello fatica), la traiettoria esperta riceve un peso maggiore per fornire una forte guida correttiva. Quando $\zeta_i$ è alto (il modello è affidabile), il peso viene attenuato per evitare l'adattamento rigido e permettere al ragionamento del modello di dominare.
   • Peso della Traiettoria Auto-Generata ($W_r$): Fisso per le rollout verificate come corrette.

4. Obiettivo Regolarizzato dalla Policy:
   Per prevenire un eccessivo drift dalla distribuzione pre-addestrata, RASFT introduce un rapporto inverso troncato tra un modello di riferimento congelato ($\pi_{ref}$) e la policy attuale ($\pi_\theta$). La funzione di perdita finale combina:

   • Pesi delle traiettorie normalizzati ($\bar{W}_{i,j}$).
   • Il rapporto inverso troncato ($Clip(r_{i,j}(\theta))$).
   • Confidenza a livello di token ($p_{\theta}$).

L'obiettivo minimizza una perdita sequence-to-sequence pesata:
$$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$$
dove $\omega_{i,j,t}$ è il peso composto.

3. Contributi Chiave

Il paper riassume i suoi contributi come segue:

• Identificazione del Limite: Evidenzia che le varianti esistenti di SFT mancano di consapevolezza della policy, fallendo nel distinguere quando l'imitazione dell'esperto è necessaria rispetto a quando diventa un adattamento rigido del percorso.
• Proposta del Framework: RASFT viene introdotto come un framework di SFT adattivo ai rollout che utilizza rollout on-policy verificate per stimare la solvibilità del problema, bilanciando dinamicamente la guida esperta con le traiettorie corrette auto-generate.
• Validazione Empirica: Esperimenti estesi dimostrano che RASFT supera lo standard SFT, le varianti di SFT (DFT, ASFT, ProFiT) e i metodi rappresentativi di Reinforcement Learning (RL) (GRPO, LUFFY) nei compiti di ragionamento matematico e del codice.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su sei benchmark di ragionamento matematico (MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023) e due benchmark di ragionamento del codice (HumanEval, MBPP) utilizzando modelli delle famiglie Qwen2.5 e Llama-3.2.

• Guadagni di Performance: RASFT ha costantemente raggiunto la migliore performance media.
  • Matematica: Su Qwen2.5-Math-1.5B, ha ottenuto un guadagno relativo del 10,9% (25,00 $\to$ 27,72) rispetto al miglior baseline.
  • Codice: Su Llama-3.2-3B, ha ottenuto un guadagno del 26,9% (24,93 $\to$ 31,63).
  • Confronto con RL: RASFT ha migliorato l'accuratezza matematica media del 15,9% (20,25 $\to$ 23,47) rispetto a GRPO.
• Studi di Ablazione:
  • Adattività della Difficoltà: Rimuovere la ponderazione adattiva ha causato un calo del punteggio medio da 27,72 a 25,53, confermando che il bilanciamento statico è subottimale.
  • Rollout On-Policy: Rimuovere i rollout (ritornando ai pesi esperti statici) ha portato a una degradazione uniforme, evidenziando la necessità del feedback online.
  • Rapporto Inverso: Rimuovere il rapporto inverso ha ridotto le performance, confermando il suo ruolo nel prevenire l'overfitting sui dati offline e nel preservare i priori pre-addestrati.
  • Trasferibilità: RASFT ha migliorato le performance quando integrato con SFT standard e ProFiT, suggerendo che è complementare ai metodi di riscalamento a livello di token.
• Dinamiche di Training: RASFT ha mantenuto obiettivi di training stabili e una densità di aggiornamento dei parametri inferiore nelle fasi avanzate rispetto ad altri metodi, indicando una migliore preservazione dei priori di ragionamento pre-addestrati.

5. Significato e Claim

Il paper sostiene che RASFT rappresenti un passaggio dal fitting di dimostrazioni statiche alla supervisione adattiva alla policy. Il suo significato risiede in:

1. Colmare il divario tra SFT e RL: Incorpora i benefici dell'esplorazione online (rollout) e della ponderazione adattiva tipica dei metodi RL, pur mantenendo la stabilità e la semplicità del framework SFT.
2. Calibrazione Dinamica: Calibra con successo la forza della supervisione esperta in base alla capacità reale del modello di risolvere un problema specifico, evitando la soppressione della propria distribuzione di ragionamento.
3. Robustezza: Il metodo è robusto attraverso diverse scale di modelli e domini di task, mostrando guadagni significativi in particolare su benchmark difficili (es. AIME, OlympiadBench) dove l'imitazione rigida fallisce.

Limitazioni riconosciute dagli autori:

• Costo Computazionale: RASFT è più costoso dello standard SFT a causa della generazione periodica e della verifica delle rollout on-policy.
• Dipendenza dalla Verifica: Il metodo si affida a segnali di verifica automatica affidabili (es. risposte finali per la matematica, test case per il codice). Estendere questo approccio a compiti di ragionamento aperti senza segnali di correttezza chiari rimane una sfida.