Riepilogo Tecnico: Fusione di Addestramento Fine Supervisionato e per Rinforzo con Campionamento del Prefisso

1. Enunciato del Problema

L'addestramento fine post-allenamento dei Modelli Linguistici di Grandi Dimensioni (LLM) è attualmente dominato da due paradigmi distinti: Addestramento Fine Supervisionato (SFT) e Addestramento Fine per Rinforzo (RFT). Ogni approccio presenta limitazioni specifiche:

• SFT eccelle nel mimare i dati di dimostrazione ma funziona come clonazione comportamentale, portando spesso a problemi di generalizzazione e robustezza. Fornisce una supervisione densa ma può allinearsi scarsamente con le prestazioni dei compiti downstream.
• RFT (ad es. PPO, GRPO) migliora le prestazioni attraverso l'esplorazione e l'ottimizzazione orientata agli obiettivi, ma soffre di segnali di ricompensa sparsi, sensibilità alla politica iniziale e del rischio di apprendere comportamenti inaspettati (ad es. mescolanza linguistica). La letteratura recente mette in dubbio se l'RFT possa realmente innalzare il limite intrinseco delle capacità di un modello o se si limiti a rifinire le conoscenze pre-allenamento esistenti.

La domanda di ricerca centrale affrontata è come integrare formalmente la supervisione del processo dell'SFT con l'ottimizzazione orientata agli obiettivi dell'RFT per sfruttare i loro punti di forza complementari: SFT per espandere i confini della conoscenza e RFT per indirizzare verso una risoluzione robusta dei problemi.

2. Metodologia: Prefix-RFT

Gli autori propongono Prefix-RFT, un approccio ibrido di addestramento fine che unifica SFT e RFT all'interno di un singolo framework di ottimizzazione.

Visione Unificata

Il documento stabilisce che SFT e RFT condividono una struttura di ottimizzazione coerente. Entrambi aggiornano la log-probabilità delle sequenze, differendo principalmente nella fonte della sequenza (esperto vs. on-policy) e nel meccanismo di ponderazione (fisso vs. ponderato per vantaggio).

Meccanismo Principale

Prefix-RFT incorpora dataset di dimostrazione offline nel ciclo di addestramento RFT tramite Campionamento del Prefisso:

1. Costruzione di Traiettorie Ibride: Per un dato prompt $x$ e dimostrazione $y^*$, la politica $\pi_{\theta}$ genera $N-1$ rotolamenti standard on-policy. Per la $N$-esima sequenza, un prefisso $y^*_{<L}$ viene campionato dalla dimostrazione. La politica genera quindi un'estensione $y_{\ge L}$, creando una traiettoria ibrida $y^{(N)} = (y^*_{<L}, y_{\ge L})$.
2. Aggiornamento Unificato del Gradiente: La traiettoria ibrida è trattata insieme ai rotolamenti standard. L'aggiornamento del gradiente combina l'apprendimento dall'esplorazione (token on-policy) e l'imitazione (token del prefisso).
   • Token del Prefisso ($t < L$): Trattati come "imitazione" ma ponderati dal vantaggio $\hat{A}_t$ stimato dall'intera traiettoria ibrida. Se la traiettoria ibrida produce un'alta ricompensa, il prefisso è rinforzato; altrimenti, la sua influenza è attenuata.
   • Token di Estensione ($t \ge L$): Trattati come token standard di "esplorazione".
3. Clipping Basato sull'Entropia: Per evitare che i token di dimostrazione off-policy dominino il gradiente (a causa di spostamenti distribuzionali che causano grandi gradienti di verosimiglianza logaritmica), il metodo aggiorna solo i top-$k\%$ (ad es. 20%) dei token del prefisso con l'entropia più alta. I token a bassa entropia sono già abbinati dal modello o rappresentano mismatch sicuri che potrebbero causare sovrascritture acute e destabilizzanti.
4. Programmatore di Decadimento Cosinusoidale: Per mitigare il pregiudizio posizionale (dove i modelli vedono raramente la fine delle sequenze) e implementare l'apprendimento curricolare, la lunghezza del prefisso $L$ è controllata da un programmatore. La lunghezza del prefisso inizia lunga (alta guida) e decade verso il breve (più autonomia) durante tutto l'addestramento, mimando una transizione da SFT a RFT.

3. Contributi Chiave

• Framework Unificato: Il documento fornisce un'unificazione teorica di SFT e RFT, dimostrando che possono essere fusi tramite un obiettivo ibrido piuttosto che trattati come stadi consecutivi.
• Algoritmo Prefix-RFT: Introduce un metodo semplice ma efficace per iniettare dimostrazioni offline nell'RFT senza vincolare rigidamente il modello, permettendogli di esplorare estensioni superiori mentre è guidato da prefissi esperti.
• Ponderazione Dinamica e Clipping: Propone l'uso di vantaggi a livello di traiettoria per ponderare dinamicamente gli aggiornamenti del prefisso e impiega un clipping basato sull'entropia per stabilizzare l'addestramento contro gli spostamenti distribuzionali off-policy.
• Validazione Empirica: Dimostra che Prefix-RFT supera SFT autonomo, RFT e le baseline sequenziali SFT-poi-RFT, nonché i recenti metodi ibridi paralleli (ad es. UFT, LUFFY, ReLIFT).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti principalmente su compiti di ragionamento matematico (AIME, AMC, MATH-500, ecc.) utilizzando modelli come Qwen2.5-Math (1.5B, 7B) e LLaMA-3.1-8B.

• Prestazioni: Prefix-RFT ha costantemente superato tutte le baseline su sei benchmark di ragionamento matematico e tre compiti di ragionamento di dominio generale. Ad esempio, su Qwen2.5-Math-7B, ha raggiunto un punteggio Pass@1 di 31.8 su AIME 2024 e 26.4 su AIME 2025, superando la migliore baseline (LUFFY) e l'approccio sequenziale SFT+RFT.
• Confini di Ragionamento (Pass@k): Crucialmente, Prefix-RFT è stato l'unico metodo ad innalzare significativamente il limite superiore delle prestazioni del modello. Su AIME 2025, ha raggiunto un Pass@2048 del 76.7%, rispetto al 70.0% del modello base e dell'RFT, indicando che espande le capacità di ragionamento del modello piuttosto che aumentare semplicemente la probabilità di soluzioni note.
• Robustezza: Il metodo ha mostrato una forte robustezza attraverso diverse scale di modello ed è stato efficace anche con quantità ridotte di dimostrazioni (fino all'1% dei dati) e qualità variabile dei generatori di dimostrazione (da modelli da 1.5B a 32B).
• Generalizzazione: Risultati preliminari sulla generazione di codice (MBPP+, HumanEval+) hanno confermato l'applicabilità del metodo oltre il ragionamento matematico.

5. Analisi e Significato

L'analisi del documento evidenzia la natura complementare di SFT e RFT:

• Colmare il Divario: Prefix-RFT sintetizza efficacemente i paradigmi di addestramento distinti. Permette al modello di apprendere dalle dimostrazioni (stile SFT) mantenendo l'obiettivo orientato agli obiettivi dell'RFT.
• Transizione Dinamica: Il metodo induce una transizione dinamica in cui il modello si affida pesantemente ai prefissi nelle fasi iniziali dell'addestramento (alto vantaggio, prefissi lunghi) e si sposta gradualmente verso l'esplorazione autonoma man mano che le sue capacità migliorano (vantaggio decrescente, prefissi più brevi).
• Apprendimento Mirato: Il modello apprende più intensamente dalle dimostrazioni su problemi difficili (dove fatica) e si affida più all'autosperimentazione per problemi più facili, validando la natura adattiva dell'approccio.

Significato:
Gli autori affermano che Prefix-RFT offre un "punto dolce" tra la stabilità dell'SFT e il potere esplorativo dell'RFT. Integrando formalmente questi paradigmi, il metodo affronta le limitazioni della clonazione comportamentale (SFT) e l'instabilità del puro apprendimento per rinforzo (RFT). Il lavoro suggerisce che trattare SFT e RFT come stadi distinti e consecutivi è subottimale, e che un approccio integrato può armonizzarli efficacemente per spingere i confini delle capacità di ragionamento degli LLM.

Limitazioni:
Gli autori notano che i loro esperimenti si concentrano su contesti di ragionamento verificabili con ricompense di risultato affidabili. Sebbene i risultati sulla generazione di codice suggeriscano trasferibilità, una generazione più ampia aperta e contesti con ricompense rumorose rimangono lavori futuri. Inoltre, il metodo dipende da dimostrazioni esterne e la selezione sistematica di più dimostrazioni candidate è lasciata per studi futuri.