Riepilogo Tecnico: Un Buono SFT Ottimizza per l'SFT, un SFT Migliore Prepara per l'Apprendimento per Rinforzo

1. Enunciato del Problema

Il post-addestramento dei Modelli Linguistici di grandi dimensioni (LLM) per il ragionamento segue tipicamente un paradigma a due stadi: una fase offline di Fine-Tuning Supervisionato (SFT) per produrre un checkpoint iniziale, seguita da una fase online di Apprendimento per Rinforzo (RL) per migliorare ulteriormente le prestazioni. Un'ipotesi prevalente nelle pipeline attuali è che l'ottimizzazione della fase SFT per la massima accuratezza offline (ad esempio, massimizzando la verosimiglianza del prossimo token o minimizzando la perdita sulla distribuzione di addestramento) generi naturalmente un'inizializzazione più robusta per il successivo RL.

Tuttavia, gli autori dimostrano che questa ipotesi è errata. Osservano che i modelli inizializzati da checkpoint SFT "più forti" (quelli con prestazioni offline superiori) possono performare significativamente peggio di quelli inizializzati da checkpoint "più deboli" dopo aver subito un addestramento RL identico. Questo fenomeno è attribuito a una mismatch distributivo tra le fasi offline e online:

• SFT Offline: Il modello apprende da dati campionati da una politica di comportamento ($\pi_\beta$), spesso un modello diverso o un dataset statico.
• RL Online: Il modello apprende da rollout generati dalla propria politica target in evoluzione ($\pi_\theta$).

L'SFT standard applica una supervisione uniforme a livello di token basata sulla distribuzione della politica di comportamento. In compiti di ragionamento a lungo orizzonte, ciò può rafforzare pattern di transizione (ad esempio, continuazioni in vicoli ciechi) che sono altamente probabili sotto la politica di comportamento ma implausibili sotto la politica target. Di conseguenza, il modello impara ad associare prefissi a continuazioni che raramente rivisiterà durante il RL online, portando a un'inizializzazione subottimale che ostacola l'apprendimento a valle.

2. Metodologia: PEAR

Per affrontare questo disallineamento, gli autori propongono PEAR (Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting). PEAR è un metodo della fase SFT che ripesa la perdita di addestramento per allineare meglio l'obiettivo offline alla distribuzione della politica target, preparando efficacemente il modello per la fase RL online.

Meccanismo Principale

PEAR utilizza il campionamento per importanza per correggere lo spostamento distributivo tra la politica di comportamento ($\pi_\beta$) e la politica target ($\pi_\theta$). Invece di trattare tutti i token nel dataset offline in modo uguale, PEAR ripesa la perdita di ciascun token in base al rapporto di verosimiglianza tra la politica target e la politica di comportamento.

La funzione obiettivo è modificata come segue:
$$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$$
Dove:

• $\ell_\theta$ è la perdita standard per token (ad esempio, NLL o divergenza KL).
• $\text{sg}[\cdot]$ denota un operatore stop-gradient, trattando il peso come un coefficiente fisso.
• $\hat{G}_t$ è il peso di importanza numericamente stabilizzato per il token $t$.

Varianti di Ponderazione

PEAR offre tre granularità per il calcolo dei pesi $\hat{G}_t$:

1. Ponderazione a Livello di Sequenza: Applica un singolo rapporto di importanza globale ($w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$) a tutti i token in una traiettoria. Questo assume che la plausibilità dell'intera sequenza sotto la politica target sia uniforme.
2. Ponderazione a Livello di Token (Basata sul Suffisso): Calcola i pesi basandosi sul rapporto di importanza del suffisso. Per un token $y_t$, il peso è determinato dalla verosimiglianza della rimanente continuazione ($y_{>t}$) sotto la politica target rispetto alla politica di comportamento:
   $$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$$
   Questo riduce il peso dei token che portano a continuazioni che la politica target è improbabile generi, focalizzando l'apprendimento sui prefissi compatibili con il comportamento futuro della politica target.
3. Ponderazione a Livello di Blocco: Per mitigare l'alta varianza intrinseca nei pesi di importanza moltiplicativi a lungo orizzonte, la sequenza è partizionata in blocchi. I pesi sono calcolati e applicati uniformemente all'interno di ciascun blocco, scambiando parte della granularità per stabilità.

Caratteristiche Aggiuntive

• Esempi Negativi: PEAR può incorporare traiettorie di fallimento verificate applicando un termine repulsivo, spingendo il modello lontano dalle continuazioni negative mantenendo al contempo la coerenza della politica.
• Adattamento Black-Box: Quando la politica di comportamento esatta $\pi_\beta$ non è disponibile (ad esempio, dati closed-source), PEAR può utilizzare un modello proxy o un ensemble di proxy per approssimare le log-probabilità della politica di comportamento.
• Stabilizzazione Numerica: Il metodo impiega calcoli nello spazio logaritmico e clipping dei rapporti logaritmici per prevenire instabilità numerica durante il calcolo di lunghe sequenze di prodotti.

3. Contributi Chiave

• Dimostrazione Empirica del Disaccoppiamento Offline-Online: Il documento fornisce esperimenti controllati che mostrano come le prestazioni offline siano un proxy inaffidabile per le prestazioni post-RL. Obiettivi SFT più forti possono portare a risultati RL finali più deboli a causa del disallineamento distributivo.
• Algoritmo PEAR: L'introduzione di uno schema pratico di ripesatura plug-in che utilizza principi di valutazione off-policy (OPE) per allineare l'SFT offline agli obiettivi del RL online.
• Valutazione Completa: Test estesi su molteplici famiglie di modelli (Qwen2.5, Qwen3, DeepSeek-distilled) e dimensioni (da 0.6B a 8B) su compiti di ragionamento verificabili (giochi logici, benchmark matematici).
• Analisi della Deriva dei Parametri: Gli autori mostrano che i modelli inizializzati con PEAR subiscono una minore deriva dei parametri durante il successivo addestramento RL, suggerendo che PEAR riduce la necessità che la fase RL corregga i disallineamenti da offline a online.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti su puzzle logici sintetici (SynLogic, Enigmata) e benchmark di ragionamento matematico (AIME-2024/2025, AMC-2023, MATH-500).

• Miglioramenti delle Prestazioni: PEAR supera costantemente l'SFT canonico e altre baseline (incluso SFT regolarizzato con KL, TALR e vari obiettivi basati sulla probabilità) dopo il RL.
  • Su AIME-2025, i modelli inizializzati con PEAR hanno ottenuto guadagni Pass@8 fino a 30 punti percentuali rispetto all'SFT standard (ad esempio, passando dal 5% al 35% su DeepSeek-Distill-Qwen-1.5B).
  • Su giochi logici SynLogic, PEAR ha mostrato miglioramenti Pass@1 fino a +25 punti percentuali (ad esempio, dal 13,1% al 38,3% su Qwen3-1.7B-Base).
• Generalizzazione: I benefici di PEAR si trasferiscono attraverso diverse distribuzioni di compiti RL (ad esempio, addestramento su SynLogic e RL su Enigmata) e diversi algoritmi RL (GRPO e DAPO).
• Robustezza Black-Box: Anche utilizzando modelli proxy per approssimare la politica di comportamento, PEAR supera significativamente l'SFT standard, con proxy forti che eguagliano le prestazioni white-box.
• Stabilità: I modelli inizializzati con PEAR mostrano una deriva dei parametri inferiore (misurata dallo Spostamento dello Spettro Normalizzato) durante la fase RL online rispetto ai modelli inizializzati con SFT standard, indicando una traiettoria di apprendimento più efficiente.

5. Significato e Affermazioni

Il documento sostiene che l'obiettivo della fase offline SFT non dovrebbe essere semplicemente massimizzare l'accuratezza offline, ma preparare la politica per il successivo RL online.

• Post-Addestramento Olistico: Gli autori affermano che progettare obiettivi SFT con il RL a valle in mente è cruciale. Ottimizzare per metriche offline in isolamento può essere controproducente, poiché può rafforzare comportamenti incompatibili con le dinamiche di esplorazione e ottimizzazione della politica target.
• Correzione del Disallineamento: PEAR serve come istantanea concreta del principio secondo cui l'addestramento offline deve correggere il disallineamento tra occupazione della politica di comportamento e target. Riducendo il peso delle continuazioni implausibili e aumentando quello di quelle compatibili con la politica target, PEAR crea un'inizializzazione più efficace.
• Impatto Pratico: I risultati suggeriscono che semplici strategie di ripesatura basate sulla valutazione off-policy possono produrre miglioramenti sostanziali nelle capacità di ragionamento senza richiedere modifiche architetturali complesse o raccolta dati aggiuntiva, a condizione che le probabilità della politica di comportamento siano accessibili (o approssimabili).

Gli autori concludono che "una buona fase offline non dovrebbe ottimizzare per l'accuratezza offline, ma preparare la politica per il RL che segue", posizionando PEAR come un passo verso pipeline di post-addestramento LLM più olistiche.