Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

Enunciato del Problema

L'Apprendimento per Rinforzo Online con Ricompense Verificabili (RLVR) trasforma risultati verificabili (ad esempio, dimostrazioni matematiche, test unitari di codice) in segnali di addestramento scalabili. Tuttavia, i metodi online standard (come PPO o GRPO) mantengono la generazione di rollout, la valutazione del verificatore e le valutazioni della politica di riferimento sul percorso critico di ottimizzazione, portando a elevati costi computazionali e utilizzo di memoria.

Un'alternativa naturale è disaccoppiare la generazione dall'ottimizzazione: campionare rollout verificati una sola volta, assegnare pesi e addestrare tramite SFT (Supervised Fine-Tuning) statico. Tuttavia, il paper identifica un'ambiguità fondamentale in questo approccio: l'SFT pesato non è un singolo obiettivo. La politica indotta dall'SFT pesato dipende congiuntamente dal campionatore che ha prodotto i rollout e dai pesi assegnati ad essi. Semplicemente allegare pesi a dati precalcolati non garantisce che la politica risultante corrisponda all'ottimizzatore dell'obiettivo originale di RLVR regolarizzato con KL online. Senza una specifica condizione di corrispondenza dell'obiettivo, l'SFT pesato statico potrebbe adattarsi a una politica diversa dalla soluzione RLVR intesa, anche con dati infiniti e ottimizzazione esatta.

Metodologia: Teoria della Proiezione di Boltzmann

Il paper sviluppa un quadro teorico per identificare la corrispondenza esatta a livello di politica tra l'SFT pesato statico e l'RLVR regolarizzato con KL a riferimento fisso.

1. La Politica Obiettivo (Obiettivo di Boltzmann a Riferimento Fisso)
Il paper stabilisce che l'ottimizzatore dell'obiettivo di RLVR regolarizzato con KL (massimizzare la ricompensa meno la divergenza KL da una politica di riferimento $\pi_{ref}$) è una specifica politica condizionale, l'obiettivo di Boltzmann $\pi^*$:
$$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$$
dove $r(x, y)$ è la ricompensa del verificatore e $\beta$ è la temperatura. Questo obiettivo è una inclinazione esponenziale della politica di riferimento.

2. L'Identità dell'Obiettivo Indotto
Utilizzando la Proposizione 1, gli autori mostrano che qualsiasi obiettivo di SFT pesato induce una politica obiettivo $\tilde{\pi}_w$ proporzionale al prodotto del campionatore $q$ e del peso $w$: $\tilde{\pi}_w \propto q(y|x)w(x,y)$.
Per sostituire fedelmente l'RLVR online, la politica indotta $\tilde{\pi}_w$ deve essere uguale all'obiettivo di Boltzmann $\pi^*$.

3. La Legge di Corrispondenza dell'Obiettivo
Il paper deriva la condizione necessaria per questa corrispondenza (Teorema 4). Per un campionatore $q$ fisso, i pesi devono essere proporzionali al rapporto di densità $\pi^*/q$.
Crucialmente, nella sottoclasse campionata dal riferimento dove i rollout sono generati dalla politica di riferimento ($q = \pi_{ref}$), la condizione si semplifica in modo univoco nel peso di Boltzmann normalizzato per prompt:
$$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$$
dove $Z(x)$ è la funzione di partizione (normalizzatore). Questo peso è esattamente la derivata di Radon–Nikodym che converte i rollout di riferimento in rollout obiettivo.

4. L'Algoritmo BOLT
Basandosi su questa teoria, gli autori propongono BOLT (SFT Mirato a Boltzmann). Opera in due fasi:

• Fase 1 (Precomputazione): Campionare rollout dalla politica di riferimento, valutarli con un verificatore e calcolare i pesi empirici di Boltzmann normalizzati per prompt utilizzando la stima Monte Carlo di $Z(x)$.
• Fase 2 (Ottimizzazione): Addestrare il modello utilizzando SFT standard multi-epoch su questo dataset pesato fisso.
  Poiché il lavoro pesante (campionamento, valutazione, normalizzazione) è precomputato, la fase di ottimizzazione non richiede passaggi in avanti del modello di riferimento, riducendo significativamente i costi di memoria e calcolo rispetto all'RLVR online.

Analisi One-Shot Finita e Limitazioni

Il paper fornisce un'analisi rigorosa su campioni finiti (Sezioni 5 e 6) che scompone l'errore della sostituzione statica in componenti distinte:

• Lacuna Limitata dal Supporto: Se la politica di riferimento $\pi_{ref}$ non campiona mai un completamento ad alta ricompensa, nessuna quantità di pesatura o ottimizzazione può recuperarlo. Il paper dimostra un limite inferiore esatto sulla perdita di valore: $\beta \log(1/\pi^*(S_N | x))$, dove $S_N$ è il supporto memorizzato. Questo spiega perché epoche SFT aggiuntive non possono riparare la copertura mancante.
• Frontiera Temperatura-Copertura-Varianza: Esiste un compromesso in cui abbassare $\beta$ (affilando l'obiettivo) aumenta il costo della dimensione del campione effettiva (ESS) e la varianza del normalizzatore, rendendo la stima più difficile se la probabilità di passaggio del riferimento è bassa.
• Aggiornamento Iterativo come Descenso dello Specchio della Politica KL: Quando la copertura è debole ma non nulla, il paper mostra che BOLT iterativo (dove la politica aggiornata diventa il nuovo riferimento per il turno successivo) è matematicamente equivalente al Descenso dello Specchio della Politica KL (KL-PMD). Questo processo accumula inclinazioni di ricompensa e migliora la copertura dei rollout futuri, cosa che il riutilizzo statico one-shot non può fare.

Risultati Chiave ed Evidenze Empiriche

Gli autori validano la loro teoria utilizzando modelli Qwen sui benchmark GSM8K (matematica) e HumanEval (codice). Gli esperimenti sono progettati per isolare specifici meccanismi teorici piuttosto che rivendicare la dominanza nelle classifiche.

• Corrispondenza dell'Obiettivo: Confrontando BOLT (pesi di Boltzmann) con "Refit" (pesi di ricompensa grezzi) sugli stessi rollout di riferimento mostra che BOLT raggiunge un'accuratezza significativamente superiore (ad esempio, +1.44 su GSM8K, +3.60 su MATH). Questo conferma che è il rapporto di densità specifico, e non solo la fonte dei dati, a determinare l'obiettivo indotto.
• Efficienza: BOLT raggiunge un'accuratezza comparabile o leggermente migliore rispetto a GRPO online riducendo il tempo di addestramento del ~75–85% e la memoria di picco del ~18–31%, poiché rimuove il ciclo online.
• Saturazione One-Shot vs Aggiornamento: Gli esperimenti mostrano che BOLT one-shot spesso satura dopo poche epoche se il supporto di riferimento è limitato. Tuttavia, BOLT Iterativo (aggiornando il campionatore) continua a migliorare le prestazioni, validando l'interpretazione KL-PMD.
• Ritenzione: I metodi che utilizzano rollout di riferimento (BOLT, Refit) mostrano un minore oblio catastrofico su benchmark generali (PIQA, HellaSwag) rispetto all'SFT solo su dimostrazioni, suggerendo che i rollout di riferimento aiutano ad ancorare la distribuzione.

Significato e Affermazioni

Il paper rivendica di fornire una comprensione a livello di meccanismo della sostituzione statica di RLVR, andando oltre le comparazioni euristica delle perdite di addestramento. I suoi contributi principali sono:

1. Identificazione dell'Obiettivo: Stabilisce che l'SFT pesato statico è solo una sostituzione fedele dell'RLVR a riferimento fisso se il prodotto campionatore-peso induce il specifico obiettivo di Boltzmann. Identifica il rapporto di densità di Boltzmann normalizzato per prompt come l'unico peso per i dati campionati dal riferimento.
2. Scomposizione del Gap Finito: Separa il "prezzo del supporto" irriducibile (copertura mancante) dagli errori di stima finiti (varianza del normalizzatore, deriva dell'ottimizzazione). Questo chiarisce che i metodi statici non possono correggere i gap di copertura che la politica di riferimento non è riuscita a campionare.
3. Interpretazione Iterativa: Riformula il campionamento e la pesatura iterativi non semplicemente come "più ottimizzazione" ma come una forma di Descenso dello Specchio della Politica KL che migliora attivamente la copertura.
4. Efficienza Pratica: Dimostra che precomputare le quantità che definiscono l'obiettivo (pesi) consente una procedura SFT statica che corrisponde all'obiettivo teorico dell'RLVR online con un sovraccarico computazionale significativamente ridotto.

Gli autori rimangono modesti, notando che i loro risultati si basano su esperimenti con singola esecuzione e dimensioni specifiche dei modelli. Sottolineano che la teoria identifica quando la sostituzione statica è valida (regimi coperti) e perché fallisce (gap di supporto), piuttosto che rivendicare una superiorità universale su tutti i metodi online. Il lavoro funge da ponte teorico tra la geometria dell'RL regolarizzato con KL e l'implementazione pratica dell'apprendimento supervisionato statico e pesato.