Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

Sintesi Tecnica: L'Apprendimento Off-Policy per il Ragionamento Funziona Perché È Più Pessimista di Quanto Si Pensi

Enunciato del Problema

L'apprendimento per rinforzo (RL) è diventato uno strumento centrale per potenziare le capacità di ragionamento dei Modelli Linguistici di Grande Dimensione (LLM) in compiti come matematica, programmazione e risoluzione di problemi multi-step. Tuttavia, alla scala richiesta dai moderni LLM, la pipeline di addestramento è intrinsecamente off-policy. A causa dell'alto costo nella generazione dei rollouts, i dati di addestramento sono spesso prodotti da worker di inferenza in ritardo o da checkpoint di modelli più vecchi, anziché dalla politica attualmente in fase di ottimizzazione.

I metodi esistenti, come PPO e GRPO, tentano di gestire questo disallineamento trattando l'addestramento come approssimativamente on-policy, utilizzando pesi di importanza, clipping o filtraggio per correggere gli spostamenti di distribuzione. Sebbene efficaci in contesti quasi on-policy, queste correzioni introducono un'alta varianza e possono destabilizzare l'ottimizzazione quando il ritardo della politica è significativo. Al contrario, gli approcci recenti privi di rapporto (ad esempio, $A^\star$-PO, OAPL) rimuovono i pesi di importanza e addestrano direttamente sui dati della politica comportamentale. Sebbene questi metodi mostrino successo empirico, le loro fondamenta teoriche non sono pienamente comprese. Nello specifico, le derivazioni nominali di questi obiettivi suggeriscono una distribuzione target che differisce da ciò che le implementazioni pratiche (che spesso disaccoppiano le temperature per il calcolo del vantaggio e la regolarizzazione) effettivamente realizzano. Il lavoro cerca di spiegare perché questi metodi privi di rapporto funzionano e come stabilizzarli ulteriormente.

Metodologia e Analisi Teorica

Gli autori analizzano una classe di obiettivi off-policy privi di rapporto che regrediscono il log-rapporto della politica appresa verso un vantaggio target, senza utilizzare pesi di importanza. Si concentrano su obiettivi della forma:
$$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$$
dove $\hat{A}_i$ è un vantaggio relativo al gruppo e $\beta$ è un parametro di regolarizzazione.

Insight Teorico Chiave: Target Temprati di Lambert
Analizzando il punto stazionario di questo obiettivo, gli autori derivano che la politica target indotta non è la distribuzione esponenziale standard (regolarizzata KL), ma piuttosto una politica temprata di Lambert:
$$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$$
dove $W_0$ è il ramo principale della funzione W di Lambert, e $\tau_s$ è un moltiplicatore di normalizzazione determinato dalla baseline del vantaggio.

Il comportamento della politica target dipende criticamente dal segno e dalla grandezza di $\tau_s$, che è controllato da come il vantaggio è normalizzato:

1. Regime Pessimista ($\tau_s > 0$): Il target è più conservativo dell'aggiornamento esponenziale. La funzione di Lambert cresce logaritmicamente per vantaggi elevati, impedendo alla politica di impegnarsi eccessivamente in modo esponenziale su pochi campioni ad alto reward. Questo mitiga il collasso dell'entropia.
2. Confine Esponenziale ($\tau_s = 0$): Il target recupera l'inclinazione esponenziale standard. Questo regime è fragile; piccoli errori nella baseline del vantaggio possono spostare l'obiettivo verso regimi instabili.
3. Regime Instabile ($\tau_s < 0$): Il target diventa più aggressivo dell'aggiornamento esponenziale, amplificando le risposte ad alto vantaggio e aumentando la suscettibilità al collasso dell'entropia.

Analisi dei Metodi Esistenti (OAPL/$A^\star$-PO)
Il lavoro dimostra che lo stimatore di vantaggio nominale utilizzato in OAPL (vantaggio centrato log-sum-exp) induce un target nel regime instabile ($\tau_s \le 0$) a livello di popolazione a causa del bias dell'ineguaglianza di Jensen nelle dimensioni finite dei gruppi. La stabilità empirica osservata nelle implementazioni di OAPL è attribuita a una "disaccoppiamento euristico della temperatura" (utilizzo di una temperatura più elevata per il calcolo del vantaggio rispetto alla regolarizzazione), che sposta implicitamente il vantaggio verso un regime più conservativo.

Modifica Proposta
Per raggiungere la stabilità senza affidarsi al disaccoppiamento euristico della temperatura, gli autori propongono un vantaggio medio spostato di $\beta$:
$$\hat{A}_i = r_i - \bar{r} + \beta$$
Questo semplice spostamento garantisce che il moltiplicatore di Lambert indotto soddisfi $\tau_s \ge 1$, assicurando che la politica target rimanga nel regime pessimista di Lambert per costruzione.

Contributi Chiave

1. Caratterizzazione degli Obiettivi Privi di Rapporto: Gli autori dimostrano che gli obiettivi off-policy privi di rapporto inducono politiche target temprate di Lambert, dove il grado di conservatorismo è controllato dalla normalizzazione del vantaggio.
2. Spiegazione dei Meccanismi di Stabilità: Spiegano che il successo di metodi come OAPL si basa sul pessimismo implicito indotto dalle scelte di implementazione pratica (disaccoppiamento della temperatura), mentre le loro derivazioni teoriche nominali suggeriscono effettivamente target instabili.
3. Stabilizzazione Principale: Propongono un vantaggio medio spostato di $\beta$ che garantisce che il target risieda nel regime di Lambert stabile e pessimista, eliminando la necessità di un disaccoppiamento della temperatura pesante in termini di iperparametri.

Risultati Sperimentali

Gli autori hanno valutato il loro metodo contro OAPL utilizzando il modello Qwen3-8B sul dataset DeepScaleR, con valutazione su benchmark matematici (Minerva, AIME2025, AMC23, BRUMO).

• Sensibilità alla Regolarizzazione ($\beta$): Sotto piccole intensità di regolarizzazione (piccolo $\beta$), OAPL ha mostrato un rapido collasso dell'entropia e reward degradati, mentre il metodo Lambert proposto è rimasto stabile e ha continuato a migliorare.
• Robustezza al Ritardo della Politica: Man mano che il ritardo della politica (rollouts obsoleti) aumentava (da 32 a 256 step), OAPL diventava altamente sensibile, mostrando sia collasso dell'entropia che crescita instabile dell'entropia. Il metodo Lambert ha mantenuto un'entropia più elevata e ha convergito verso reward più alti in tutte le impostazioni di ritardo.
• Conclusione: La modifica proposta migliora la robustezza sia alla regolarizzazione aggressiva che ai grandi ritardi della politica, validando l'ipotesi che indirizzare il regime pessimista di Lambert stabilizzi l'apprendimento off-policy.

Significato e Affermazioni

Il lavoro afferma che l'efficacia dell'apprendimento off-policy nel ragionamento degli LLM non è dovuta semplicemente all'ignorare il disallineamento della distribuzione, ma perché specifiche normalizzazioni del vantaggio inducono una forma di pessimismo implicito. Questo pessimismo impedisce alla politica di sovr-ottimizzarsi su campioni obsoleti ad alto reward, il che è cruciale quando i rollouts sono generati da politiche più vecchie.

Gli autori posizionano il loro lavoro come una comprensione principale del perché certe scelte di implementazione negli algoritmi off-policy recenti funzionano, andando oltre le euristiche "trust-region" verso un framework basato su target temprati di Lambert. Sostengono che indirizzare esplicitamente il regime pessimista tramite un vantaggio a media spostata offre un'alternativa più stabile e affidabile ai metodi esistenti, in particolare nel contesto impegnativo dell'addestramento asincrono di LLM su larga scala. Il lavoro conclude suggerendo che le varianti a livello di token di questa teoria rappresentano una direzione promettente per rendere gli algoritmi di ragionamento off-policy più principali.