Riepilogo Tecnico: POISE (Ottimizzazione della Politica con Stima del Valore dello Stato Interno)

Enunciato del Problema

L'apprendimento per rinforzo con ricompense verificabili (RLVR) è un motore centrale per il miglioramento dei Modelli di Ragionamento su Larga Scala (LRM) su compiti complessi come il ragionamento matematico. Tuttavia, un RLVR stabile ed efficiente dipende fortemente da una stima accurata della linea di base per ridurre la varianza dei gradienti della politica. Gli approcci esistenti comportano costi computazionali significativi:

• PPO (Proximal Policy Optimization): Richiede l'addestramento di un modello critico separato, su scala LLM, che elabora l'intera sequenza generata ad ogni aggiornamento, raddoppiando approssimativamente il consumo di memoria e la complessità di ottimizzazione.
• GRPO (Group Relative Policy Optimization): Evita un critico separato stimando le linee di base dalla ricompensa media di un gruppo di traiettorie campionate per prompt. Questo "scambia parametri con campioni", richiedendo multiple traiettorie per prompt per mantenere una linea di base stabile. Sotto un budget computazionale fisso, ciò riduce la diversità dei prompt in un batch, gonfiando la varianza del gradiente. Inoltre, una sostanziale potenza di calcolo viene sprecata su prompt "degeneri" dove tutte le traiettorie ricevono ricompense identiche (vantaggio zero).

La domanda centrale affrontata da questo lavoro è: È possibile estrarre una linea di base efficace dai calcoli già eseguiti durante l'addestramento della politica, eliminando la necessità di risorse aggiuntive?

Metodologia: POISE

Gli autori propongono POISE (Ottimizzazione della Politica con Stima del Valore dello Stato Interno), un metodo che sfrutta le rappresentazioni interne del modello di politica per stimare la funzione di valore $V^\pi(x)$ a costo trascurabile.

1. Stima del Valore dello Stato Interno

Invece di addestrare un critico separato, POISE addestra una sonda leggera per prevedere la ricompensa verificabile attesa direttamente dagli stati nascosti del modello di politica e dalle statistiche dei token raccolti durante il passaggio in avanti.

• Caratteristiche di Input: La sonda utilizza tre segnali complementari:
  1. Caratteristiche a livello di prompt: Stati nascosti dagli ultimi token del prompt, che catturano la rappresentazione del modello del prompt e la difficoltà anticipata.
  2. Caratteristiche a livello di traiettoria: Stati nascosti dalla fine della traiettoria di ragionamento, che espongono informazioni rilevanti per il valore non presenti nel solo prompt.
  3. Statistiche di entropia a livello di token: Caratteristiche di incertezza leggere.
• Obiettivo di Addestramento: La sonda è addestrata a prevedere il valore a livello di prompt $V^\pi(x)$. Per impedire che il target perda informazioni sulla specifica traiettoria in valutazione, gli autori utilizzano un target Monte Carlo leave-one-out. Per un prompt $x$ con $K$ traiettorie campionate, il target per la traiettoria $i$ è la ricompensa media delle altre $K-1$ traiettorie.

2. Costruzione Cross-Traiettoria per Imparzialità

Una sfida teorica critica è garantire che la linea di base rimanga condizionalmente indipendente dall'azione (la risposta campionata) per preservare l'imparzialità del gradiente della politica. Se la linea di base dipende dalla stessa traiettoria che valuta, introduce un bias.

• Soluzione: POISE impiega una costruzione cross-traiettoria. Per ogni prompt, vengono campionate due traiettorie indipendenti, $y^{(1)}$ e $y^{(2)}$.
  • La linea di base per $y^{(1)}$ è prevista utilizzando gli stati interni di $y^{(2)}$.
  • La linea di base per $y^{(2)}$ è prevista utilizzando gli stati interni di $y^{(1)}$.
• Questo garantisce che la linea di base utilizzata per aggiornare una specifica traiettoria sia derivata da un campione indipendente, soddisfacendo la condizione $E[b(x) \nabla \log \pi(y|x)] = 0$.

3. Integrazione nell'Ottimizzazione della Politica

POISE integra questo stimatore in un ciclo di ottimizzazione stile PPO:

• Addestramento Online: Lo stimatore del valore è addestrato congiuntamente alla politica su un buffer scorrevole di traiettorie recenti. Poiché le caratteristiche sono estratte dal passaggio in avanti già richiesto per gli aggiornamenti della politica, il sovraccarico computazionale è trascurabile.
• Calcolo dell'Avvantaggio: Gli avvantaggi sono calcolati come $A^{(i)}(x) = R(x, y^{(i)}) - b^{(i)}(x)$, dove $b^{(i)}(x)$ è la linea di base cross-traiettoria.
• Efficienza: A differenza di GRPO, che richiede un grande gruppo (ad esempio, 8 traiettorie) per stimare una linea di base, POISE richiede solo una coppia di traiettorie. Ciò consente di allocare il budget computazionale fisso a un numero maggiore di prompt distinti per batch, riducendo teoricamente la varianza del gradiente.

Contributi Chiave

1. Stima Innovativa della Linea di Base: Introduce un metodo per derivare linee di base dagli stati interni del modello di politica, eliminando la necessità di un critico su scala LLM separato o di grandi gruppi di traiettorie.
2. Imparzialità Teorica: Propone un'architettura cross-traiettoria che garantisce l'indipendenza condizionale richiesta per gradienti della politica imparziali, pur utilizzando caratteristiche condizionate alla traiettoria.
3. Efficienza Computazionale: Dimostra che una sonda leggera (regressione lineare) può raggiungere prestazioni di stima del valore paragonabili o superiori a un critico separato, richiedendo al contempo significativamente meno potenza di calcolo.
4. Generalizzabilità: Mostra che i segnali dello stato interno si generalizzano attraverso diversi domini (matematica, codifica, chiamata di strumenti, seguito delle istruzioni) e scale di modello.

Risultati Sperimentali

Il metodo è stato valutato su Qwen3-4B e DeepSeek-R1-Distill-Qwen-1.5B attraverso benchmark di ragionamento matematico di livello olimpico (AMC, AIME, HMMT, BRUMO).

• Prestazioni: POISE raggiunge prestazioni paragonabili a DAPO (un algoritmo basato su GRPO all'avanguardia).
  • Su Qwen3-4B, POISE ha ottenuto un punteggio medio Avg@32 di 0.500, avvicinandosi a 0.508 di DAPO, superandolo su benchmark specifici come AMC23 e HMMT25.
  • Su DeepSeek-R1-Distill-Qwen-1.5B, POISE ha migliorato il punteggio medio a 0.303 rispetto a 0.296 di DAPO.
• Efficienza di Addestramento: POISE richiede significativamente meno tempo reale. Su DeepSeek-R1-Distill-Qwen-1.5B, raggiungere prestazioni comparabili ha richiesto 18 ore con POISE contro 24 ore con DAPO su una singola GPU B200. Su Qwen3-4B, il tempo è stato di 36 ore contro 49 ore.
• Stabilità: Le norme dei gradienti in POISE sono state costantemente inferiori rispetto a DAPO, indicando una varianza del gradiente ridotta e un'ottimizzazione più stabile.
• Qualità della Stima del Valore: La sonda dello stato interno ha raggiunto una correlazione di Pearson di 0.870 con le ricompense empiriche, superando un critico su scala LLM addestrato separatamente (0.676) sullo stesso compito.
• Generalizzazione: Lo stimatore ha mantenuto alte prestazioni su compiti di codifica, chiamata di strumenti e seguito delle istruzioni, superando spesso i critici separati in questi domini.

Significato e Affermazioni

Il documento afferma che POISE fornisce un percorso efficiente dal punto di vista computazionale verso un RLVR stabile e scalabile per i modelli di ragionamento su larga scala. Sfruttando le proprie rappresentazioni interne del modello, il metodo:

• Elimina il sovraccarico di memoria e calcolo derivante dall'addestramento di un modello critico separato.
• Rimuove l'inefficienza di campionamento delle linee di base relative al gruppo (GRPO), consentendo una maggiore diversità dei prompt entro un budget fisso.
• Evita lo spreco di potenza di calcolo su prompt degeneri che producono vantaggio zero.
• Dimostra che gli stati interni, precedentemente utilizzati principalmente come strumenti diagnostici, possono servire come segnali di ottimizzazione pratici e ad alta fedeltà per l'apprendimento per rinforzo.

Gli autori concludono che POISE consente un'ottimizzazione della politica più stabile ed efficiente senza la necessità di linee di base relative al gruppo o modelli di valore ausiliari, rendendolo un'alternativa praticabile per l'addestramento di modelli di ragionamento su larga scala in condizioni di vincoli di risorse.