Sintesi Tecnica: Oltre l'Entropia: Correzione del Vantaggio Consapevole della Correttezza tramite l'Ottimizzazione Contrastiva della Policy

Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR), in particolare metodi come il Group Relative Policy Optimization (GRPO), ha fatto avanzare le capacità di ragionamento in domini come la matematica e la programmazione. Tuttavia, gli approcci esistenti affrontano due limitazioni fondamentali:

1. Negligenza a Livello di Token: Le ricompense binarie di correttezza (corretto/errato) applicate a livello di traiettoria non riescono a distinguere i contributi distinti dei singoli token all'interno di una catena di ragionamento.
2. Inefficienza dello Zero-Advantage: Nei gruppi in cui tutte le risposte campionate sono errate (o tutte corrette), l'advantage a livello di traiettoria è zero, rendendo inutilizzabili enormi quantità di dati di addestramento per l'ottimizzazione della policy.

Recenti tentativi di affrontare questo problema hanno utilizzato l'entropia come segnale per la modellazione dell'advantage (advantage shaping) per incoraggiare l'esplorazione o raffinare l'importanza del token. Tuttavia, gli autori sostengono che l'entropia sia fondamentalmente disallineata con la correttezza. Un'alta entropia può indicare un'esplorazione produttiva di soluzioni alternative o una confusione dannosa causata da percorsi di ragionamento errati. Di conseguenza, i metodi basati sull'entropia portano spesso a scelte progettuali contraddittorie (ad esempio, premiare i token ad alta entropia in alcuni contesti e sopprimerli in altri) perché l'entropia quantifica l'incertezza senza valutare la qualità del ragionamento sottostante.

Metodologia: Ottimizzazione Contrastiva della Policy (CPO)

Il documento propone l'Ottimizzazione Contrastiva della Policy (CPO), un framework che sostituisce l'entropia con un segnale di disaccordo contrastivo a livello di token per la modellazione dell'advantage consapevole della correttezza.

Meccanismo Centrale

CPO sfrutta l'intuizione che la correttezza emerga dal confronto. Proprio come uno studente identifica gli errori confrontando il proprio lavoro con una risposta di riferimento, un LLM può identificare i token errati contrastando la sua distribuzione di generazione vanilla ($\pi$) con una distribuzione posteriore guidata dal riferimento ($\pi_{post}$).

1. Disaccordo Contrastivo ($\delta_t$):
   Il metodo definisce un segnale a livello di token come il rapporto logaritmico tra la probabilità di un token sotto un prompt guidato dal riferimento e la sua probabilità sotto il prompt vanilla:
   $$\delta_t(x, y) = \log \frac{\pi_{post}(y_t | x, y^\star, y_{<t})}{\pi(y_t | x, y_{<t})}$$
   Qui, $y^\star$ è una risposta di riferimento (oracle). Teoricamente, questo rapporto correla monotonicamente con la probabilità che un token specifico conduca a una conclusione corretta ($g(x, y_{<t}, y_t)$).

   • $\delta_t$ Positivo: Indica che il token si allinea con il riferimento ed è probabilmente corretto.
   • $\delta_t$ Negativo: Indica che il token contraddice il riferimento ed è probabilmente errato.

2. Modellazione dell'Advantage (Advantage Shaping):
   CPO integra questo segnale a livello di token nell'advantage a livello di traiettoria ($A_i$) derivato da GRPO. L'advantage modellato $\tilde{A}_{i,t}$ è calcolato come:
   $$\tilde{A}_{i,t} = A_i + \text{clip}(\alpha \cdot \delta_{i,t}, \text{bounds})$$

   • Clipping: Per garantire la stabilità, l'entità del segnale a livello di token viene limitata (clipping) in modo che non possa invertire la direzione dell'advantage a livello di traiettoria (ad esempio, una traiettoria corretta non può essere penalizzata da un singolo token di disaccordo).
   • Risoluzione dello Zero-Advantage: Per le traiettorie con advantage zero ($A_i = 0$), il segnale a livello di traiettoria non fornisce alcun gradiente. CPO utilizza $\delta_t$ per fornire segnali di apprendimento significativi anche in questi casi, consentendo l'ottimizzazione su dati precedentemente considerati inutili.

3. Unificazione Teorica:
   Gli autori dimostrano che l'On-Policy Distillation (OPD) è un caso speciale di CPO. In OPD, un modello insegnante esterno fornisce la distribuzione posteriore. CPO generalizza questo concetto permettendo alla distribuzione posteriore di essere istanziata da qualsiasi distribuzione più informata sulla correttezza rispetto alla policy attuale, inclusa l'auto-condizionamento sulle risposte di riferimento.

Contributi Chiave

1. Il Disaccordo Contrastivo come Segnale: Il documento introduce e valida (teoricamente ed empiricamente) che il disaccordo contrastivo è un segnale di correttezza a livello di token più affidabile rispetto all'entropia. Esso distingue tra esplorazione utile e confusione dannosa.
2. Fondamento Teorico per OPD: Il framework fornisce una base rigorosa per l'On-Policy Distillation, unificando diverse varianti (insegnanti esterni, auto-insegnanti guidati dal riferimento, policy guidate dal critic) sotto un unico obiettivo guidato dalla correttezza.
3. Framework CPO: Un metodo computazionalmente efficiente per la modellazione dell'advantage che risolve il problema dello zero-advantage nel RLVR, consentendo gradienti più informativi ed un'esplorazione efficace.
4. Validazione Empirica: Esperimenti estesi che dimostrano come CPO superi i metodi RLVR basati sull'entropia sia nei compiti di ragionamento matematico in-domain che nei compiti di generalizzazione out-of-domain.

Risultati Sperimentali

Gli esperimenti sono stati condotti su Qwen2.5-Math-7B e Qwen3-Base-4B utilizzando il dataset MATH per l'addestramento.

• Guadagni di Performance: CPO supera sostanzialmente GRPO e altri baseline basati sull'entropia (ad es., Entropy-Tokens, Entropy-Adv, RL-ZVP).
  • Su Qwen2.5-Math-7B, CPO ha migliorato la performance media del 7,7% rispetto a GRPO.
  • Su Qwen3-Base-4B, CPO ha migliorato la performance media dell'8,5% rispetto a GRPO.
• Generalizzazione: A differenza di molti baseline che soffrono di degradazione out-of-domain (OOD), CPO preserva o migliora le prestazioni OOD su benchmark come GPQA e MMLU-Pro.
• Studi di Ablazione:
  • Efficacia dei Dati: Lo studio ha rilevato che le risposte errate guidano principalmente i miglioramenti in-domain (exploitation), mentre le risposte corrette sono cruciali per mantenere la generalizzazione OOD (exploration). Un rapporto bilanciato di $\alpha_+ : \alpha_-$ (1:1) ha prodotto i risultati migliori.
  • Livello di Token vs Livello di Traiettoria: La modellazione a livello di token si è dimostrata superiore alla media del disaccordo a livello di traiettoria, poiché preserva meglio le variazioni cruciali nell'assegnazione del credito (credit assignment).
  • Analisi dell'Entropia: CPO mantiene un'entropia di addestramento più elevata e lunghezze di risposta maggiori rispetto a GRPO, indicando un'esplorazione sostenuta. L'analisi delle nuvole di parole mostra che CPO si concentra sui token critici per il compito (simboli matematici, costrutti di codice), mentre l'entropia si concentra sulla variabilità linguistica.

Significato e Rivendicazioni

Il documento sostiene che CPO rappresenti un passaggio dalle interazioni euristiche basate sull'entropia a una strategia di ottimizzazione consapevole della correttezza. Utilizzando il contrasto tra la distribuzione generata dal sé e quella guidata dal riferimento, CPO fornisce un segnale affidabile che allinea l'apprendimento della policy con il successo del compito.

Gli autori sottolineano che i ruoli distinti dei tipi di risposta sono critici: le risposte corrette permettono al modello di esplorare nuovi percorsi di soluzione (prevenendo l'overfitting), mentre le risposte errate permettono al modello di sfruttare e raffinare i percorsi più promettenti. Bilanciare questi attraverso il segnale di disaccordo contrastivo porta a prestazioni superiori senza sacrificare la generalizzazione. Inoltre, la capacità del framework di risolvere il problema dello zero-advantage suggerisce un uso più efficiente dei dati di addestramento nelle impostazioni RLVR.