Riepilogo Tecnico: CEPO – Auto-distillazione RLVR mediante Ottimizzazione della Politica basata su Evidenza Contrastiva

1. Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato il paradigma dominante per l'addestramento post-training di modelli linguistici di grandi dimensioni (LLM) su compiti di ragionamento. L'approccio standard, Group Relative Policy Optimization (GRPO), semplifica l'addestramento eliminando le reti di valore e normalizzando le ricompense all'interno di gruppi di risposte campionate. Tuttavia, GRPO soffre di un fondamentale collo di bottiglia nell'assegnazione del credito: assegna un vantaggio uniforme a livello di sequenza a ogni token in una traiettoria corretta e un segnale negativo uniforme a ogni token in una traiettoria errata.

Questa uniformità è inefficiente per il ragionamento matematico, dove un singolo passo inferenziale decisivo o un errore aritmetico minore determinano l'esito, mentre la maggior parte dei token sono riempitivi grammaticali o boilerplate. L'assegnazione uniforme del credito spreca il segnale del gradiente sui token riempitivi e non riesce a distinguere i passi di ragionamento decisivi dai contenuti non informativi, portando a una convergenza lenta e a aggiornamenti rumorosi.

I tentativi precedenti di risolvere questo problema tramite auto-distillazione on-policy (condizionando il modello sulla risposta corretta come insegnante) hanno affrontato due questioni critiche:

1. Fuga di Informazioni: Metodi come OPSD e SDPO minimizzano la divergenza per-token tra lo studente e un insegnante privilegiato. Teoricamente, ciò introduce una somma su tutto il vocabolario di pesi condizionati da $r$ nel gradiente. Man mano che l'addestramento procede, questa "deviazione dannosa" domina il segnale benigno, causando al modello di codificare correlazioni spurie tra l'input e la risposta ($x \to r^+$), degradando la generalizzazione.
2. Qualità del Segnale Debole: Il recente metodo RLSD ha risolto la fuga utilizzando un stop-gradient sul rapporto di evidenza $P^+_T(y_t)/P_S(y_t)$ per modulare il vantaggio GRPO. Tuttavia, RLSD presenta tre limitazioni del segnale:
   • Confondimento di Fluidità: Il denominatore $P_S(y_t)$ riflette la fluidità di base, sopprimendo il rapporto per token comuni indipendentemente dalla loro rilevanza semantica.
   • Segnale Negativo Asimmetrico: Per le traiettorie errate, la penalità è indiretta e manca di un ancoraggio esplicito a ciò che la risposta errata prevede.
   • Evidenza Unilaterale: RLSD non riesce a distinguere un token riempitivo (supportato equamente da risposte corrette e errate) da un passo di ragionamento decisivo (supportato dalla risposta corretta ma sfavorito da quella errata), poiché entrambi producono lo stesso rapporto.

2. Metodologia: Ottimizzazione della Politica basata su Evidenza Contrastiva (CEPO)

Gli autori propongono CEPO, che sostituisce il rapporto di evidenza a riferimento singolo con un rapporto contrastivo tra un insegnante a risposta corretta e un insegnante a risposta errata.

Meccanismo Principale

Invece di confrontare la prior dello studente $P_S$ con l'insegnante corretto $P^+_T$, CEPO confronta l'insegnante corretto $P^+_T$ con un insegnante errato $P^-_T$. L'insegnante errato è costruito condizionando il modello su una risposta rifiutata ($r^-$) estratta dallo stesso batch di addestramento (specificamente, la rollout rifiutata con la ricompensa più bassa), senza incorrere in alcun costo di campionamento aggiuntivo.

Il Delta di Evidenza Contrastiva è definito come:
$$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$$
Dove $\text{sg}(\cdot)$ è l'operatore stop-gradient.

Interpretazione Bayesiana

Gli autori derivano un'interpretazione bayesiana pulita per $\Delta^{CE}_t$ come aggiornamento differenziale della credenza. Misura quanto un token $y_t$ rafforza simultaneamente la credenza a posteriori nella risposta corretta $r^+$ indebolendo al contempo la credenza nella risposta errata $r^-$.

• Passi Decisivi: Ricevono un $\Delta^{CE}_t$ positivo elevato (fortemente favoriti da $r^+$, sfavoriti da $r^-$).
• Token Riempitivi: Ricevono $\Delta^{CE}_t \approx 0$ (supportati equamente sia da $r^+$ che da $r^-$).

Obiettivo di Addestramento

Il vantaggio a livello di token è modulato da questo peso contrastivo:
$$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$$
dove $w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$. La politica viene aggiornata utilizzando un obiettivo surrogato standard PPO-clipped. Il parametro $\lambda$ decade linearmente da un valore iniziale a 0 durante un periodo di warmup.

3. Contributi Chiave e Garanzie Teoriche

Il documento stabilisce che CEPO eredita la sicurezza strutturale di RLSD generalizzando rigorosamente la qualità del suo segnale:

1. Sicurezza Strutturale: CEPO soddisfa l'Ancoraggio Direzionale (le informazioni privilegiate non possono invertire il segno dell'aggiornamento) e Gradienti Senza Fuga (nessuna somma su tutto il vocabolario condizionata da $r$). L'insegnante a risposta errata $r^-$ entra solo come uno scalare con stop-gradient.
2. Contenimento RLSD: Se l'insegnante a risposta errata non trasporta informazioni ($P^-_T = P_S$), CEPO si riduce esattamente a RLSD. Pertanto, RLSD è un caso degenere di CEPO.
3. Nitidezza Discriminativa: Gli autori dimostrano che CEPO assegna un credito strettamente più nitido rispetto a RLSD a un token $y_t$ se e solo se l'insegnante a risposta errata sfavorisce quel token rispetto alla prior dello studente ($P^-_T(y_t) < P_S(y_t)$). Questa condizione si concentra empiricamente su posizioni decisive dal punto di vista aritmetico e inferenziale, mentre i token riempitivi ricevono pesi neutri ($w^{CE}_t \approx 1$), evitando l'introduzione di segnali spurii.

4. Risultati Sperimentali

Gli autori hanno valutato CEPO su modelli Qwen3-VL (2B e 4B parametri) addestrati sul dataset di geometria Geo3k e testati su cinque benchmark di ragionamento matematico multimodale: DynaMath, LogicVista, MathVisionmini, MMMU e WeMath.

• Miglioramenti delle Prestazioni:
  • Scala 2B: CEPO ha raggiunto una precisione media del 43,43%, superando GRPO (41,17%) di +2,26 punti percentuali.
  • Scala 4B: CEPO ha raggiunto il 60,56%, superando GRPO (57,43%) di +3,13 punti percentuali.
  • I guadagni sono stati più significativi sui benchmark che richiedono ragionamento multi-passaggio fine-granulare (es. LogicVista, MathVisionmini) e minimi sui benchmark di recupero di conoscenze (MMMU).
• Fallimento delle Baseline:
  • OPSD e SDPO hanno degradato al di sotto della baseline non addestrata (es. 34,96% vs 39,73% per 2B), confermando empiricamente la previsione teorica di fuga di informazioni.
  • RLSD ha mostrato un miglioramento marginale rispetto a GRPO ma è stato superato da CEPO.
• Efficienza: CEPO aggiunge solo un passaggio forward dell'insegnante aggiuntivo per traiettoria rispetto a GRPO (sovraccarico simile a RLSD), senza costi di campionamento aggiuntivi.

5. Significato e Affermazioni

Il documento afferma che CEPO offre una soluzione principiata e pratica al problema dell'assegnazione del credito in RLVR. La sua importanza risiede in:

• Risoluzione del Trade-off: Raggiunge il "meglio di entrambi i mondi": la sicurezza strutturale necessaria per prevenire la fuga di informazioni (un prerequisito per un addestramento stabile) e la qualità del segnale necessaria per distinguere i passi di ragionamento decisivi dai riempitivi.
• Validazione Empirica della Teoria: Il collasso dei metodi soggetti a fuga (OPSD/SDPO) al di sotto della baseline serve come conferma empirica dell'analisi teorica della fuga, mentre il successo di CEPO valida l'approccio contrastivo.
• Interpretabilità: L'analisi dei pesi dei token mostra che CEPO localizza con successo il credito su derivazioni algebriche critiche e sopprime la prosa fluida ma non informativa, un comportamento non osservato in RLSD.

Gli autori concludono che CEPO fornisce un blocco costruttivo robusto per la prossima generazione di addestramenti RLVR consapevoli del credito, con lavori futuri suggeriti per estendere il metodo a modelli più grandi, ragionamento solo testuale e generazione di codice.