Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity

1. Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) ha migliorato significativamente l'accuratezza su singolo tentativo (Pass@1) dei Modelli Linguistici di Grande Dimensione (LLM) su compiti di ragionamento come la matematica. Tuttavia, è stato identificato un effetto collaterale critico: il Collasso della Diversità.

• Il Fenomeno: Sebbene l'RLVR aumenti la probabilità di generare una risposta corretta, spesso riduce drasticamente il Pass@K (la probabilità che almeno una delle $K$ risposte campionate sia corretta). Ciò indica che lo spazio delle soluzioni del modello si contrae, concentrando la massa di probabilità su un sottoinsieme ristretto di soluzioni corrette mentre sopprime altri percorsi di ragionamento validi.
• La Causa Radice: Gli autori identificano una limitazione strutturale negli obiettivi RLVR standard (come GRPO - Group Relative Policy Optimization). Questi obiettivi sono indifferenti a come la massa di probabilità è distribuita tra le soluzioni corrette.
  • Matematicamente, qualsiasi politica che colloca il 100% della sua massa sull'insieme delle uscite corrette $Y^+$ ottiene la stessa ricompensa massima, indipendentemente dal fatto che tale massa sia concentrata su una singola soluzione (collassata) o distribuita uniformemente su tutte le soluzioni valide (diversa).
  • Combinata con le dinamiche di campionamento on-policy, questa indifferenza crea un ciclo di feedback auto-rinforzante: le soluzioni campionate leggermente più spesso ricevono aggiornamenti del gradiente più grandi, aumentando ulteriormente la loro probabilità e frequenza di campionamento, portando a un collasso di modalità irreversibile.

2. Metodologia

A. Analisi Teorica

Gli autori formalizzano il meccanismo di collasso e definiscono la struttura della politica ottimale:

1. Meccanismo di Collasso: Dimostrano che sotto GRPO, il pregiudizio nel campionamento porta a conteggi di campioni disuguali. Gli aggiornamenti del gradiente scalano con questi conteggi, amplificando la probabilità delle soluzioni dominanti e sopprimendo quelle di minoranza. Una volta che una soluzione scende sotto una soglia di campionamento ($\pi(y) \ll 1/K$), non riceve alcun segnale di gradiente e non può recuperare.
2. Definizione della Politica Ottimale: Gli autori propongono che la politica ottimale debba essere la Politica Uniforme-Corretta (UCP). Questa politica soddisfa due criteri:
   • Robustezza: Massimizza la massa di probabilità conservata nel caso peggiore se un sottoinsieme di soluzioni corrette viene disabilitato (ad esempio, a causa di uno spostamento della distribuzione).
   • Ottimalità con Regularizzazione dell'Entropia: Massimizza in modo unico l'obiettivo di bilanciare correttezza e diversità (entropia) all'interno dell'insieme corretto.
   • Definizione: La UCP colloca probabilità zero sulle uscite errate e distribuisce la probabilità uniformemente su tutte le soluzioni corrette ($\pi(y|x) = 1/|Y^+|$ per $y \in Y^+$).

B. Soluzione Proposta: Uniform-Correct Policy Optimization (UCPO)

Per ottenere la Politica Uniforme-Corretta, gli autori propongono UCPO, una modifica all'obiettivo GRPO.

• Funzione Obiettivo: UCPO potenzia la massimizzazione standard della correttezza con una penalità di uniformità condizionale.
  $$\mathcal{L}_{UCPO} = \underbrace{\log Z_\theta(x)}_{\text{Massa di Correttezza}} - \tau \underbrace{KL(u(\cdot|x) \parallel q_\theta(\cdot|x))}_{\text{Penalità di Uniformità}}$$

  • $Z_\theta(x)$: Massa di probabilità totale sulle uscite corrette.
  • $q_\theta(\cdot|x)$: La distribuzione condizionale della politica sulle uscite corrette.
  • $u(\cdot|x)$: La distribuzione uniforme sull'insieme delle uscite corrette.
  • $\tau$: Un iperparametro che controlla la forza della penalità di uniformità.

• Meccanismo del Gradiente:

  • Il GRPO standard pesa i gradienti in base alla frequenza di campionamento corrente (favorendo le modalità dominanti).
  • UCPO ripesca il segnale del gradiente per contrastare questo pregiudizio. Interpola tra la distribuzione condizionale corrente e l'obiettivo uniforme.
  • Pesi Inversi: Lo stimatore del gradiente assegna pesi più alti alle soluzioni corrette sottorappresentate (quelle con bassa probabilità corrente) e pesi più bassi a quelle dominanti. Ciò ridistribuisce efficacemente il "budget di vantaggio" per amplificare le risposte corrette di minoranza senza sacrificare la massa totale di correttezza.

3. Contributi Chiave

1. Identificazione dell'Indifferenza: Il paper dimostra formalmente che gli obiettivi RLVR standard sono indifferenti alla diversità intra-insieme-corretto, permettendo alle dinamiche stocastiche di addestramento di guidare un collasso di modalità irreversibile.
2. Caratterizzazione Teorica: Stabilisce la Politica Uniforme-Corretta come l'unica soluzione ottimale sia sotto criteri di robustezza che di regolarizzazione dell'entropia.
3. Progettazione dell'Algoritmo (UCPO): Deriva UCPO, una modifica semplice ma efficace a GRPO che impone la Politica Uniforme-Corretta come suo unico ottimo.
4. Ridistribuzione del Gradiente: Introduce un meccanismo per ridistribuire i segnali di gradiente verso le risposte corrette sottorappresentate, rompendo il ciclo di collasso auto-rinforzante.

4. Risultati Sperimentali

Gli autori hanno valutato UCPO su tre modelli (1.5B, 7B parametri) e cinque benchmark di ragionamento matematico (AIME24/25, AMC, MATH, OlympiadBench).

• Miglioramento Pass@K: UCPO migliora costantemente il Pass@K (in particolare Pass@64) mantenendo un Pass@1 competitivo.
  • AIME24 (modello 7B): Ha ottenuto un miglioramento assoluto del +10% nel Pass@64 rispetto al GRPO standard.
  • Miglioramento Medio: Su tutti i modelli, UCPO ha migliorato il Pass@64 medio di +3.5 a +4.8 punti rispetto a GRPO.
• Metriche di Diversità:
  • UCPO ha raggiunto fino al 45% in più di diversità a livello di equazione all'interno dell'insieme corretto rispetto a GRPO.
  • A differenza della regolarizzazione globale dell'entropia (che spesso distribuisce la massa su risposte errate), UCPO mantiene un'alta massa di correttezza ($Z_\theta \approx 1$) mentre diversifica l'insieme corretto.
• Confronto con i Baseline: UCPO ha superato altri metodi di conservazione della diversità come la Regularizzazione dell'Entropia (Ent-Reg), il controllo della Covarianza KL e Focal GRPO. La regolarizzazione globale dell'entropia si è rivelata fragile e spesso ha degradato il Pass@1 o non ha migliorato la diversità all'interno dell'insieme corretto.
• Efficienza: UCPO introduce un sovraccarico computazionale trascurabile (solo ripesatura scalare dei vantaggi) e non richiede rollout aggiuntivi o modelli di riferimento.

5. Significato

Questo lavoro affronta un difetto fondamentale negli attuali paradigmi di addestramento RLVR per i modelli di ragionamento. Spostando il focus dal semplice "trovare una risposta corretta" al "mantenere una distribuzione diversificata di tutte le risposte corrette", UCPO:

• Previene la Contrazione dello Spazio delle Soluzioni: Assicura che i modelli non "dimentichino" percorsi di ragionamento validi durante il fine-tuning.
• Migliora la Robustezza: Una politica che copre molteplici soluzioni corrette è più robusta agli spostamenti della distribuzione o al rumore del verificatore.
• Fornisce un Obiettivo Principale: Va oltre i bonus euristici dell'entropia verso un obiettivo teoricamente fondato che mira esplicitamente alla struttura della politica ottimale.

In sintesi, UCPO offre una soluzione scalabile e teoricamente solida al problema del collasso della diversità nell'RLVR, permettendo agli LLM di ottenere una maggiore copertura multi-campione senza sacrificare l'accuratezza su singolo tentativo.