Riepilogo Tecnico: Oltre il Collasso delle Modalità: Adattamento della Distribuzione per il Ragionamento Diversificato

1. Enunciato del Problema

Il documento identifica il collasso delle modalità come una limitazione fondamentale nei metodi di apprendimento per rinforzo (RL) on-policy, in particolare quelli utilizzati per l'addestramento di Modelli di Ragionamento di Grande Calibro (LRM) tramite Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). Sebbene metodi come l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) abbiano ottenuto successi nella risoluzione di problemi matematici e nella generazione di codice, mostrano una tendenza a concentrare la massa di probabilità su una singola traiettoria ad alta ricompensa una volta scoperta. Questo comportamento sopprime le strategie di soluzione alternative, blocca l'esplorazione e porta a un ragionamento fragile che non generalizza.

Gli autori sostengono che questo fenomeno non è meramente un artefatto di implementazione, ma una conseguenza diretta dell'obiettivo di ottimizzazione: l'RL on-policy standard minimizza implicitamente la divergenza di Kullback-Leibler (KL) inversa ($D_{KL}(\pi_\theta \| p^*)$). La KL inversa è intrinsecamente "ricercatrice di modalità", amplificando la prima traiettoria di successo incontrata piuttosto che mantenere una distribuzione su molteplici soluzioni ad alta ricompensa e diversificate. Al contrario, la divergenza di KL diretta ($D_{KL}(p^* \| \pi_\theta)$) esibisce un comportamento "coprente delle modalità", incoraggiando la politica a corrispondere al pieno supporto della distribuzione target, ma è tipicamente intrattabile perché richiede il campionamento dalla distribuzione globale pesata sulla ricompensa.

2. Metodologia: DMPO

Per affrontare il collasso delle modalità senza richiedere un campionamento globale intrattabile, gli autori propongono l'Ottimizzazione della Politica di Adattamento della Distribuzione (DMPO).

Insight Fondamentale

Il DMPO approssima la minimizzazione della KL diretta a livello di gruppo piuttosto che globalmente. Invece di campionare da una distribuzione target globale, l'algoritmo costruisce una distribuzione target su un gruppo specifico di traiettorie campionate per un dato prompt.

Formulazione Algoritmica

1. Distribuzione Target a Livello di Gruppo: Per un gruppo di $G$ traiettorie $\mathcal{O} = \{o_1, \dots, o_G\}$ campionate dalla politica corrente $\pi_{\theta_{old}}$, viene costruita una distribuzione target $p(o_i | \mathcal{O})$ proporzionale all'esponenziale delle loro ricompense (una distribuzione di Boltzmann):
   $$p(o_i | \mathcal{O}) = \frac{\exp(r(o_i)/\alpha)}{\sum_{j=1}^G \exp(r(o_j)/\alpha)}$$
   Questo è computazionalmente trattabile poiché richiede solo la funzione di partizione a livello di gruppo.

2. Distribuzione della Politica a Livello di Gruppo: Per allineare la politica a questo target, il metodo definisce una distribuzione di politica $q_\theta(o_i | \mathcal{O})$ basata su log-verosimiglianze normalizzate per la lunghezza per tenere conto del bias legato alla lunghezza della traiettoria:
   $$q_\theta(o_i | \mathcal{O}) = \frac{\exp(\varphi(o_i))}{\sum_{j=1}^G \exp(\varphi(o_j))}$$
   dove $\varphi(o_i)$ è la log-probabilità media per token.

3. Funzione di Perdita di Adattamento della Distribuzione: La politica viene allineata al target minimizzando la divergenza tra $q_\theta$ e $p$. Gli autori utilizzano l'Errore Quadratico Medio (MSE) invece della divergenza KL per la stabilità numerica, prevenendo l'esplosione del gradiente quando la probabilità della politica si avvicina a zero:
   $$\mathcal{L}_{DM}(\theta) = \frac{1}{G} \sum_{i=1}^G (p(o_i | \mathcal{O}) - q_\theta(o_i | \mathcal{O}))^2$$

4. Obiettivo Unificato: L'obiettivo finale combina il termine standard di massimizzazione della ricompensa GRPO con la regolarizzazione di adattamento della distribuzione:
   $$\mathcal{L}_{DMPO}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda \mathcal{L}_{DM}(\theta)$$
   Qui, $\mathcal{L}_{GRPO}$ guida lo sfruttamento (massimizzazione della ricompensa), mentre $\mathcal{L}_{DM}$ impone l'esplorazione prevenendo il collasso della politica su una singola modalità all'interno della regione ad alta ricompensa.

3. Contributi Chiave

A. Algoritmo DMPO

Il documento presenta il DMPO come una soluzione principiale e pratica al collasso delle modalità. Approssimando la KL diretta a livello di gruppo, ottiene un comportamento coprente delle modalità senza richiedere una funzione di partizione appresa o un campionamento globale. Il metodo è compatibile con i framework GRPO esistenti, richiedendo solo l'aggiunta di un singolo termine di regolarizzazione.

B. MM-NP-Bench

Gli autori introducono il MM-NP-Bench, un benchmark multimodale progettato per valutare rigorosamente l'esplorazione nei modelli di ragionamento.

• Ambito: Estende il NP-Bench basato su testo per includere rappresentazioni visive di 10 compiti di ottimizzazione combinatoria NP-difficili (ad es. TSP, Colorazione dei Grafi, Copertura dei Vertici).
• Valutazione a Doppia Metrica: Per rendere osservabile il collasso delle modalità, il benchmark utilizza due metriche:
  • Tasso di Successo (SR): Misura la soddisfazione dei vincoli (fattibilità).
  • Rapporto di Qualità (QR): Misura la qualità dell'ottimizzazione rispetto a una baseline euristica.
  • Significato: Il collasso delle modalità si manifesta come un alto SR ma un basso QR (trovare soluzioni valide ma subottimali).
• Infrastruttura: Include generatori parametrici, verificatori basati su regole e risolutori euristici per fornire baseline quasi ottimali.

C. Validazione Empirica

Il documento fornisce estese sperimentazioni che dimostrano come il DMPO superi basi solide (GRPO, GSPO, GPG, FlowRL, ecc.) in molteplici domini.

4. Risultati

Prestazioni nei Compiti di Ottimizzazione

• MM-NP-Bench (Multimodale): Il DMPO ha raggiunto un Rapporto di Qualità del 43,1%, un miglioramento relativo del 12% rispetto al GRPO (38,4%). Ha anche raggiunto il Tasso di Successo più alto (61,9% contro il 55,7%).
• NP-Bench (Solo testo): Il DMPO ha raggiunto un Rapporto di Qualità del 43,9%, un miglioramento relativo del 9% rispetto al GRPO (40,1%).
• Ablazione: Il metodo ha mostrato robustezza rispetto alle scelte degli iperparametri ($\lambda \in [0,3, 0,7]$ e $\alpha \in [0,8, 1,2]$).

Generalizzazione e Trasferimento

• Ragionamento Matematico: L'addestramento su compiti di ottimizzazione con DMPO ha migliorato le prestazioni sui benchmark di ragionamento matematico (AIME, AMC, ecc.) del 2,0% rispetto al GRPO.
• Compiti Fuori Distribuzione: Il DMPO ha dimostrato un miglioramento del 2,3% sui benchmark di ragionamento visivo fuori distribuzione (LogicVista, MathVista, ecc.), suggerendo che l'addestramento che preserva la diversità migliora le capacità di ragionamento generale.

Dinamiche di Addestramento

L'analisi dei log di addestramento ha rivelato che mentre il GRPO soffre di "collasso della lunghezza" (degenerazione in risposte brevi e banali) e plateau prematuri della ricompensa, il DMPO sostiene un miglioramento continuo e preserva catene di ragionamento robuste (~400 token). Il DMPO mantiene un'entropia inferiore rispetto al GRPO, indicando una "diversità strutturata" (esecuzione sicura di diverse strategie logiche) piuttosto che confusione stocastica.

5. Significato e Affermazioni

Il documento afferma di stabilire l'adattamento della distribuzione come un approccio pratico e principiale per prevenire il collasso delle modalità nell'RL on-policy. Gli autori sostengono che:

1. Identificazione della Causa Radice: Il collasso delle modalità nell'RLVR è fondamentalmente causato dalla natura ricercatrice di modalità della minimizzazione della KL inversa.
2. Soluzione Fattibile: La minimizzazione della KL diretta, tradizionalmente considerata intrattabile, può essere efficacemente approssimata a livello di gruppo per preservare la diversità delle soluzioni.
3. Vantaggio Generale: Preservare la diversità durante l'addestramento su specifici compiti di ottimizzazione si trasferisce in capacità di ragionamento generale migliorate, suggerendo che l'esplorazione è un componente critico del ragionamento robusto nei Modelli di Ragionamento di Grande Calibro.

Il lavoro posiziona il DMPO non meramente come un regolarizzatore di diversità, ma come un meccanismo che permette la scoperta di soluzioni di qualità superiore che gli obiettivi ricercatori di modalità perdono, migliorando così sia le prestazioni di ottimizzazione che la robustezza del ragionamento attraverso le modalità.