Sintesi Tecnica: Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities

1. Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un paradigma dominante per potenziare il ragionamento nei Large Language Models (LLM), in particolare per la generazione di lunghi percorsi di Chain-of-Thought (CoT). Tuttavia, i metodi standard di ottimizzazione della policy, come il Group Relative Policy Optimization (GRPO), soffrono di collasso dell'entropia (entropy collapse) e collasso della modalità (mode collapse).

Il problema centrale deriva dall'obiettivo di massimizzazione della verosimiglianza pesata sulla ricompensa. Durante l'ottimizzazione, questo obiettivo amplifica in modo sproporzionato la massa di probabilità delle traiettorie ad alta ricompensa (corrette). Di conseguenza, il modello converge verso policy a bassa entropia che sopprimono validi percorsi di ragionamento alternativi, portando a una grave mancanza di diversità nell'output. Sebbene le soluzioni esistenti, come la regolarizzazione dell'entropia o il clipping dinamico, tentino di mitigare il problema, esse rimangono spesso limitate a modifiche locali all'interno del framework di massimizzazione della ricompensa e non riescono a migliorare fondamentalmente la modellazione di percorsi di ragionamento diversificati.

2. Metodologia: ProGRPO

Gli autori propongono ProGRPO (Probabilistic based GRPO), un nuovo paradigma che riesamina la costruzione della funzione di Advantage dalla prospettiva delle probabilità generative. L'innovazione principale è un Meccanismo di Ripesatura dell'Advantage (Advantage Re-weighting Mechanism - ARM) progettato per equilibrare i livelli di confidenza tra tutte le risposte corrette.

2.1. Meccanismo di Ripesatura dell'Advantage (ARM)

Invece di modificare direttamente il segnale di ricompensa (il che potrebbe distorcere gli aggiornamenti se tutti i termini in un gruppo sono corretti o errati), ProGRPO regola l'Advantage ($\tilde{A}_i$) incorporando segnali interni del modello:

• Confidenza del Prompt ($c_\theta(q_i)$): La confidenza del modello nel prompt di input, calcolata come l'esponenziale della media dei log-probability dei token a bassa probabilità nel prompt.
• Confidenza della Risposta ($c_\theta(o_i | q_i)$): La confidenza del modello nel generare una specifica risposta $o_i$ per il prompt $q_i$, calcolata analogamente sui token a bassa probabilità nella risposta.

L'advantage ripesato è definito come:
$$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$$
dove $A_i$ è lo standard GRPO advantage e $\alpha$ è un coefficiente di ponderazione. Questo meccanismo modella dinamicamente il segnale di ricompensa: attenua gli aggiornamenti del gradiente per i percorsi di ragionamento eccessivamente sicuri e ridistribuisce la massa di probabilità verso le soluzioni corrette meno esplorate.

2.2. Normalizzazione della Lunghezza dei Token a Bassa Probabilità

Gli autori osservano che applicare la normalizzazione della lunghezza sull'intera sequenza diluisce il segnale di ricompensa con token "triviali" ad alta confidenza. L'incertezza predittiva è tipicamente concentrata in una piccola frazione dei passi di generazione (circa il 20%).

• Strategia: Il metodo identifica un sottoinsieme critico di token ($T^{low}$) che rappresenta le posizioni con la più alta incertezza predittiva.
• Implementazione: I punteggi di confidenza sia per i prompt che per le risposte sono calcolati esclusivamente su questo sottoinsieme informativo, preservando le variazioni significative che riflettono la qualità del ragionamento piuttosto che la certezza superficiale.

2.3. Funzione Obiettivo

La funzione obiettivo finale integra questi advantage ripesati nel loss standard di GRPO, utilizzando un obiettivo surrogato con clipping per garantire la stabilità dell'addestramento pur incoraggiando un'esplorazione diversificata.

3. Contributi Chiave

• Innovazione Metodologica: L'introduzione di ProGRPO, che estende GRPO incorporando un Meccanismo di Ripesatura dell'Advantage (ARM) consapevole della confidenza. Ciò consente un'esplorazione mirata senza compromettere la stabilità dell'addestramento.
• Efficacia Ampia: Validazione su diversi benchmark (Matematica e Generazione di Codice) utilizzando molteplici scale di modelli (Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B). Il metodo supera costantemente i principali baseline come GRPO e FlowRL.
• Robustezza OOD: Dimostrazione di una superiore adattabilità Out-of-Distribution (OOD), mantenendo prestazioni robuste su distribuzioni di dati non viste (es. GPQA, MMLU-Pro).
• Guadagni di Prestazione Significativi: Il metodo raggiunge un trade-off superiore tra esplorazione e sfruttamento, migliorando significativamente sia l'accuratezza che la diversità dell'output.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di ragionamento matematico (AIME, AMC, MATH, OlympiadBench) e generazione di codice (LiveCodeBench, CodeForces, HumanEval+) .

• Ragionamento Matematico:
  • Su Qwen2.5-7B, ProGRPO supera GRPO del 5,7% in Pass@1 e del 13,9% in Pass@32.
  • Su Qwen2.5-32B, migliora il Pass@1 del 4,8% rispetto a GRPO.
  • Su DeepSeek-R1-Distill-Qwen-1.5B, il Pass@1 è migliorato dal 49,4% (GRPO) al 58,3% (ProGRPO).
• Generazione di Codice:
  • Su CodeForces, ProGRPO ha raggiunto un rating di 1422.49, superando GRPO di quasi +180 punti e FlowRL di +293 punti.
  • Su HumanEval+, ha ottenuto un punteggio Avg@16 di 84,01%, il migliore tra i metodi confrontati.
• Diversità ed Entropia:
  • L'analisi dell'entropia di addestramento mostra che mentre GRPO porta al collasso dell'entropia, ProGRPO mostra una crescita stabile dell'entropia, indicando un'esplorazione sostenuta.
  • Le metriche di diversità (Self-BLEU, Coseno Semantico) su AIME 2024 mostrano una ridondanza significativamente inferiore negli output di ProGRPO rispetto a GRPO, confermando la generazione di percorsi di ragionamento strutturalmente diversificati.
• Studi di Ablazione:
  • È stato scoperto che l'iperparametro $\alpha$ (coefficiente di ponderazione) è critico. Un valore di $\alpha$ pari a 0,3 ha fornito il miglior equilibrio tra prestazioni e stabilità. Valori di 0 (GRPO puro) hanno prodotto risultati più deboli, mentre valori più alti (0,7, 1,0) hanno degradato le prestazioni enfatizzando eccessivamente i segnali di confidenza.

5. Significato e Rivendicazioni

Il documento afferma che ProGRPO affronta il fondamentale trade-off Esplorazione-Sfruttamento nei compiti di ragionamento degli LLM. Spostando l'attenzione dalla semplice massimizzazione della ricompensa al bilanciamento delle probabilità generative e della confidenza, il metodo:

1. Mitiga il Collasso dell'Entropia: Impedisce al modello di convergere verso un singolo percorso di ragionamento dominante.
2. Migliora la Diversità: Genera una più ampia varietà di catene di ragionamento valide, come dimostrato dai significativi guadagni nelle metriche Pass@k (dove $k > 1$).
3. Migliora la Generalizzazione: Mantiene prestazioni robuste su dataset OOD, suggerendo che le capacità di ragionamento apprese siano più trasferibili.

Gli autori pongono questo lavoro come un approccio "back to basics", rivisitando la natura probabilistica della generazione degli LLM per risolvere i limiti degli attuali paradigmi di RLVR, aprendo la strada a un apprendimento per rinforzo più stabile ed esplorativo nei modelli di ragionamento.