Riepilogo Tecnico: GRPO è Segretamente un Modello di Ricompensa di Processo

Enunciato del Problema

L'Apprendimento per Rinforzo (RL) per i Modelli Linguistici di Grande Dimensione (LLM) si basa spesso su Modelli di Ricompensa per l'Esito (ORM), che assegnano un'unica ricompensa scalare a un'intera traiettoria. Sebbene i Modelli di Ricompensa di Processo (PRM) offrano un'assegnazione del credito più granulare premiando i passaggi intermedi, l'addestramento di PRM neurali espliciti richiede costose annotazioni umane a livello di passaggio ed è suscettibile allo sfruttamento della ricompensa (reward hacking). Di conseguenza, molte applicazioni RL di successo, in particolare nel ragionamento matematico, utilizzano l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), che elimina il modello critico e la Stima Generalizzata del Vantaggio (GAE) utilizzati nel PPO tradizionale.

Tuttavia, esiste un divario critico nella comprensione di come GRPO gestisca i segnali a livello di passaggio. Sebbene GRPO sia tipicamente considerato un algoritmo a livello di esito, non è chiaro se esegua implicitamente un'assegnazione del credito a livello di processo. Inoltre, se tale assegnazione implicita esiste, è sconosciuto se la funzione obiettivo GRPO standard contenga difetti intrinseci che impattino negativamente l'esplorazione e lo sfruttamento quando i passaggi di processo hanno frequenze o ricompense sbilanciate.

Metodologia

Equivalenza Teorica

Gli autori forniscono una dimostrazione teorica che la GRPO standard, quando equipaggiata con un ORM, è matematicamente equivalente a un obiettivo RL consapevole del PRM dotato di un PRM non banale basato su Monte-Carlo.

• Passaggi di Processo Impliciti: Gli autori definiscono "insiemi di processo" ($\lambda$) come sottoinsiemi di traiettorie all'interno di un gruppo di addestramento $G$ che condividono prefissi identici. Questi prefissi condivisi definiscono naturalmente i passaggi di processo (sotto-traiettorie).
• Costruzione Implicita del PRM: Costruiscono una funzione $f$ che mappa ogni traiettoria a una sequenza di passaggi di processo. La ricompensa assegnata a un passaggio di processo specifico è la media delle ricompense di esito di tutte le traiettorie nel gruppo che condividono quel prefisso specifico (una stima Monte-Carlo).
• Dimostrazione di Equivalenza: Sotto ipotesi lievi (in particolare utilizzando l'obiettivo del gradiente della politica a livello di token e un'unica iterazione di aggiornamento per batch), gli autori dimostrano che la funzione di perdita GRPO standard ($L_{GRPO}$) è identica a una funzione di perdita consapevole del PRM ($L_{PRM}$) in cui i vantaggi sono calcolati rispetto a queste ricompense implicite a livello di passaggio.

Identificazione di un Difetto

L'analisi rivela un difetto nell'obiettivo GRPO standard relativo alla frequenza sbilanciata dei passaggi di processo.

• Nella formulazione standard, il contributo di un passaggio di processo alla perdita totale è scalato dal numero di traiettorie ($|\lambda|$) che condividono quel passaggio.
• Se un passaggio di processo ha un vantaggio negativo (cioè, la sua ricompensa media è inferiore alla media del gruppo) ma è condiviso da molte traiettorie, la penalità è moltiplicata per $|\lambda|$. Questo sopprime in modo sproporzionato la probabilità di generare quel passaggio, potenzialmente ostacolando l'esplorazione di traiettorie ad alta ricompensa che casualmente condividono un prefisso a bassa ricompensa con altre traiettorie.
• Al contrario, se un passaggio ha un vantaggio positivo, il segnale di ricompensa viene amplificato, potenzialmente ostacolando l'esplorazione di percorsi alternativi.

Soluzione Proposta: $\lambda$-GRPO

Per mitigare questo difetto, gli autori propongono $\lambda$-GRPO, una semplice modifica alla funzione di perdita GRPO.

• Meccanismo: La perdita a livello di token per un token $y^{(i)}_t$ è scalata dall'inverso della dimensione del suo insieme di processo, $|\lambda(i,t)|^{-1}$.
• Effetto: Questa normalizzazione annulla il fattore di scalatura della frequenza $|\lambda|$ presente nell'obiettivo standard. Di conseguenza, ogni insieme di processo contribuisce in modo uguale alla perdita a un dato indice, indipendentemente da quante traiettorie condividono quel prefisso. Ciò impedisce all'algoritmo di penalizzare o premiare eccessivamente i passaggi semplicemente a causa della loro frequenza all'interno del gruppo.

Risultati Chiave

Validazione Empirica del PRM Implicito

Gli autori hanno verificato empiricamente che la struttura PRM "nascosta" è non banale in contesti reali.

• Utilizzando il dataset di ragionamento matematico OpenRS, hanno analizzato le strutture ad albero ($B(G)$) formate dai prefissi delle traiettorie durante l'addestramento.
• I risultati hanno mostrato che per dimensioni del gruppo di 6 e 36, oltre il 99% dei gruppi generati ha indotto ricompense di processo non banali (cioè, i prefissi si sovrapponevano significativamente).
• Man mano che l'addestramento procedeva e i modelli convergevano, la complessità di queste strutture di prefisso (profondità del percorso) e la proporzione di token coinvolti nei passaggi intermedi sono aumentate drasticamente.

Performance su Compiti Sintetici

Su un ambiente binario sintetico progettato per testare l'ipotesi di "anti-esplorazione":

• La GRPO standard ha faticato a convergere sul percorso target a massima ricompensa quando quel percorso condivideva un prefisso con percorsi a ricompensa inferiore (a causa del vantaggio negativo composto).
• $\lambda$-GRPO ha convergito consistentemente sul percorso target con maggiore frequenza attraverso varie configurazioni di lunghezza del prefisso e valori di ricompensa negativa.

Benchmark di Ragionamento a Valle

Gli autori hanno eseguito il fine-tuning dei modelli DeepSeek-R1-Distill-Qwen-1.5B e Llama-3.2-1B-Instruct sul dataset OpenRS e li hanno valutati su cinque benchmark di ragionamento (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• Accuratezza: I modelli $\lambda$-GRPO hanno superato i modelli GRPO standard in 15 su 20 configurazioni specifiche di compito/modello.
• Efficienza: I modelli $\lambda$-GRPO hanno raggiunto la loro massima accuratezza di validazione in meno della metà del numero di passaggi di addestramento richiesti dalla GRPO standard.
• Accelerazione: Gli autori riportano un'accelerazione di addestramento di circa 2x in termini di passaggi fino alla massima performance, con un sovraccarico computazionale trascurabile per il calcolo della normalizzazione.

Significato e Affermazioni

Il documento afferma che l'algoritmo GRPO standard possiede già una ricca struttura PRM integrata derivata dalle ricompense a livello di esito e dalle sovrapposizioni delle traiettorie. Il significato di questo lavoro risiede in tre aree principali:

1. Insight Teorico: Smaschera GRPO, dimostrando che non è semplicemente un algoritmo a livello di esito, ma uno che ottimizza implicitamente per ricompense strutturate a livello di passaggio tramite stima Monte-Carlo.
2. Miglioramento Algoritmico: Identifica un difetto matematico specifico nell'obiettivo standard relativo allo squilibrio di frequenza e offre una soluzione computazionalmente economica ($\lambda$-GRPO) che migliora significativamente le prestazioni.
3. Impatto Pratico: Dimostra che un'assegnazione del credito di alta qualità a livello di passaggio può essere ottenuta senza il costo di addestrare PRM neurali espliciti o raccogliere annotazioni umane a livello di passaggio. Sfruttando la struttura implicita, i praticanti possono migliorare le capacità di ragionamento e l'efficienza dell'addestramento con un costo aggiuntivo trascurabile.

Gli autori concludono che il lavoro futuro dovrebbe sfruttare questi segnali a livello di passaggio impliciti piuttosto che fare affidamento esclusivamente su PRM espliciti costosi.