Sintesi Tecnica: VeriGate (Verificatore a Gate per la Supervisione a Livello di Step per GRPO)

1. Definizione del Problema

L'ottimizzazione della Politica Relativa al Gruppo (Group Relative Policy Optimization, GRPO) è emersa come un metodo efficace per l'addestramento di Modelli di Ragionamento Large (LRM) utilizzando ricompense basate su un verificatore di esito (outcome). Tuttavia, gli autori identificano due limitazioni critiche nel GRPO standard che ne ostacolano le prestazioni su compiti di ragionamento complessi:

1. Collasso del Gradiente Zero (Degenerazione della Ricompensa): GRPO si basa su vantaggi relativi al gruppo. Quando tutte le traiettorie campionate per un dato prompt ricevono la stessa ricompensa dal verificatore (ad esempio, tutte errate, ricevendo una ricompensa di 0), il vantaggio relativo al gruppo collassa a zero. In questi batch "degeneri", il segnale di apprendimento guidato dalla ricompensa svanisce, lasciando solo il termine di regolarizzazione KL. Ciò causa il blocco dell'apprendimento proprio sui prompt difficili dove il modello avrebbe più bisogno di guida.
2. Mancanza di Assegnazione del Credito a Livello di Step: Le ricompense basate solo sull'esito assegnano uno scalare singolo all'intera traiettoria di ragionamento. Di conseguenza, ogni token in una soluzione corretta riceve lo stesso vantaggio positivo, e ogni token in una soluzione errata riceve lo stesso vantaggio negativo. Questo impedisce al modello di distinguere tra passaggi di ragionamento genuinamente utili e quelli incidentali o spurii, limitando l'esplorazione e la capacità di apprendere processi di ragionamento robusti.

Sebbene i Modelli di Ricompensa di Processo (PRM) offrano una supervisione più densa a livello di step, l'integrazione ingenua dei PRM nel GRPO introduce nuovi rischi:

• Reward Hacking (Hacking della Ricompensa): I PRM sono modelli appresi con bias intrinseci. Ottimizzare direttamente i punteggi aggregati dei PRM (trattandoli come ricompense di esito) può portare la politica a sfruttare pattern favoriti dal PRM senza migliorare l'effettiva correttezza.
• Aggregazione Fragile: Comprimere i punteggi degli step in un singolo scalare della traiettoria (ad esempio, tramite prodotto o minimo) può distorcere la ricompensa effettiva se un singolo step viene valutato erroneamente, scartando l'assegnazione del credito fine granulare.
• Perdita di Autorità del Verificatore: Sostituire i segnali affidabili del verificatore con segnali imperfetti del PRM può degradare le prestazioni in compiti in cui il verificatore è affidabile.

2. Metodologia: VeriGate

Gli autori propongono VeriGate (Verificatore a Gate per la Supervisione a Livello di Step per GRPO), un metodo che integra la supervisione di processo nel GRPO solo quando il segnale del verificatore non è informativo. L'approccio si basa su tre scelte di design fondamentali:

S1: Supervisione Gated dal Verificatore

VeriGate implementa un meccanismo di commutazione dinamica basato sull'informatività delle ricompense del verificatore all'interno di un gruppo campionato:

• Verificatore Informativo: Se le traiettorie campionate per un prompt producono ricompense del verificatore miste (alcune corrette, altre errate), VeriGate opera esattamente come il GRPO standard, affidandosi esclusivamente al segnale del verificatore.
• Verificatore Degenero: Se tutte le traiettorie campionate ricevono la stessa ricompensa del verificatore (specificamente, tutte zero), il vantaggio del GRPO standard collassa. In questo caso specifico, VeriGate attiva la supervisione a livello di token basata su PRM come meccanismo di fallback.
• Razionale: Questo preserva l'affidabilità del verificatore ogni volta che può distinguere la correttezza, limitando l'uso del PRM imperfetto solo a quei prompt difficili in cui il verificatore non fornisce alcun segnale di apprendimento.

S2: Ricompense per Token Cumulate Future (FCTR)

Inveve di aggregare i punteggi degli step del PRM in uno scalare a livello di traiettoria (che causa un'assegnazione del credito fragile), VeriGate converte i punteggi degli step in ricompense cumulate future.

• Per una traiettoria con step $j=1 \dots S$, la ricompensa per lo step $j$ è definita come la somma dei punteggi PRM dallo step $j$ fino alla fine della traiettoria: $c_{i,j} = \sum_{k=j}^{S} r_{i,k}$.
• Questo design assegna il credito a un token non solo per la qualità dello step immediato, ma per la qualità della continuazione che esso abilita. Questo smussa il rumore locale del PRM e assicura che i token iniziali siano ricompensati per abilitare un ragionamento a valle corretto.

S3: Vantaggi a Livello di Token Normalizzati per Gruppo

Per integrare queste ricompense dense nel framework GRPO senza reintrodurre l'assoluto reward hacking, VeriGate trasforma le ricompense cumulate future in vantaggi a livello di token normalizzati per gruppo.

• Il vantaggio per un token nello step $j$ della traiettoria $i$ è calcolato come: $A_{i,j} = \frac{c_{i,j} - \bar{c}}{\sigma(c)}$, dove $\bar{c}$ è la media e $\sigma(c)$ è la deviazione standard di tutte le ricompense cumulate future nel gruppo campionato.
• Proprietà di Robustezza: Gli autori dimostrano (Proposizione 3.1) che questi vantaggi sono invarianti rispetto alle trasformazioni affini positive prompt-wise delle ricompense del PRM ($c' = a \cdot c + b$). Ciò significa che se una politica impara a spostare o scalare uniformemente i punteggi del PRM (una forma comune di reward hacking), i vantaggi normalizzati rimangono invariati, impedendo alla politica di sfruttare tali artefatti.

3. Contributi Chiave

1. Supervisione di Processo Gated dal Verificatore: Un'estensione semplice a GRPO che preserva gli aggiornamenti standard del verificatore quando informativi e ricorre alla supervisione a livello di token basata su PRM solo per i gruppi con verificate a zero.
2. Assegnazione del Credito Consapevole della Continuazione: Un meccanismo innovativo che utilizza ricompense cumulate future e vantaggi normalizzati per gruppo per fornire segnali di apprendimento densi a livello di step senza far collassare i punteggi degli step in uno scalare singolo.
3. Ridotta Suscettibilità al Reward Hacking: Evidenza teorica ed empirica che la formulazione del vantaggio normalizzato di VeriGate è invariante rispetto alle trasformazioni affini delle ricompense del PRM, limitando il sovra-ottimizzazione dei segnali imperfetti del PRM rispetto ai metodi che ottimizzano i punteggi aggregati del PRM.
4. Guadagni Empirici: Dimostrazione di miglioramenti nell'accuratezza del ragionamento, riduzione dei fallimenti a gradiente zero e migliore qualità del ragionamento attraverso molteplici benchmark.

4. Risultati Sperimentali

Gli autori hanno valutato VeriGate utilizzando modelli Qwen2.5-Instruct (1.5B e 7B parametri) addestrati su dataset MATH e GSM8K, con valutazione su sei benchmark di ragionamento (GSM8K, MATH-500, AMC, AIME-24, MinervaMath, OlympiadBench).

• Miglioramenti dell'Accuratezza: VeriGate ha migliorato l'accuratezza media di circa il 20% per il modello 1.5B e del 12% per il modello 7B rispetto a GRPO basato solo sull'esito e alle baseline PRM-as-outcome.
• Mitigazione del Gradiente Zero: Il metodo ha ridotto sostanzialmente la frazione di prompt che ricevevano ricompense del verificatore nulle dopo l'addestramento, indicando una migliore esplorazione e l'uscita da regimi di apprendimento degeneri.
• Resistenza al Reward Hacking:
  • Quantitativa: A differenza di PRM-as-ORM, dove i punteggi del PRM aumentavano mentre i punteggi del verificatore rimanevano piatti (indicando hacking), VeriGate ha mostrato una crescita allineata sia dei premi del verificatore che del PRM.
  • Qualitativa: L'analisi delle risposte "hackerate" (alto punteggio PRM, basso punteggio verificatore) ha mostrato che i modelli PRM-as-ORM producevano spesso ragionamenti verbali, strutturalmente plausibili ma logicamente errati. VeriGate ha prodotto traiettorie di ragionamento coerenti che portavano a risposte corrette.
  • Verifica Cross-PRM: Quando valutato con un PRM esterno (Math-Shepherd) diverso dal PRM di addestramento, VeriGate ha mantenuto alte prestazioni, mentre le prestazioni di PRM-as-ORM sono diminuite significativamente, suggerendo che VeriGate apprende un ragionamento genuino piuttosto che l'overfitting sugli idiosyncrasie specifiche del PRM.
• Ablazioni: La rimozione del gate del verificatore o del meccanismo di cumulo futuro ha causato cali significativi nelle prestazioni, validando entrambe le scelte di design.

5. Significato e Rivendicazioni

Il paper sostiene che VeriGate offre una "semplice modifica drop-in" per GRPO che affronta le sue debolezze fondamentali nei problemi di ragionamento difficili senza sacrificare l'affidabilità delle ricompense basate sul verificatore.

• Affidabilità: Gatando l'uso del PRM, il metodo assicura che il verificatore affidabile guidi l'apprendimento ogni volta che possibile, usando i PRM solo come meccanismo di recupero per i casi degeneri.
• Robustezza: L'uso di vantaggi centrati e normalizzati derivati dalle ricompense cumulate future fornisce una difesa matematicamente fondata contro una classe comune di reward hacking del PRM (trasformazioni affini).
• Qualità del Ragionamento: I risultati suggeriscono che VeriGate migliora la qualità del ragionamento (derivazione fedele passo-passo) piuttosto che ottimizzare semplicemente la preferenza di un modello di ricompensa specifico.

Gli autori riconoscono i limiti, notando che il metodo dipende ancora dalla disponibilità e dalla qualità dei PRM e che una cattiva segmentazione degli step da parte del modello potrebbe indebolire l'assegnazione del credito. Notano inoltre che gli esperimenti attuali sono focalizzati sul ragionamento matematico e che è necessaria una valutazione più ampia per altri domini come la generazione di codice o l'uso di strumenti. Tuttavia, il lavoro stabilisce un quadro per integrare la supervisione densa di processo in RLVR in modo teoricamente robusto ed empiricamente efficace.