CoRPO: Adding a Correctness Bias to GRPO Improves Generalization

Il paper propone CoRPO, una modifica all'ottimizzazione GRPO che introduce un bias di correttezza tramite l'uso di una soglia minima fissa per evitare la sovrastima dei vantaggi delle soluzioni errate, migliorando così la generalizzazione e il trasferimento delle capacità di ragionamento tra diversi domini.

L'essenziale

Immagina di dover insegnare a un bambino (l'Intelligenza Artificiale) a risolvere problemi di matematica o a scrivere codice.

Il Problema: Il Metodo "GRPO" (Il Giudice di Gruppo)

Fino a poco tempo fa, il metodo standard per addestrare queste intelligenze si chiamava GRPO. Funziona così:

1. Chiedi al bambino di provare a risolvere lo stesso problema 8 volte diverse (creando 8 risposte diverse).
2. Prendi tutte le 8 risposte e calcoli la media di quanto sono state bravi.
3. Se una risposta è migliore della media, il bambino viene premiato. Se è peggiore, viene punito.

Il difetto fatale:
Immagina che il bambino sia molto confuso e che tutte le 8 risposte siano sbagliate.

• La "media" sarà molto bassa (perché tutti hanno sbagliato).
• Tuttavia, se una delle 8 risposte sbagliate è leggermente meno sbagliata delle altre (ad esempio, ha fatto un errore di calcolo invece di cancellare tutto), questa risposta risulterà "migliore della media".
• Risultato disastroso: Il sistema premia quella risposta sbagliata perché è "migliore delle altre risposte sbagliate". Invece di imparare che la risposta è errata, il bambino impara che "essere un po' meno sbagliati degli altri" è un buon comportamento. Si allena a essere "meno peggio" invece che "giusto".

La Soluzione: CoRPO (Il Giudice con la Soglia di Sicurezza)

Gli autori propongono un nuovo metodo chiamato CoRPO. È una piccola modifica intelligente al metodo precedente.

Invece di guardare solo la media del gruppo, CoRPO introduce una soglia di verità (una linea rossa immaginaria).

Ecco come funziona con un'analogia:
Immagina che il bambino stia lanciando frecce a un bersaglio.

• Metodo vecchio (GRPO): Se tutti i lanci finiscono fuori dal bersaglio, ma uno finisce a 10 metri e gli altri a 50, il sistema dice: "Bravo! Hai vinto perché sei stato il migliore del gruppo!". Il bambino pensa: "Ok, 10 metri va bene".
• Metodo nuovo (CoRPO): Il sistema ha una regola fissa: "Se il lancio non è dentro il cerchio rosso (la soglia di correttezza), non ricevi punti, non importa quanto sei stato bravo rispetto agli altri".
  • Se il lancio è a 10 metri (fuori dal cerchio rosso): Il sistema dice "Niente punti, anzi, ti sgrido perché sei fuori dal bersaglio".
  • Se il lancio è dentro il cerchio rosso: Solo allora il sistema confronta chi è stato più vicino al centro per dare premi extra.

Perché questo è rivoluzionario?

1. Niente premi per gli errori: CoRPO impedisce che le risposte sbagliate ricevano premi solo perché gli altri erano peggiori. Questo evita che l'AI impari a "barare" o a trovare scorciatoie che sembrano funzionare ma non sono corrette.
2. Imparare davvero, non solo a memoria: Poiché l'AI non riceve premi per risposte "abbastanza buone" ma sbagliate, è costretta a cercare la verità assoluta. Questo la rende molto più brava a risolvere problemi che non ha mai visto prima (il famoso "generalizzazione").
3. Il risultato: Nel paper, hanno addestrato l'AI su problemi di programmazione e poi l'hanno testata su problemi di matematica.
   • L'AI addestrata col vecchio metodo (GRPO) faceva fatica a trasferire le sue abilità.
   • L'AI addestrata con CoRPO è diventata bravissima anche in matematica, perché ha imparato a ragionare in modo corretto e robusto, non solo a indovinare la risposta giusta per quel tipo di esercizio.

In sintesi

Il vecchio metodo era come dire a un atleta: "Sei il migliore della squadra, anche se la squadra ha perso tutte le partite".
Il nuovo metodo (CoRPO) dice: "Se non hai segnato il gol, non hai vinto, anche se gli altri compagni hanno sbagliato ancora di più".

Questa piccola regola di "onestà" (la soglia di correttezza) ha reso l'intelligenza artificiale più intelligente, più affidabile e capace di imparare cose nuove molto più velocemente.

Sommario tecnico

1. Il Problema: Limitazioni Fondamentali di GRPO

Il paper identifica due limitazioni critiche nell'ottimizzazione della politica relativa al gruppo (Group-Relative Policy Optimization - GRPO), che è attualmente lo standard per l'addestramento di modelli linguistici (LLM) su compiti con segnali di veridicità automatica (RLVR), come matematica e coding.

GRPO stima il vantaggio di una traiettoria sottraendo la media dei reward di un gruppo di campioni (baseline) dal reward effettivo. Tuttavia, gli autori evidenziano due fallimenti fondamentali:

1. Sovrastima del Vantaggio (Advantage Overestimation): Poiché la baseline è calcolata su un piccolo campione (tipicamente 4-16 rollouts), la media campionaria può variare significativamente rispetto al vero valore atteso. Se la media del gruppo è inferiore al vero valore atteso (cosa che accade con probabilità ~50%), anche traiettorie subottimali o con reward medio ricevono un vantaggio positivo inflazionato. Questo porta a aggiornamenti della politica troppo aggressivi.
2. Rinforzo di Comportamenti Errati (Sign Inversion): Quando i reward sono ordinali (es. punteggi di qualità) e non calibrati, GRPO può assegnare un vantaggio positivo a traiettorie errate semplicemente perché performano meglio della media del gruppo (che potrebbe essere composta da fallimenti). In scenari dove la maggior parte dei campioni fallisce, un errore "meno grave" degli altri riceve un segnale di apprendimento positivo, invertendo il segnale di apprendimento desiderato e rinforzando comportamenti sbagliati.

Questi meccanismi portano a un'esplorazione prematura e a un affinamento della distribuzione (distribution sharpening), dove il modello si concentra su un sottoinsieme ristretto di soluzioni, spesso perdendo la capacità di generalizzare a compiti fuori dominio (OOD).

2. Metodologia: CoRPO (Correctness-Relative Policy Optimization)

Per risolvere questi problemi, gli autori propongono CoRPO, una modifica semplice ma efficace all'obiettivo di GRPO.

• Il Meccanismo: CoRPO introduce un clipping della baseline. Invece di usare puramente la media del gruppo ($b_{mean}$), la nuova baseline ($b_{CoRPO}$) è definita come il massimo tra la media del gruppo e una soglia minima di correttezza ($R_{min\_correct}$):
  $$b_{CoRPO} = \max(R_{min\_correct}, b_{mean})$$
• Logica di Funzionamento:
  • Regime di Ricerca della Correttezza: Se la media del gruppo è inferiore alla soglia di correttezza (situazione comune all'inizio dell'addestramento o su compiti difficili), la baseline viene fissata alla soglia. Questo garantisce che qualsiasi traiettoria con reward inferiore alla soglia riceva un vantaggio negativo, eliminando il rinforzo di comportamenti errati.
  • Regime di Ricerca della Qualità: Una volta che la politica produce soluzioni corrette in modo affidabile (media del gruppo $\ge$ soglia), la baseline torna a essere la media del gruppo, permettendo di competere per soluzioni di qualità superiore.

Questa modifica introduce un bias protettivo che previene la sovrastima del vantaggio e assicura che i comportamenti errati non vengano mai rinforzati, indipendentemente dalla composizione stocastica del gruppo.

3. Contributi Chiave

1. Analisi dei Fallimenti di GRPO: Identificazione e formalizzazione teorica di due modalità di fallimento: la sovrastima del vantaggio dovuta alla varianza campionaria e l'inversione del segnale di apprendimento sotto reward ordinali.
2. Proposta di CoRPO: Introduzione di una modifica alla baseline che risolve entrambi i problemi mantenendo l'efficienza computazionale di GRPO (nessuna funzione di valore appresa, solo un'operazione max).
3. Dimostrazione Empirica: Prove che il vincolo di correttezza migliora la generalizzazione cross-domain e mitiga le dinamiche di sfruttamento prematuro.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli LLM (Qwen3-8B) addestrati su compiti di coding e matematica, valutando sia su dati in-domain (ID) che out-of-domain (OOD).

• Generalizzazione Superiore (OOD): I modelli addestrati con CoRPO mostrano una generalizzazione significativamente migliore rispetto a GRPO.
  • Esempio: Un modello addestrato su coding con CoRPO ha ottenuto il 90.1% di accuratezza su task matematici (OOD), superando il 88.8% di GRPO, nonostante la matematica sia spesso considerata un dominio diverso.
  • Questo indica che CoRPO impara pattern di ragionamento robusti e trasferibili piuttosto che euristiche specifiche del dominio.
• Dinamiche di Addestramento:
  • Rinforzo Negativo: CoRPO impara principalmente attraverso il rinforzo negativo dei comportamenti errati nelle fasi iniziali, evitando l'aggiornamento aggressivo su soluzioni subottimali.
  • Curriculum Implicito: CoRPO implementa un curriculum di apprendimento implicito: blocca le traiettorie subottimali all'inizio, permettendo al modello di stabilizzarsi sulla correttezza prima di affrontare la complessità. Questo porta a un ritardo iniziale su task difficili in-domain, ma a una performance finale superiore e più stabile.
  • Robustezza alla Dimensione del Gruppo: CoRPO mantiene prestazioni superiori anche con gruppi di campioni molto piccoli (n=4), dove GRPO fallisce a causa dell'alta varianza della stima della media.

5. Significato e Impatto

Il lavoro di CoRPO è significativo perché:

• Corregge un difetto fondamentale nell'attuale paradigma RLVR, rendendo l'addestramento più sicuro e stabile senza costi computazionali aggiuntivi.
• Promuove l'Exploration: Mitigando l'overfitting e l'affinamento della distribuzione, CoRPO permette ai modelli di esplorare soluzioni diverse senza collassare su pattern locali subottimali.
• Migliora la Trasferibilità: Dimostra che garantire la "correttezza" assoluta (o relativa a una soglia) è più importante della semplice ottimizzazione relativa per ottenere modelli che generalizzano bene su compiti nuovi e difficili.

In sintesi, CoRPO trasforma GRPO da un algoritmo che ottimizza la relatività (essere meglio della media) a uno che ottimizza la correttezza (essere sopra una soglia di qualità), risultando in modelli LLM più intelligenti, robusti e capaci di ragionamento generale.