🤖 machine learning

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

Questo articolo introduce Off-Context GRPO (OC-GRPO), un algoritmo di apprendimento per rinforzo che sfrutta una guida privilegiata durante l'addestramento per superare i precipizi di apprendimento su problemi di ragionamento difficili, utilizzando al contempo la correzione dell'importanza per garantire che il modello ottimizzi l'obiettivo originale non guidato, con conseguenti guadagni significativi di prestazioni sui benchmark matematici.

Autori originali: Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

Pubblicato 2026-07-22

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un robot che viene addestrato a risolvere complicati rompicapi matematici, insieme a un insegnante che può controllare istantaneamente se qualsiasi risposta produca un verdetto di giusto o sbagliato. Questa configurazione, un apprendista unito a un giudice automatico che emette un verdetto netto di giusto o sbagliato, è ciò che i ricercatori di IA chiamano "Reinforcement Learning with Verifiable Rewards". Il robot tenta un rompicapo, ottiene un "pollice in su" per averlo risolto correttamente e un "pollice in giù" in caso contrario, e attraverso molti tentativi impara a collezionare più "pollici in su".

Il problema è che alcuni rompicapi si trovano così lontano dalle capacità del robot che ogni singolo tentativo fallisce. Quando ogni tentativo fallisce, tutti i verdetti sono identici, non c'è nulla con cui confrontarli e l'insegnante non ha un segnale su cui lavorare. Somiglia al tentativo di imparare ad andare in bicicletta cadendo non appena i pedali girano: senza aver mai provato la sensazione dell'equilibrio, non c'è nulla su cui costruire. Questo viene chiamato "scogliera dell'apprendimento" (learning cliff).

La soluzione ovvia è un foglio con le soluzioni, un suggerimento o i primi passaggi della soluzione svolta, affinché il robot riesca almeno occasionalmente. Questo funziona, ma solleva una domanda scomoda: quanto merito riceve realmente un robot per una vittoria che gli è stata consegnata?

Questo articolo risponde correttamente alla domanda. Il metodo, Off-Context GRPO (OC-GRPO), applica una correzione che chiede quanto fosse probabile che il robot raggiungesse esattamente quella soluzione senza il foglio con le soluzioni. Il merito non viene mai dato interamente; una parte appartiene sempre al suggerimento, e quanto del merito sopravvive dipende da quanto il robot fosse già capace. Un robot che era vicino a risolverlo da solo mantiene la maggior parte del merito, perché il foglio con le soluzioni ha solo fatto emergere un'abilità che era già presente. Un robot che non aveva essenzialmente alcuna possibilità ne mantiene quasi nulla, perché il foglio ha sostituito la competenza invece di rivelarla. Un foglio con le soluzioni non può fabbricare il progresso partendo da una competenza che non esiste. Gli errori funzionano al contrario: sbagliare un rompicapo con metà della risposta già davanti a sé comporta una penalità più pesante di un errore ordinario, poiché fallire con l'aiuto è una prova peggiore rispetto al fallire senza di esso. Sui rompicapi più difficili, dove la capacità non assistita è vicina allo zero, la maggior parte del vero apprendimento arriva attraverso quella penalità amplificata piuttosto che attraverso le vittorie assistite. Il robot viene allontanato da ciò che dimostrabilmente non è ancora in grado di fare, invece di essere congratulato per la lettura.

Il risultato è che il robot viene sempre valutato sul vero rompicapo, non su quello con i suggerimenti, nonostante abbia praticato con l'aiuto.

Nei benchmark matematici standard, l'OC-GRPO ha elevato l'accuratezza media dal 27.8% al 31.7% rispetto al metodo di addestramento standard, un guadagno relativo del 13.8%, con essenzialmente nessun costo aggiuntivo. La correzione è fondamentale soprattutto per i modelli più piccoli: in quel caso, i vecchi metodi basati sui suggerimenti performano in realtà peggio del semplice addestramento, poiché un apprendista più debole non può assorbire la discrepanza tra il rompicapo con e senza suggerimenti, mentre l'OC-GRPO mantiene i suoi guadagni a ogni dimensione testata. La lezione più ampia è che i suggerimenti privilegiati sono un ottimo modo per guidare l'esplorazione. Il merito deve solo essere assegnato onestamente.

Riepilogo Tecnico: Off-Context GRPO (OC-GRPO)

1. Definizione del Problema: Il "Learning Cliff" nel RLVR

Il Reinforcement Learning con Verifiable Rewards (RLVR), in particolare utilizzando il Group Relative Policy Optimization (GRPO), è emerso come un approccio dominante per potenziare il ragionamento nei Large Language Models (LLM). Tuttavia, gli autori identificano un modo di fallimento fondamentale noto come learning cliff (scogliera dell'apprendimento).

Nel GRPO standard, per un dato problema, viene generato un gruppo di risposte, che vengono valutate da un verificatore e i cui vantaggi (advantages) vengono calcolati sulla base delle prestazioni relative all'interno di quel gruppo. Se un problema è sufficientemente difficile tale che il modello non riesce a generare alcuna soluzione corretta in un gruppo di rollout, tutti i reward sono pari a zero. Di conseguenza, la varianza del reward all'interno del gruppo collassa a zero, risultando in un segnale di gradiente nullo. Il modello non riceve alcun segnale di apprendimento, indipendentemente da quanto duri l'addestramento.

I workaround esistenti spesso prevedono l'uso di guida privilegiata (ad esempio, prefissi di soluzione, suggerimenti o informazioni oracle) iniettata nel prompt durante l'addestramento per garantire che almeno alcuni rollout abbiano successo. Sebbene ciò ripristini il segnale di apprendimento, introduce il problema dell'off-context (fuori contesto):

Distribuzione di Addestramento: I rollout sono campionati da un prompt guidato $g(x)$ contenente informazioni privilegiate non disponibili al momento del deployment.
Obiettivo Target: L'obiettivo è ottimizzare la policy per l'originale prompt non guidato $x$ .
Il Disallineamento: I metodi guidati standard (ad esempio, POPE, BREAD) ottimizzano un obiettivo $J_{guide}(\theta)$ condizionato su $g(x)$ , assumendo che la policy generalizzerà nuovamente verso $x$ ("back-generalization"). Gli autori sostengono che questo sia un'ottimizzazione implicita di un obiettivo diverso da quello valutato al deployment. Questo disallineamento può portare a gradienti distorti, disallineamento dell'obiettivo e instabilità dell'addestramento, particolarmente per i modelli più piccoli con capacità limitata di assorbire lo shift della distribuzione.

2. Metodologia: Off-Context GRPO (OC-GRPO)

Il paper propone OC-GRPO, una variante minimamente modificata di GRPO che utilizza rollout guidati per superare il learning cliff, correggendo matematicamente il disallineamento della distribuzione per garantire che l'aggiornamento punti all'originale obiettivo non guidato $J(\theta)$ .

Meccanismo Core: Correzione tramite Importance Sampling

Invece di trattare i rollout guidati come se fossero stati generati dal prompt originale, OC-GRPO applica una correzione di importance sampling (IS) al rapporto della policy per ogni token.

Rapporto GRPO Standard: $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | x, y_{i,<t})}$
Rapporto OC-GRPO: $\rho^{oc}_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | g(x), y_{i,<t})}$

Qui, il numeratore rappresenta la probabilità della policy attuale del token dato il prompt non guidato (il target), mentre il denominatore rappresenta la probabilità sotto il prompt guidato (la distribuzione di campionamento effettiva).

Proprietà Teoriche

Unbiasedness (Assenza di Bias): Si dimostra matematicamente che la media pesata sotto la distribuzione guidata è esattamente equivalente alla media sotto l'originale obiettivo non guidato. Ciò assicura che l'algoritmo ottimizzi $J(\theta)$ , non $J_{guide}(\theta)$ .
Assegnazione del Credito Consapevole del Comportamento: Il rapporto di importanza agisce come un meccanismo dinamico di assegnazione del credito:
- Successi: Se una traiettoria corretta è altamente probabile sotto il prompt guidato ma improbabile sotto il prompt non guidato (ovvero, il modello ha fatto molto affidamento sul suggerimento), il rapporto di importanza è $<1$ , attenuando il credito positivo. Questo impedisce al modello di limitarsi a "seguire i suggerimenti" invece di risolvere il problema.
- Fallimenti: Se una traiettoria fallisce nonostante la guida, il rapporto è $>1$ , amplificando la penalità. Ciò rinforza l'idea che il modello non sia riuscito a risolvere il problema anche con l'aiuto fornito.
Controllo della Varianza: La varianza del termine di correzione scala con la lunghezza del prefisso di guida, non con l'intero rollout. Questo motiva il principio di progettazione di utilizzare la guida più breve possibile necessaria per rompere il learning cliff.

Varianti di Implementazione

OC-GRPO-Fixed: Identifica il livello minimo di guida richiesto per ogni problema difficile utilizzando un modello base prima dell'addestramento. Questo dataset aumentato è fisso e la policy non riselezione mai la guida. Questa è la versione raccomandata come default grazie ai minori costi di inferenza e alle prestazioni competitive.
OC-GRPO-Adaptive: Regola dinamicamente i livelli di guida durante l'addestramento in base alle prestazioni attuali della policy. Sebbene sia teoricamente flessibile, comporta costi di inferenza più elevati e ha mostrato prestazioni leggermente inferiori negli esperimenti.

3. Contributi Chiave

Formalizzazione del Probleo Off-Context: Gli autori definiscono formalmente il disallineamento nei metodi RLVR guidati esistenti, mostrando come essi ottimizzino implicitamente un obiettivo diverso rispetto al target di deployment.
Algoritmo OC-GRPO: Una modifica minima al GRPO utilizzando l'importance sampling per correggere l'off-context sampling, fornendo una provata assenza di bias per l'originale obiettivo.
Assegnazione del Credito Teorica: La dimostrazione che la correzione di importanza induce un meccanismo consapevole del comportamento che scollega automaticamente i successi che dipendono fortemente dalla guida e amplifica le penalità per i fallimenti che persistono nonostante la guida, senza richiedere ulteriori forme di reward shaping.
Validazione Empirica: Dimostrazione che OC-GRPO ottiene guadagni costanti rispetto al vanilla GRPO e ai baseline guidati su molteplici scale di modelli (1.5B, 3B, 7B) e benchmark matematici.

4. Risultati Sperimentali

Gli autori hanno valutato OC-GRPO sul dataset MATH (Livelli 3–5) utilizzando modelli Qwen2.5 (1.5B, 3B, 7B) con adattatori LoRA.

Guadagni di Performance: Sul modello 7B, OC-GRPO-Fixed ha ottenuto un guadagno relativo del 13,8% (miglioramento assoluto del 3,9%) nel Pass@1 medio rispetto al vanilla GRPO su i benchmark AIME, Gaokao2023 e OmniMath.
Confronto con i Baseline:
- OC-GRPO ha superato altri metodi guidati (POPE, PrefixRL, BREAD) che ottimizzano l'obiettivo disallineato $J_{guide}$ .
- Dipendenza dalla Scala: Un risultato critico è che i baseline guidati che ottimizzano l'obiettivo disallineato spesso degradano al di sotto del vanilla GRPO su scale di modelli più piccole (ad esempio, 1.5B e 3B). Al contrario, OC-GRPO ha mantenuto guadagni costanti in tutte le scale. Ciò suggerisce che i modelli più piccoli non possono assorbire il disallineamento dell'obiettivo, rendendo la correzione di importanza critica per loro.
Stabilità: Gli esperimenti hanno mostrato che l'addestramento guidato non corretto (Masked no-IC) porta al collasso del reward, picchi nella norma del gradiente e un allargamento dei gap di log-probabilità, mentre OC-GRPO rimane stabile.

5. Significato e Claim

Il paper sostiene che le informazioni privilegiate possono guidare l'esplorazione, ma l'aggiornamento deve tenere conto della distribuzione da cui esse provengono.

Risolvere il Cliff: OC-GRPO fornisce un modo principato per uscire dal learning cliff sui problemi difficili senza ricorrere al supervised fine-tuning (SFT) o a complessi obiettivi ibridi che distorcono lo stile di ragionamento nativo del modello.
Allineamento: Garantisce che l'addestramento su contesti privilegiati (che non esistono al deployment) non allontani la policy dal vero obiettivo di deployment.
Scalabilità: Il metodo è particolarmente vitale per i modelli più piccoli dove l'assunzione di "back-generalization" di altri metodi fallisce.
Generalità: Sebbene dimostrato sul ragionamento matematico con prefissi di soluzione, il framework è agnostico rispetto al meccanismo ed è applicabile a qualsiasi forma di segnale privilegiato (ad esempio, risultati di chiamate a strumenti, stati intermedi) in contesti di RLVR agentici.

Gli autori concludono che OC-GRPO rappresenti una correzione necessaria per la prossima generazione di algoritmi RLVR, consentendo un ragionamento robusto su problemi difficili pur mantenendo l'allineamento con la definizione originale del compito.