Sintesi Tecnica: Rollout-Level Advantage-Prioritized Experience Replay per GRPO

Definizione del Problema

Il Reinforcement Learning from Verifiable Rewards (RLVR) utilizzando il Group Relative Policy Optimization (GRPO) è diventato lo standard per il post-training del ragionamento nei Large Language Models (LLM). Tuttavia, GRPO è intrinsecamente inefficiente dal punto di vista dei campioni. Nell'impostazione on-policy standard, un gruppo di rollout candidati viene generato per ogni prompt, utilizzato per un singolo aggiornamento del gradiente e poi scartato. Questo è particolarmente dispendioso per i rollout che portano un segnale di apprendimento forte, come le rare risposte corrette all'interno di un gruppo di risposte errate.

L'Experience Replay (ER) è una tecnica comune per migliorare l'efficienza dei campioni in altri domini di reinforcement learning, ma non si trasferisce direttamente a GRPO per due ragioni primarie:

1. Rapido Drift della Policy: Le policy degli LLM cambiano significativamente per ogni step di gradiente. I rollout memorizzati diventano rapidamente "obsoleti" (stale), e utilizzarli senza controllo può destabilizzare l'addestramento.
2. Granularità a Livello di Gruppo: Il GRPO standard aggrega i segnali di apprendimento per singolo rollout in un unico valore a livello di query. Gli schemi di replay ingenuo che memorizzano e campionano interi gruppi (livello query) non riescono a isolare i rollout specifici ad alto segnale all'interno di un gruppo che guidano l'apprendimento.

I tentativi esistenti di applicare il replay a GRPO soffrono spesso di un'obsolescenza illimitata o si affidano a segnali di priorità a livello di query (ad esempio, la varianza del gruppo) che non possono risolvere la questione dei rollout minoritari all'interno del gruppo, dove risiedono i gradienti più informativi.

Metodologia

Gli autori propongono un buffer di Rollout-Level Advantage-Prioritized Experience Replay progettato specificamente per GRPO. Il metodo integra tre componenti principali per affrontare l'obsolescenza e l'isolamento del segnale:

1. Age Eviction (Controllo dell'Obsolescenza)

Per limitare il lag della policy derivante dal riutilizzo dei dati, il buffer impiega l'age eviction (evizione basata sull'età). Ogni rollout memorizzato è contrassegnato da un "birth step" ($t_b$). In qualsiasi step di addestramento $t$, l'età di un rollout è $t - t_b$. Qualsiasi rollout più vecchio di una soglia massima $\tau_{max}$ viene evinto.

• A differenza dell'evizione basata sulla capacità, che varia con la scala del modello e la difficoltà dei dati, l'age eviction fornisce un limite di obsolenza a livello di step che è invariante rispetto alla dimensione del modello.
• Ciò assicura che nessun aggiornamento riusi un rollout oltre un numero fisso di step di addestramento, mitigando il rischio di addestrare su dati significativamente off-policy.

2. Fresh-Anchored Composition (Composizione Ancorata al Fresco)

Gli autori rifiutano lo standard "pool composition" (dove i dati freschi e quelli di replay vengono mescolati in un unico batch) a favore della fresh-anchored composition.

• Ad ogni step di addestramento, l'intero batch di rollout freschi, on-policy, viene mantenuto.
• Un set separato di rollout di replay viene campionato dal buffer e concatenato al batch fresco.
• Ciò garantisce che ogni aggiornamento del gradiente includa un "ancoraggio fresco", limitando il peggior caso di lag della policy indipendentemente dalla porzione di replay. Questo è critico alle scale di modello più grandi, dove è stato osservato che mescolare dati obsoleti con dati freschi in un unico pool degrada le prestazioni rispetto al GRPO standard.

3. Priorità $|A_i|$ a Livello di Rollout

Invezione di campionare interi gruppi (livello query), il buffer memorizza e campiona singoli rollout.

• Segnale di Priorità: La priorità per il campionamento è l'entità assoluta dell'advantage $|A_i|$ del singolo rollout. In GRPO, $A_i$ è l'advantage relativo al gruppo. I rollout con un $|A_i|$ elevato (tipicamente la minoranza in gruppi sbilanciati, ad esempio l'unica risposta corretta in un gruppo di risposte errate) forniscono la maggior parte del segnale di apprendimento.
• Meccanismo: Campionando a livello di rollout, il metodo può riciclare selettivamente questi rollout minoritari ad alto segnale che spesso vengono scartati dopo un singolo passaggio nel GRPO standard. Questo contrasta con i segnali a livello di query come la varianza del gruppo ($\sigma_g$), che trattano tutti i rollout in un gruppo allo stesso modo e non riescono a dare priorità alle specifiche istanze minoritarie.

La procedura di addestramento (Algoritmo 1) prevede la generazione di rollout freschi, il filtraggio dei gruppi a varianza zero, il campionamento di rollout di replay basati sulla priorità $|A_i|$ dal buffer con controllo dell'età, e l'esecuzione di un aggiornamento GRPO sul batch concatenato.

Contributi Chiave

1. Nuova Architettura di Replay: Il paper introduce un buffer di replay specifico per GRPO che combina age eviction, fresh-anchored composition e priorità $|A_i|$ a livello di rollout.
2. Superiorità Empirica: Il metodo supera il GRPO standard e i baseline di replay ingenuo (priorità uniforme e $\sigma_g$ con pool composition) su tre scale di modello (0.6B, 1.7B e 4B) in cinque benchmark di ragionamento matematico.
3. Guadagni di Scalabilità: I guadagni di prestazione scalano con la dimensione del modello. Il miglioramento maggiore si osserva alla scala 4B, con un incremento di +4.35 punti percentuali (pp) sulla media dei cinque benchmark rispetto a GRPO.
4. Analisi dell'Efficienza: Utilizzando l'Accuracy-Efficiency Score (AES), che misura congiuntamente l'accuratezza e la lunghezza della generazione dei token, il metodo mostra un margine di efficienza significativo rispetto a GRPO, in particolare alla scala 4B (+0.579 AES).
5. Studi di Ablazione: Le ablazioni per asse validano che ogni componente è necessario:
   • Age Eviction: Un limite moderato ($\tau_{max}=10$) bilancia il volume di replay e l'obsolescenza; limiti più ampi portano a cali di prestazioni a causa del lag della policy.
   • Composition: La fresh-anchored composition è essenziale alla scala elevata; la pool composition causa il calo del modello 4B al di sotto del GRPO standard.
   • Priority: La priorità a livello di rollout $|A_i|$ supera significativamente i segnali a livello di query ($\sigma_g$ o uniformi), in particolare nel migliorare il pass@k (diversità di campionamento).

Risultati

• Accuratezza: Sulla media dei cinque benchmark (MATH-500, AIME25, AIME26, HMMT-F25, HMMT-F26), il modello 4B ha raggiunto il 31.06% di accuratezza con il metodo proposto, rispetto al 26.71% del GRPO standard e al 26.70% del miglior baseline ingenuo.
• Diversità di Campionamento: Il metodo migliora le metriche pass@k, indicando che mantiene la diversità di campionamento che il RLVR standard spesso restringe. Al 4B, il metodo ha superato GRPO di +10.06 pp sulla metrica pass.
• Efficienza dei Token: L'analisi AES rivela un cambiamento asimmetrico nella lunghezza della risposta: il modello genera risposte più lunghe per i rollout corretti (+34.9% al 4B) e risposte più brevi per i rollout errati (-10.2% al 4B). Ciò suggerisce che il metodo ottimizza il budget di token allocando più token alle soluzioni corrette ad alta probabilità, comprimendo al contempo i tentativi errati.

Significato e Rivendicazioni

Il paper afferma che il suo metodo fornisce una procedura di addestramento efficiente in termini di campioni per GRPO su compiti di ragionamento matematico con ricompense verificabili. La significatività risiede nel dimostrare che l'experience replay può essere adattato con successo ai vincoli unici del post-training degli LLM (rapido drift e advantage relativi al gruppo) senza destabilizzare l'addestramento.

Gli autori inquadrano modestamente i loro contributi come una soluzione specifica all'inefficienza dei campioni di GRPO, notando che:

• Il metodo è attualmente limitato a ricompense verificabili binarie (ragionamento matematico) e non rivendica la generalizzazione a ricompense non verificabili (ad esempio, reward model appresi) o ad altri algoritmi di RL (ad esempio, PPO, REINFORCE) senza ulteriori studi.
• I trend di scalabilità sono osservati nell'intervallo testato (0.6B a 4B) e su set di prompt specifici; il trasferimento a scale maggiori o domini non matematici non è validato.
• I risultati si basano su un singolo seed di addestramento e impostazioni di valutazione specifiche, sebbene l'uso di molteplici benchmark fornisca un'indicazione indiretta di stabilità.

In definitiva, il lavoro stabilisce che la prioritizzazione a livello di rollout combinata con un rigido controllo dell'obsolescenza permette di riciclare efficacemente i segnali di apprendimento ad alto valore in GRPO, portando a sostanziali guadagni sia in accuratezza che in efficienza dei token all'aumentare delle dimensioni del modello.