Riepilogo Tecnico: Bandit a Rollout Contestuali per l'Apprendimento per Rinforzo con Ricompense Verificabili

Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è emerso come un paradigma critico per potenziare le capacità di ragionamento dei Modelli Linguistici di Grande Dimensione (LLM), in particolare in domini come la matematica e la generazione di codice. Tuttavia, i metodi RLVR esistenti soffrono di due limitazioni fondamentali che portano a supervisione rumorosa, scarsa efficienza del campione e aggiornamenti della politica subottimali:

1. Utilizzo Indiscriminato Intra-Gruppo: Gli approcci attuali, come l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), generano multiple risposte (rollout) per un singolo prompt ma le trattano uniformemente durante il calcolo del gradiente. Ciò ignora l'eterogeneità significativa della qualità all'interno di un gruppo, dove molte risposte possono essere a bassa utilità, rumorose o fuorvianti (ad esempio, soluzioni indovinate correttamente o traiettorie con passaggi di ragionamento ridondanti).
2. Orizzonti di Dati Limitati: La maggior parte dei metodi si basa esclusivamente sul batch più recente di rollout per l'ottimizzazione, scartando le traiettorie storiche dopo un singolo utilizzo. Questo paradigma di addestramento miope impedisce il riutilizzo di dati storici ad alto valore, limitando le prestazioni della politica raggiungibili e l'efficienza del campione.

I tentativi esistenti di affrontare questi problemi si basano spesso su euristiche statiche e create manualmente che mancano di adattabilità alle dinamiche di addestramento in evoluzione.

Metodologia: Bandit a Rollout Contestuali (CBS)

Gli autori propongono CBS, un framework unificato di schedulazione neurale che formula la schedulazione dei rollout come un problema di bandit contestuale. In questa formulazione, ogni rollout è trattato come un "braccio", e la ricompensa è definita dal guadagno di prestazioni indotto tra passaggi di ottimizzazione consecutivi.

Componenti Principali

1. Architettura dello Schedulatore Neurale:

   • Rappresentazione del Braccio: Ogni rollout è codificato in un vettore compatto a 10 dimensioni che cattura le dinamiche di addestramento. Queste caratteristiche includono:
     • Segnali legati alla ricompensa: Ricompensa grezza, vantaggio, ricompensa media di gruppo e deviazione standard della ricompensa di gruppo.
     • Segnali legati alla lunghezza: Lunghezza normalizzata della risposta e flag di troncamento.
     • Metriche di percezione della politica: Entropia e rapporti di clipping.
     • Storia delle interazioni con i dati: Conteggio degli utilizzi e età del campione (freschezza).
   • Modello dello Schedulatore: Un Perceptron Multistrato (MLP) prevede l'utilità futura di ogni rollout basandosi sulla sua rappresentazione e sul feedback online.
   • Strategia di Selezione: Lo schedulatore impiega una strategia $\epsilon$-greedy per bilanciare esplorazione e sfruttamento, selezionando i rollout con punteggio più alto mentre campiona occasionalmente dati più recenti.

2. Due Regimi di Schedulazione:

   • Schedulazione Intra-Gruppo (CBS):* Affronta l'eterogeneità della qualità delle risposte eseguendo una selezione granulare all'interno di ogni gruppo di rollout. Lo schedulatore seleziona un sottoinsieme top-$p\%$ di rollout ad alto valore da ogni gruppo, filtrando campioni rumorosi o a bassa utilità prima dell'ottimizzazione della politica.
   • Riutilizzo Globale Adattivo (CBS): Affronta il vincolo dell'orizzonte limitato mantenendo un buffer di replay FIFO di rollout storici (dalle ultime $L$ iterazioni). Lo schedulatore esegue una selezione globale su questo buffer per riutilizzare traiettorie ad alto valore attraverso i round di addestramento, migliorando significativamente l'efficienza del campione.

3. Definizione e Aggiornamento della Ricompensa:

   • Ricompensa per Guadagno di Prestazioni: La funzione di ricompensa è definita come il guadagno di metrica tra dati di rollout consecutivi, incorporando i cambiamenti della ricompensa media ($V$) e dell'entropia ($E$). Un termine di penalità per l'entropia previene il collasso dell'addestramento penalizzando gli aumenti di entropia oltre una soglia.
   • Adattamento Online: I parametri dello schedulatore vengono aggiornati online utilizzando ricompense a livello di campione derivate dal guadagno di prestazioni a livello di gruppo. Per garantire stabilità, le ricompense di gruppo sono normalizzate utilizzando una Media Mobile Esponenziale (EMA) e scalate tramite una funzione Sigmoid.

Contributi Chiave

1. Framework Unificato di Bandit a Rollout Contestuali: Il documento formula la schedulazione dei rollout in RLVR come un problema di bandit contestuale, fornendo un singolo framework principiale che supporta sia la selezione intra-gruppo consapevole del rumore sia il riutilizzo globale adattivo dei rollout storici.
2. Garanzie Teoriche:
   • Gli autori stabiliscono una connessione formale tra la schedulazione dei dati RLVR e i bandit contestuali.
   • Derivano limiti di rimpianto sublineari ($\tilde{O}(\sqrt{T})$) per lo schedulatore neurale proposto in un contesto semplificato di selezione di un singolo campione, basandosi sul framework del Kernel Tangente Neurale (NTK).
   • Dimostrano che l'ampliamento del buffer di replay migliora il limite superiore raggiungibile delle prestazioni della politica, fornendo una giustificazione teorica per il riutilizzo globale dei rollout.
3. Efficacia Empirica: Esperimenti estensivi dimostrano che CBS migliora costantemente sia le prestazioni finali che l'efficienza di addestramento attraverso molteplici metodi di ottimizzazione della politica RLVR (GRPO, DAPO, GSPO) e dimensioni del modello.

Risultati Sperimentali

Il metodo è stato valutato su sei benchmark di ragionamento matematico (AIME24, AIME25, AMC23, MATH500, Minerva, Olympiad) utilizzando modelli Qwen3 (1.7B, 4B, 8B).

• Guadagni di Prestazioni: L'integrazione di CBS ha portato a miglioramenti relativi coerenti attraverso diversi metodi di ottimizzazione della politica. Ad esempio, sul modello Qwen3-1.7B, CBS ha migliorato GRPO del 4,4% e DAPO del 15,7% in media.
• Efficienza di Addestramento: CBS ha ridotto significativamente il tempo medio di ottimizzazione della politica (fino al 50,4% di riduzione) richiedendo meno traiettorie di addestramento per aggiornamento dell'attore.
• Sovraccarico Computazionale: Il costo computazionale dello schedulatore è trascurabile, rappresentando meno del 4% del tempo totale di addestramento, e questo rapporto diminuisce all'aumentare delle dimensioni del modello.
• Studi di Ablazione: La rimozione di componenti come lo schedulatore neurale (sostituito da selezione casuale), la normalizzazione della ricompensa EMA o il termine di penalità per l'entropia ha portato a un degrado delle prestazioni o a instabilità dell'addestramento (ad esempio, crescita incontrollata dell'entropia), validando la necessità di ciascun componente.

Significato e Affermazioni

Il documento afferma che CBS offre una soluzione principiale ai problemi di inefficienza dei dati e di rumore intrinseci nelle pipeline RLVR attuali. Trattando la selezione dei rollout come un problema di apprendimento adattivo piuttosto che come un'euristica statica, CBS abilita:

• Filtraggio della supervisione granulare: Prioritizzazione automatica delle risposte informative sopprimendo quelle rumorose.
• Riutilizzo dei dati a lungo orizzonte: Sfruttamento sistematico di traiettorie storiche ad alto valore per affinare le politiche nel tempo.

Gli autori sottolineano che il loro approccio fornisce un paradigma di auto-miglioramento scalabile che non dipende da euristiche manuali specifiche del metodo. Sebbene l'implementazione attuale utilizzi una rappresentazione leggera a 10 dimensioni per l'efficienza, il framework è progettato per essere estensibile, permettendo potenzialmente l'integrazione di rappresentazioni semantiche più profonde in lavori futuri. Il lavoro si posiziona come un passo verso un addestramento RLVR più efficiente e robusto per modelli di ragionamento di grandi dimensioni.