Technische Samenvatting: Contextuele Rollout Bandits voor Versterkend Leren met Verifieerbare Beloningen

Probleemstelling

Versterkend Leren met Verifieerbare Beloningen (RLVR) is een cruciaal paradigma geworden voor het verbeteren van de redeneervermogens van Large Language Models (LLMs), met name in domeinen zoals wiskunde en codegeneratie. Echter, bestaande RLVR-methoden lijden onder twee fundamentele beperkingen die leiden tot ruisige supervisie, slechte steekproefefficiëntie en suboptimale beleidsupdates:

1. Ondiscriminerend Intra-Group Gebruik: Huidige benaderingen, zoals Group Relative Policy Optimization (GRPO), genereren meerdere antwoorden (rollouts) voor één prompt, maar behandelen ze uniform tijdens de gradiëntberekening. Dit negeert de aanzienlijke kwaliteitsheterogeniteit binnen een groep, waarbij veel antwoorden mogelijk van lage bruikbaarheid, ruisig of misleidend zijn (bijvoorbeeld gegokt-correcte oplossingen of trajecten met overbodige redeneerstappen).
2. Beperkte Data-Horizons: De meeste methoden vertrouwen uitsluitend op de nieuwste batch rollouts voor optimalisatie en verwerpen historische trajecten na één gebruik. Dit kortzichtige trainingsparadigma voorkomt het hergebruik van waardevolle historische data, wat de bereikbare beleidsprestaties en steekproefefficiëntie beperkt.

Bestaande pogingen om deze problemen aan te pakken vertrouwen vaak op statische, handgemaakte heuristieken die geen adaptiviteit bezitten aan veranderende trainingsdynamica.

Methodologie: Contextuele Rollout Bandits (CBS)

De auteurs stellen CBS voor, een unificerend neurale planningsframework dat rolloutscheduling formuleert als een contextueel bandit-probleem. In deze formulering wordt elke rollout behandeld als een "arm", en wordt de beloning gedefinieerd door de geïnduceerde prestatiewinst tussen opeenvolgende optimalisatiestappen.

Kerncomponenten

1. Neurale Planningsarchitectuur:

   • Arm-Representatie: Elke rollout wordt gecodeerd in een compact 10-dimensionaal vector dat trainingsdynamica vastlegt. Deze kenmerken omvatten:
     • Beloningsgerelateerde signalen: Ruwe beloning, voordeel, gemiddelde groepsbeloning en standaardafwijking van de groepsbeloning.
     • Lengte-gerelateerde signalen: Genormaliseerde antwoordlengte en truncatievlaggen.
     • Beleidsperceptiemetrieken: Entropie en clip-ratio's.
     • Data-interactiegeschiedenis: Gebruiksfrequentie en steekproefleeftijd (versheid).
   • Planningsmodel: Een Multi-Layer Perceptron (MLP) voorspelt de toekomstige bruikbaarheid van elke rollout op basis van zijn representatie en online feedback.
   • Selectiestrategie: De planner hanteert een $\epsilon$-greedy-strategie om exploratie en exploitatie in evenwicht te brengen, waarbij top-gescoorde rollouts worden geselecteerd terwijl er af en toe nieuwe data wordt bemonsterd.

2. Twee Scheduling-regimes:

   • Intra-Group Scheduling (CBS):* Adresseert heterogeniteit in antwoordkwaliteit door fijnmazige selectie uit te voeren binnen elke rollout-groep. De planner selecteert een top-$p\%$-subset van waardevolle rollouts uit elke groep, en filtert ruisige of laagbruikbare steekproeven eruit voordat beleidsoptimalisatie plaatsvindt.
   • Globale Adaptieve Hergebruik (CBS): Adresseert de beperkte-horizonbeperking door een FIFO replay-buffer van historische rollouts (van de laatste $L$ iteraties) bij te houden. De planner voert globale selectie uit over deze buffer om waardevolle trajecten over trainingsrondes heen te hergebruiken, wat de steekproefefficiëntie aanzienlijk verbetert.

3. Beloningsdefinitie en Update:

   • Prestatiewinst-beloning: De beloningsfunctie wordt gedefinieerd als de metriekwinst tussen opeenvolgende rollout-data, met inbegrip van veranderingen in gemiddelde beloning ($V$) en entropie ($E$). Een entropiestrafterm voorkomt instorting van het training door entropietoename boven een drempelwaarde te straffen.
   • Online Adaptatie: De plannerparameters worden online bijgewerkt met behulp van beloningen op steekproefniveau die zijn afgeleid van de prestatiewinst op groepsniveau. Om stabiliteit te waarborgen, worden groepsbeloningen genormaliseerd met een Exponentiële Moving Average (EMA) en geschaald via een Sigmoid-functie.

Belangrijkste Bijdragen

1. Unificerend Contextueel-Rollout Bandit Framework: Het artikel formuleert rolloutscheduling in RLVR als een contextueel bandit-probleem, en biedt een enkel principieel framework dat zowel ruisbewuste intra-groepsselectie als adaptief globaal hergebruik van historische rollouts ondersteunt.
2. Theoretische Waarborgen:
   • De auteurs leggen een formele connectie tussen RLVR-data-scheduling en contextuele bandits.
   • Zij leiden sublineaire regret-grenzen ($\tilde{O}(\sqrt{T})$) af voor de voorgestelde neurale planner onder een vereenvoudigde selectie-instelling met één steekproef, gebaseerd op het Neural Tangent Kernel (NTK)-framework.
   • Zij bewijzen dat het vergroten van de replay-buffer de bereikbare bovengrens van beleidsprestaties verbetert, wat theoretische rechtvaardiging biedt voor globaal rollout-hergebruik.
3. Empirische Effectiviteit: Uitgebreide experimenten tonen aan dat CBS consistent zowel de uiteindelijke prestaties als de trainings-efficiëntie verbetert over meerdere RLVR-optimalisatiemethoden (GRPO, DAPO, GSPO) en modelgroottes.

Experimentele Resultaten

De methode werd geëvalueerd op zes wiskundige redeneerbenchmarks (AIME24, AIME25, AMC23, MATH500, Minerva, Olympiad) met Qwen3-modellen (1.7B, 4B, 8B).

• Prestatiewinst: Het integreren van CBS resulteerde in consistente relatieve verbeteringen over verschillende beleidsoptimalisatiemethoden. Bijvoorbeeld, op het Qwen3-1.7B-model verbeterde CBS GRPO met 4,4% en DAPO met 15,7% gemiddeld.
• Trainings-efficiëntie: CBS verminderde de gemiddelde beleidsoptimalisatietijd aanzienlijk (tot 50,4% reductie) door minder trainings-trajecten per actor-update te vereisen.
• Rekenkundige Overhead: De rekenkosten van de planner zijn verwaarloosbaar, goed voor minder dan 4% van de totale trainingstijd, en dit percentage neemt af naarmate de modelgrootte toeneemt.
• Ablatiestudies: Het verwijderen van componenten zoals de neurale planner (vervangen door willekeurige selectie), EMA-beloningsnormalisatie, of de entropiestrafterm leidde tot prestatiedegradatie of trainingsinstabiliteit (bijvoorbeeld ongecontroleerde entropiegroei), wat de noodzaak van elke component valideert.

Betekenis en Claims

Het artikel beweert dat CBS een principieel oplossing biedt voor de data-inefficiëntie en ruisproblemen die inherent zijn aan huidige RLVR-pijplijnen. Door rollout-selectie te behandelen als een adaptief leervermogen in plaats van een statische heuristiek, stelt CBS het volgende in staat:

• Fijnmazige supervisie-filtering: Automatisch prioriteren van informatieve antwoorden terwijl ruisige worden onderdrukt.
• Hergebruik van data met lange horizon: Systematisch benutten van historische waardevolle trajecten om beleidsplannen in de loop van de tijd te verfijnen.

De auteurs benadrukken dat hun aanpak een schaalbaar zelfverbeteringsparadigma biedt dat niet afhankelijk is van handmatige, methode-specifieke heuristieken. Hoewel de huidige implementatie een lichtgewicht 10-dimensionale representatie gebruikt voor efficiëntie, is het framework ontworpen om uitbreidbaar te zijn, wat potentieel toelating biedt voor de integratie van diepere semantische representaties in toekomstig werk. Het werk positioneert zichzelf als een stap naar efficiëntere en robuustere RLVR-training voor grote redeneermodellen.