🤖 AI

Cross-Epoch Adaptive Rollout Optimization for RL Post-Training

Oorspronkelijke auteurs: Yiming Zong, Yige Wang, Jiashuo Jiang

Gepubliceerd 2026-06-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

Oorspronkelijke auteurs: Yiming Zong, Yige Wang, Jiashuo Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een klas studenten (een Large Language Model) probeert te helpen leren hoe ze moeilijke wiskundeproblemen kunnen oplossen. Je hebt een beperkte hoeveelheid lestijd (het "rollout budget") om door een enorme lijst met oefenvragen te werken.

De Oude Manier: De "One-Size-Fits-All" Benadering

In de standaardmethode (genoemd GRPO) behandelt de leraar elke student en elke vraag precies hetzelfde. Het maakt niet uit of een vraag ongelooflijk makkelijk, onmogelijk moeilijk of precies goed is; de leraar besteedt er exact evenveel tijd aan.

Het Probleem: Als een student het antwoord op een vraag al weet, is het verspillen van tijd aan die vraag zinloos. Als een vraag zo moeilijk is dat de student het totaal niet begrijpt, is meer tijd besteden aan die vraag ook frustrerend en onbehulpzaam. De leraar verspilt kostbare tijd aan vragen die niets nieuws leren, waardoor er minder tijd overblijft voor de vragen die de student daadwerkelijk zouden kunnen helpen verbeteren.

De Nieuwe Manier: CERO (De "Slimme Tutor")

Het artikel introduceert een nieuwe methode genaamd CERO. Denk aan CERO als een slimme, adaptieve tutor die de studenten nauwlettend in de gaten houdt en beslist dynamisch waar de resterende lestijd aan wordt besteed.

Zo werkt CERO, met behulp van eenvoudige analogieën:

1. De "Vertrouwensmeter" (Beta Posterior)
Voor elke vraag houdt CERO een mentale "vertrouwensmeter" bij. Het raadt niet alleen of de student het goed zal hebben; het houdt de onzekerheid bij.

Als de student het elke keer goed heeft, zegt de meter: "Dit weten we al. Stop met tijd verspillen."
Als de student het elke keer fout heeft, zegt de meter: "Dit is nu te moeilijk. Laten we verdergaan."
Als de student het de helft van de tijd goed heeft en de andere helft fout, zegt de meter: "Dit is het ideale punt! We weten het antwoord nog niet, maar we zijn er dichtbij. Laten we hier meer tijd aan besteden!"

2. De Regel van de "Verminderde Meeropbrengst" (Diminishing Returns)
CERO weet dat de eerste paar pogingen bij een lastige vraag zeer waardevol zijn. Maar als je dezelfde vraag steeds en steeds opnieuw stelt, neemt de waarde van elke nieuwe poging af (zoals het eten van een heerlijke taart: de eerste hap is geweldig, de tiende hap is alleen nog maar vullend). CERO gebruikt een wiskundige regel om ervoor te zorgen dat het niet eeuwig op één vraag blijft hangen.

3. Het "Wereldwijde Budget" (De Fenchel-Dual Truc)
De leraar heeft een strikte limiet op de totale lestijd. CERO gebruikt een slimme wiskundige truc (een "Fenchel-dual reformulation") om te fungeren als een dynamisch prijssysteem.

Stel je voor dat elke vraag een "prijs" heeft op basis van hoeveel het de student kan leren.
Het "Wereldwijde Budget" fungeert als de portemonnee van de leraar.
Als de leraar te snel tijd uitgeeft, gaat de "prijs" van nieuwe vragen omhoog, waardoor de leraar kieskeuriger wordt.
Als de leraar tijd over heeft, gaat de "prijs" omlaag, waardoor er meer vragen geprobeerd kunnen worden.
Dit zorgt ervoor dat de leraar nooit zonder tijd komt te zitten voordat de les is afgelopen, terwijl er altijd de meest waardevolle vragen worden gekozen.

De Resultaten

De onderzoekers hebben dit getest op verschillende AI-modellen met wiskundeproblemen.

De Uitkomst: CERO hielp de AI consequent beter te leren dan de standaardmethode.
Waarom? Omdat CERO stopte met het verspillen van tijd aan vragen die de AI al kende of nog niet kon oplossen. In plaats daarvan richtte het zich op de "Goldilocks"-vragen — die net moeilijk genoeg waren om nuttig te zijn, maar niet onmogelijk.
Efficiëntie: De AI leerde sneller en haalde betere scores op wiskundecompetities (zoals AIME en AMC) zonder dat er extra rekenkracht nodig was of de kernmanier waarop de AI leert veranderd moest worden.

In een Notendop

CERO is als een slimme coach die stopt met het verspillen van oefentijd aan oefeningen die de atleet al beheerst of die hij nog niet kan uitvoeren. In plaats daarvan focust het de beperkte oefentijd op de specifieize oefeningen die de prestaties van de atleet het meest zullen verbeteren, zodat elke minuut oefenen telt.

Technische Samenvatting: Cross-Epoch Adaptive Rollout Optimization voor RL Post-Training (CERO)

1. Probleemformulering

Het post-training proces van Large Language Models (LLM's) via Reinforcement Learning (RL), met name met algoritmen zoals GRPO, vertrouwt doorgaans op het samplen van een vast aantal rollouts per prompt. Deze uniforme allocatiestrategie negeert de heterogeniteit in de trainingssignalen die door verschillende prompts worden geleverd. Sommige prompts zijn triviaal (leveren consistente successen of mislukkingen op met een lage variantie), terwijl andere te moeilijk zijn of al beheerst worden, wat leidt tot afnemende marginale opbrengsten. Als gevolg hiervan wordt een aanzienlijk deel van het wereldwijde rollout-budget verspild aan prompts met beperkte leerwaarde.

Het artikel formuleert dit als een cross-epoch online resource allocation probleem onder een vast wereldwijd budget $B$ . In tegenstelling tot eerdere methoden die binnen-batch herallocatie of post-generatie filtering uitvoeren, richt dit werk zich op de allocatie van rollouts over zowel prompts als trainingsepochs heen. Het doel is om de cumulatieve bruikbaarheid van verzamelde samples te maximaliseren, waarbij de bruikbaarheid onderhevig is aan prompt-specifieële afnemende meeropbrengsten. Het probleem is wiskundig gedefinieerd als het maximaliseren van de som van prompt-specifieke bruikbaarheidsfuncties $U_i(\sum_k N_{i,k})$ onder de wereldwijde budgetrestrictie $\sum_{i,k} N_{i,k} \le B$ , waarbij $N_{i,k}$ het aantal rollouts is dat aan prompt $i$ in epoch $k$ is toegewezen.

2. Methodologie: CERO

De auteurs stellen CERO voor (Cross-Epoch Adaptive Rollout Optimization), een Bayesiaans primal-dual online algoritme dat ontworpen is om rollouts adaptief toe te wijzen op basis van de geschatte informatieve waarde van een prompt.

2.1 Informativiteit en Bruikbaarheidsontwerp

Beta Posterior Modellering: Voor elke prompt $x_i$ houdt CERO een Beta posterior distributie bij over de latente succeswaarschijnlijkheid $p_i$ , die wordt bijgewerkt op basis van de geschiedenis van rollouts $H_i^k$ .
Informativiteitsscore ( $q_{k,i}$ ): In plaats van een puntinschatting van de succeswaarschijnlijkheid te gebruiken, schat CERO de verwachte Bernoulli-variantie: $q_{k,i} = E[p_i(1-p_i) | H_i^k]$ . Deze score wordt gemaximaliseerd wanneer $p_i \approx 0.5$ (intermediaire moeilijkheid) en verdwijnt voor gemakkelijke ( $p_i \approx 1$ ) of moeilijke ( $p_i \approx 0$ ) prompts, waardoor prompts effectief worden geïdentificeerd die de meest onzekere en dus informatieve leersignalen bieden.
Bruikbaarheidsfunctie: Een concave, verzadigende bruikbaarheidsfunctie wordt gedefinieerd als $U_i(n) = 1 - \exp(-\eta q_i n)$ , waarbij $n$ het cumulatieve aantal rollouts is. Dit vangt de afnemende meeropbrengsten op: vroege rollouts op een informatieve prompt zijn zeer waardevol, maar de marginale waarde neemt af naarmate er meer samples worden verzameld.

2.2 Optimalisatie via Fenchel-Dual Reformulering

De temporele koppeling van de bruikbaarheidsfunctie (die afhankelijk is van cumulatieve allocaties) maakt directe online optimalisatie moeilijk. CERO lost dit op via een Fenchel-dual reformulering:

Het probleem wordt getransformeerd naar een dual objectief dat betrokken is bij prompt-specifieke duale variabelen $\theta_i$ en een wereldwijde budgetmultiplier $\mu$ .
Deze reformulering deelt het temporeel gekoppelde probleem op in per-epoch allocatie subproblemen die worden gecoördineerd door de duale variabelen.

2.3 Online Primal-Dual Algoritme

CERO werkt als een "drop-in" laag bovenop bestaande RL-pipelines (bijv. GRPO):

Allocatiebeslissing: Bij elke epoch, voor elke prompt, lost het algoritme een lineair subprobleem op. Een prompt ontvangt het maximaal toegestane aantal rollouts ( $N_{max}$ ) als de geschatte marginale waarde (duale variabele $\theta_i$ ) groter is dan de huidige wereldwijde budgetprijs ( $\mu$ ); anders ontvangt deze nul rollouts.
Feedback Update: Na het genereren van reacties en het observeren van beloningen, wordt de Beta posterior voor de prompt bijgewerkt en wordt de informativiteitsscore $q_{k,i}$ ververst.
Duale Variabele Updates:
- Prompt-niveau ( $\theta$ ): Wordt bijgewerkt via geprojecteerde online gradiëntafdaling om de toegewezen rollouts in balans te brengen met de bruikbaarheid die door de huidige informatieveitschatting wordt geïmpliceerd.
- Budget-niveau ( $\mu$ ): Wordt bijgewerkt op basis van het verschil tussen het werkelijke verbruik van rollouts en de doelbudgetvoet. Als het verbruik de voorgestelde voet overschrijdt, stijgt $\mu$ , waardoor toekomstige allocatie selectiever wordt; als het verbruik lager is, daalt $\mu$ .

3. Belangrijkste Bijdragen

Probleemformulering: Het artikel is de eerste die de LLM RL post-training rollout allocatie formuleert als een cross-epoch fixed-budget online optimalisatieprobleem met prompt-specifieke afnemende meeropbrengsten, waarbij beslissingen expliciet over de trainingshorizon worden gekoppeld via een gedeeld wereldwijd budget.
Algoritmeontwerp: Het introduceert CERO, een Bayesiaans primal-dual algoritme dat posterior schattingen van de waarde van prompt-specifieke rollouts gebruikt om budgettering te sturen. Het maakt gebruik van de posterior verwachte Bernoulli-variantie als een proxy voor leerbaarheid en gebruikt een Fenchel-dual reformulering om temporele niet-scheidbaarheid te behandelen.
Theoretische en Empirische Validatie:
- Theorie: Onder vaste prompt-bruikbaarheden bewijzen de auteurs een $O(\sqrt{K})$ regret bound ten opzichte van een offline allocatie benchmark, waarbij $K$ het aantal epochs is.
- Experimenten: Uitgebreide experimenten op wiskundige redeneertaken (AIME, AMC) over vier open-weight LLM's (variërend van 1.5B tot 7B parameters) tonen aan dat CERO consequent beter presteert dan vanilla GRPO.

4. Experimentele Resultaten

De auteurs hebben CERO geëvalueerd op de DAPO-Math-17K dataset met behulp van DeepSeek-R1-Distill-1.5B, Qwen3-4B (Base en Instruct) en Qwen2.5-Math-7B.

Prestaties: CERO behaalde consistente verbeteringen ten opzichte van vanilla GRPO over alle modellen en benchmarks. De gemiddelde winst varieerde van +1.53 tot +6.04 punten, afhankelijk van het model.
Efficiëntieanalyse: De "Effective Prompt Ratio" (het deel van de prompts in een batch dat zowel succesvolle als mislukte reacties bevat, die niet-nul gradiënten genereren) was aanzienlijk hoger voor CERO dan voor GRPO.
- In de baseline GRPO daalde de effectieve prompt ratio scherp naarmate de training vorderde, wat aangeeft dat het model veel prompts had beheerst, wat leidde tot gedegenereerde rollout-groepen.
- CERO behield een hogere effectieve prompt ratio door het budget adaptief weg te verschuiven van beheerde prompts naar prompts met een hogere onzekerheid.
Overhead: Het allocatie-update mechanisme introduceert verwaarloosbare computationele overhead (minder dan één seconde per update).

5. Betekenis en Claims

Het artikel beweert dat adaptieve rollout budgeting een fundamentele en effectieve richting is voor het verbeteren van de sample-efficiëntie van RL post-training. Door af te stappen van uniforme allocatie, zorgt CERO ervoor dat het vaste generatiebudget wordt besteed aan prompts die de meest informatieve leersignalen bieden.

De auteurs positioneren CERO als een "drop-in" adaptieve data-collectielaag die bepaalt welke prompts rollouts ontvangen en hoeveel, zonder de onderliggende policy-gradient doelstelling te wijzigen. Het werk benadrukt dat de inefficiëntie van de huidige RL post-training niet alleen voortkomt uit de policy update regel, maar ook uit de suboptimale data-collectiestrategie.

Door de auteurs opgemerkte beperkingen:

De theoretische regret garantie gaat uit van vaste prompt-bruikbaarheden, terwijl de implementatie gebruikmaakt van dynamische, epoch-gewijze plug-in posterior schattingen. Hierdoor legt de analyse de door de policy updates en posterior refreshes geïnduceerde niet-stationariteit niet volledig vast.
De empirische validatie is momenteel beperkt tot wiskundige redeneertaken; bredere validatie op andere domeinen en reward modellen wordt gesuggereerd als toekomstig werk.