🤖 machine learning

Spend Your Rollouts Where It Counts: Rollout Allocation for Group-Based RL Post-Training

Dit artikel introduceert Pilot-Commit, een budgetbewust roll-out toewijzingskader dat dynamisch hoge-variatie prompts identificeert en prioriteit geeft tijdens groepsgebaseerde RL-nabewerking, wat de bemonsteringskosten aanzienlijk verlaagt en de convergentie versnelt in vergelijking met bestaande methoden zoals GRPO en DAPO.

Oorspronkelijke auteurs: Woojeong Kim, Ziyi Yang, Jing Nathan Yan, Jialu Liu

Gepubliceerd 2026-05-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Woojeong Kim, Ziyi Yang, Jing Nathan Yan, Jialu Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die probeert een student te helpen wiskunde te leren. Je hebt een beperkte hoeveelheid tijd en energie (je "budget") om de student oefenopdrachten te geven.

In de wereld van Kunstmatige Intelligentie, specifiek bij het leren van Large Language Models (LLMs) om beter te worden in redeneren, is de "student" de AI en worden de "oefenopdrachten" rollouts genoemd. Een rollout is simpelweg de AI die probeert een probleem op te lossen en een antwoord genereert.

Het Probleem: Tijd Verspillen aan Te Makkelijke of Onmogelijke Vragen

Momenteel werken de meeste AI-trainingsmethoden als een leraar die blindelings hetzelfde aantal oefenopdrachten uitdeelt aan elke student, ongeacht of de student het antwoord al weet of de vraag onmogelijk vindt.

Het "Te Makkelijk" Probleem: Als een probleem zo makkelijk is dat de AI het elke keer goed heeft, is er niets nieuws te leren. Maar de computer verspillt toch tijd aan het genereren van antwoorden.
Het "Te Moeilijk" Probleem: Als een probleem zo moeilijk is dat de AI het elke keer fout heeft, leert het ook niet veel omdat het signaal te ruisig is.
Het "Net Goed" Gebied: De AI leert het beste wanneer een probleem uitdagend genoeg is, zodat het soms goed en soms fout gaat. Deze "onzekerheid" creëert een sterk leersignaal.

Bestaande methoden (zoals GRPO en DAPO) behandelen elk probleem hetzelfde, waardoor dure computerkracht wordt verspild aan de "te makkelijke" en "te moeilijke" vragen.

De Oplossing: Pilot-Commit

De auteurs van dit artikel stellen een nieuwe strategie voor genaamd Pilot-Commit. Denk hierbij aan een slimme leraar die een tweestapsproces gebruikt om te beslissen welke problemen de tijd van de student waard zijn.

Stap 1: De Pilot (De "Proeverij")

Voordat de leraar zich vastlegt op een volledige les, geeft hij de student een klein "proefje" van het probleem (een paar snelle pogingen).

Als de student het elke keer goed heeft? De leraar markeert het als "Te Makkelijk" en slaat het voor nu over.
Als de student het elke keer fout heeft? De leraar markeert het als "Te Moeilijk" en legt het voor later terzijde.
Als de student worstelt maar soms het goed heeft? De leraar markeert het als "Goldilocks" (net goed).

Stap 2: De Commit (De "Hoofdles")

De leraar gebruikt de resterende tijd en energie en besteedt deze alleen aan de "Goldilocks"-problemen die in de Pilot-fase zijn geïdentificeerd. Ze negeren de makkelijke en de onmogelijke.

Waarom Dit Belangrijk Is

Het artikel beweert dat door deze "Pilot-Commit"-methode de AI veel sneller leert omdat het stopt met geld verspillen aan problemen die niets nieuws leren.

De Resultaten: Bij tests met wiskundeproblemen bereikte deze methode hetzelfde nauwkeurigheidsniveau als oudere methoden, maar gebruikte aanzienlijk minder oefenpogingen (rollouts).
- Het was tot 1,9 keer sneller dan een standaardmethode (GRPO).
- Het was tot 4,0 keer sneller dan een andere methode (DAPO).

De Analogie van de "Uitzetting"

Het artikel noemt ook een functie genaamd "Eviction" (Uitzetting). Stel je voor dat naarmate de student slimmer wordt, sommige problemen die ooit "Goldilocks" waren, "Te Makkelijk" worden. Het Pilot-Commit-systeem merkt dit op en verwijdert die opgeloste problemen permanent uit de lijst om te oefenen, zodat de computer nooit meer een seconde aan hen verspilt.

Samenvatting

Kortom, Pilot-Commit is een slim budgetteringssysteem voor AI-training. In plaats van blindelings alles te oefenen, test het snel een paar problemen om te zien welke echt nuttig zijn voor het leren, en stort het vervolgens al zijn middelen op die specifieke uitdagingen. Hierdoor kan de AI expertniveau wiskundekennis bereiken met veel minder rekenkracht en tijd.

Technische Samenvatting: Besteed Uw Rollouts Waar Het Er Toe Doet

Probleemstelling

Bij het post-trainen van Large Language Models (LLM's) via Versterkend Leren (RL), specifiek binnen de online, on-policy setting, is de dominante computatiewe bottleneck niet de optimalisatiestap maar het genereren van rollouts (sampling). Groepsgebaseerde beleidsoptimalisatiemethoden, zoals Group Relative Policy Optimization (GRPO), berekenen voordelen door meerdere rollouts te vergelijken die voor dezelfde prompt zijn gegenereerd. Echter, bestaande benaderingen verdelen het rollout-budget indiscriminaat over alle prompts in een batch, ongeacht hun leerpotentieel.

Dit leidt tot aanzienlijke inefficiëntie. Prompts met ingestorte beloningsdistributies (waarbij alle rollouts identieke beloningen opleveren, ofwel allemaal correct of allemaal incorrect) produceren nul voordeel en dragen geen gradiënts-signaal bij, terwijl ze toch dure sampling-resources verbruiken. Omgekeerd bieden prompts met hoge beloningsvariantie de sterkste leersignalen. Huidige methoden onderscheiden deze regimes niet online, waardoor rekenkracht wordt verspild aan niet-informatieve data. Hoewel oversampling-strategieën zoals DAPO de exploratie verbeteren, schalen ze de samplingkosten lineair zonder prompts met lage signalen eruit te filteren.

Methodologie: Pilot-Commit

De auteurs stellen Pilot-Commit (PC) voor, een budgetbewust rollout-toewijzingskader dat ontworpen is om promptevaluatie te ontkoppelen van exploitatie. De methode werkt op basis van de theoretische bevinding dat groepsgebaseerde updates het meest effectief zijn in regimes met hoge beloningsvariantie, waar de grootte van de beleidsgradiënt gemaximaliseerd wordt.

Het kader bestaat uit twee fasen per trainingsstap:

Pilot-fase: Een fractie van het totale rollout-budget wordt gebruikt om een klein aantal rollouts ( $n_{pilot}$ ) te sample voor elke prompt in de sampling-batch. Het systeem schat de empirische succesratio (en dus de beloningsvariantie) voor elke prompt onder het huidige beleid.
- Prompts worden gefilterd op basis van asymmetrische drempels. Prompts die als "te makkelijk" worden beschouwd (succesratio $> p_{upper}$ ) worden verwijderd uit toekomstige sampling omdat hun gradiënts-signaal afneemt. Prompts die als "te moeilijk" worden beschouwd (succesratio $< p_{lower}$ ) worden uitgesteld naar de volgende epoch in plaats van te worden weggegooid, met erkenning dat ze de hoge-variantieregime kunnen benaderen naarmate het beleid verbetert.
- Prompts die binnen het doelvariantiebereik vallen (doorgaans nabij $p \approx 0.5$ ) worden geselecteerd voor de commit-fase.
Commit-fase: Het resterende rollout-budget ( $n_{commit}$ ) wordt uitsluitend toegewezen aan de prompts die de pilot-filter hebben doorstaan. Deze prompts ontvangen het grootste deel van de sampling-resources om de trainingsdata te genereren.
Training: Het beleid wordt bijgewerkt met de vereniging van pilot- en commit-rollouts voor de geselecteerde prompts.

Belangrijkste Optimalisaties:

Binding: Om inferentie-overhead te verminderen, wordt de pilot-fase van stap $t-1$ gebonden aan de commit-fase van stap $t$ , waardoor overlappende inferentiepasses mogelijk zijn en slechts een minimale off-policy-vertraging wordt geïntroduceerd.
Replay Buffer: Overbodige prompts die de pilot-filter passeren, worden opgeslagen in een replay buffer om de trainingsbatch te vullen als de huidige pilot-fase te weinig overlevenden oplevert, en verouderde prompts worden verwijderd om veroudering te voorkomen.
Verwijderingsstrategie: Prompts die consequent worden opgelost (alle pilot-rollouts correct) worden permanent uit de sampling-pool verwijderd om verspild budget te voorkomen.

Belangrijkste Bijdragen

Theoretisch Inzicht: Het artikel levert een analytisch bewijs (Propositie 3.1) dat aantoont dat de grootte van de GRPO-groepsgradiënt wordt gemaximaliseerd wanneer beloningsuitkomsten binnen een groep maximaal onzeker zijn (d.w.z. hoge variantie). Dit vestigt beloningsvariantie als een directe proxy voor prompt-informativiteit.
Kaderontwerp: Pilot-Commit introduceert een nieuwe toewijzingsstrategie in twee fasen die een vast rollout-budget dynamisch herverdeelt op basis van live, online schattingen van prompt-informativiteit, waardoor de noodzaak voor auxiliaire modellen of verouderde historische statistieken wordt vermeden.
Systeemimplementatie: De methode is geïmplementeerd als een nieuw recept in het verl RL-framework, met praktische optimalisaties zoals off-policy binding en replay buffers om schaalbaarheid te waarborgen.

Experimentele Resultaten

De auteurs hebben Pilot-Commit geëvalueerd over modelschalen variërend van 1,5B tot 14B parameters op wiskundige redeneringsbenchmarks (waaronder AIME, AMC, MATH 500 en DeepMath).

Rollout-efficiëntie: Pilot-Commit bereikt consistent de doel-baseline-accuraatheid met aanzienlijk minder cumulatieve rollouts in vergelijking met GRPO en DAPO.
- In vergelijking met GRPO bereikt PC de doel-accuraatheid 1,5× tot 1,9× sneller in termen van cumulatieve rollouts.
- In vergelijking met DAPO is PC 2,3× tot 4,0× sneller in cumulatieve rollouts.
Wandkloktijd: Zelfs in sterk geparalleliseerde omgevingen (64 H200 GPU's) vertaalt de reductie in samplingkosten zich naar praktische snelheidswinsten, waarbij PC 1,21× sneller is dan GRPO en 1,83× sneller dan DAPO in wandkloktijd per stap.
Leerkwaliteit: PC behoudt gedurende de training een hogere gemiddelde beloningsvariantie in vergelijking met baselines, wat aangeeft dat updates geconcentreerd zijn op prompts met sterkere gradiënts-signalen. Bijgevolg bereikt PC vaak een hogere piek-accuraatheid dan baselines binnen hetzelfde aantal trainingsstappen.
Robuustheid Hyperparameters: Ablatiestudies tonen aan dat de methode robuust is voor variaties in pilot/commit-splitverhoudingen en filterdrempels, mits de drempels niet worden ingesteld op extremen die ofwel budget verspillen aan hopeloze prompts of juist net informatieve prompts wegwerpen.

Betekenis en Claims

Het artikel beweert dat rollout-toewijzing een "eersteklas probleem" is in RL post-training. Door de focus te verschuiven van "hoeveel rollouts te genereren" naar "op welke prompts ze te besteden", adresseert Pilot-Commit de fundamentele inefficiëntie van uniforme sampling.

De auteurs benadrukken dat hun aanpak het trainingsdoel niet wijzigt of een vast curriculumorde oplegt. In plaats daarvan past het zich online aan aan het evoluerende beleid, zodat het computatiebudget wordt besteed waar het leersignaal het sterkst is. De resultaten suggereren dat voor groepsgebaseerde RL post-training, intelligente sampling-toewijzing aanzienlijke efficiëntiewinsten kan opleveren zonder de uiteindelijke modelprestaties te offeren, en deze vaak zelfs verbetert. Het werk wordt gepresenteerd als een complementaire verbetering op systeemniveau doorvoeroptimalisaties, met focus op de effectiviteit van de data die wordt gesampled in plaats van alleen de snelheid van generatie.