🤖 machine learning

Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime

Dit artikel stelt Prefix Sampling voor, een methode die trajectvoorvoegsels reconstrueert om agentic RL met binaire beloningen te sturen naar een optimale doorloopsnelheid van 50%, waardoor de entropie van de beloning en contrastieve signalen worden gemaximaliseerd om aanzienlijke versnellingen in werkelijke tijd en verbeterde prestaties op benchmarks zoals SWE-bench en AIME te bereiken.

Oorspronkelijke auteurs: Tianshu Zhu, Wenyu Zhang, Xiaoying Zuo, Lun Tian, Haotian Zhao, Yucheng Zeng, Jingnan Gu, Daxiang Dong, Jianmin Wu, Dawei Yin, Dou Shen

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianshu Zhu, Wenyu Zhang, Xiaoying Zuo, Lun Tian, Haotian Zhao, Yucheng Zeng, Jingnan Gu, Daxiang Dong, Jianmin Wu, Dawei Yin, Dou Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Energie Verspillen aan "Te Makkelijke" of "Te Moeilijke" Taken

Stel je voor dat je een coach bent die een team van studenten-atleten traint om complexe puzzels op te lossen. Je geeft ze een batch van 8 puzzels per keer.

De "Te Makkelijke" Batch: 7 of 8 studenten lossen de puzzel direct op. Ze zijn verveeld, en je leert niets nieuws omdat ze het allemaal goed hebben.
De "Te Moeilijke" Batch: 0 of 1 student lost het op. Iedereen anders zit vast. Je leert niets omdat er geen succesvol voorbeeld is om te bestuderen.
De "Precies Goed" Batch: 4 studenten lossen het op, en 4 falen. Dit is het sweet spot. Je hebt een perfecte mix van succes en falen om van te leren. De studenten die faalden kunnen precies zien wat de succesvolle studenten anders deden.

In de wereld van AI heet dit Versterkend Leren (RL). De AI genereert veel "rollouts" (pogingen) om een probleem op te lossen. Het artikel stelt dat de huidige AI-training een enorme hoeveelheid computerkracht verspilt aan de "Te Makkelijke" en "Te Moeilijke" batches, omdat ze geen bruikbare leersignalen bieden.

De Oplossing: "Prefix Sampling" (De "Voorsprong" en "Handicap" Truc)

De onderzoekers stellen een slimme methode voor genaamd Prefix Sampling om dit op te lossen. In plaats van gewoon de slechte batches weg te gooien of de AI te vragen om vanaf nul opnieuw te proberen (wat traag en duur is), gebruiken ze een "tijdreizen"-truc.

Denk aan de poging van de AI als een lang verhaal dat wordt geschreven.

Het "Te Moeilijke" Scenario: De AI probeert een moeilijk probleem op te lossen en faalt grotendeels.
- De Truc: Het systeem vindt de ene succesvolle poging die de AI in die batch wel heeft gedaan. Het neemt het eerste deel van dat succesvolle verhaal (de "prefix") en dwingt de AI om de volgende poging vanaf dat exacte punt te starten.
- De Analogie: Het is alsof je een worstelende student een voorsprong geeft. "Je kwam hier vast te zitten, maar kijk, je hebt het eerste deel eigenlijk correct opgelost. Start je volgende poging vanaf hier." Dit maakt het moeilijke probleem makkelijker en duwt het slagingspercentage omhoog naar 50%.
Het "Te Makkelijke" Scenario: De AI lost het probleem te makkelijk op.
- De Truc: Het systeem vindt de ene gefaalde poging in die batch. Het neemt het eerste deel van die mislukking en dwingt de AI om vanaf daar te starten.
- De Analogie: Het is alsof je een genie-student een handicap geeft. "Je hebt dit te snel opgelost. Laten we doen alsof je aan het begin een fout maakte. Start je volgende poging vanaf deze fout." Dit maakt het makkelijke probleem moeilijker en duwt het slagingspercentage omlaag naar 50%.

Waarom 50% het Magische Getal is

Het artikel doet wat wiskunde om te bewijzen dat 50% succes het meest informatieve punt is.

Entropie (Verwarring): Als je weet dat een AI altijd zal winnen of altijd zal verliezen, is er geen verrassing. Als het de helft van de tijd wint, is er maximale "verrassing" of informatie om van te leren.
Contrast: Om te leren, moet je een "win" vergelijken met een "verlies". Als iedereen wint, heb je geen verliezen om mee te vergelijken. Als iedereen verliest, heb je geen winsten. Je hebt een 50/50-verdeling nodig om het beste contrast te krijgen.

Hoe Het Werkt in de Wereld (Het "Staat-gebaseerde" Deel)

Dit is het moeilijkste deel om uit te leggen, maar het is cruciaal. Bij eenvoudige wiskundeproblemen schrijft een AI gewoon tekst. Maar bij software-engineering (zoals het repareren van code) is de AI een "agent" die bestanden opent, commando's uitvoert en de staat van de computer verandert.

Normaal gesproken moet je, als je een eerdere poging wilt herhalen, de hele computeromgeving resetten, wat traag is.

De Innovatie: De onderzoekers bouwden een systeem dat de acties van de AI stap-voor-stap kan "herspelen" om de exacte staat van de computer (de code, de bestanden, de geschiedenis) te reconstrueren zonder opnieuw te beginnen.
Het Maskeren: Wanneer de AI doorgaat vanuit deze hergespeelde staat, vertelt het systeem de AI: "Jij hebt het eerste deel niet geschreven (we hebben dat voor je hergespeeld). Je krijgt alleen krediet voor het nieuwe deel dat je schrijft." Dit zorgt ervoor dat de AI leert van zijn eigen nieuwe beslissingen, niet van de oude.

De Resultaten: Sneller en Slimmer

De onderzoekers testten dit op twee soorten taken:

Software Engineering (SWE-bench): Het oplossen van echte code-bugs.
Wiskunde (AIME 2025): Het oplossen van moeilijke wiskundeolympiade-problemen.

De Winst:

Snelheid: De AI bereikte hetzelfde hoge prestatieniveau in de helft van de tijd (tot 2x sneller) bij de grotere modellen.
Efficiëntie: Het verspilde minder computerkracht aan nutteloze "allemaal-winst" of "allemaal-verlies" pogingen.
Prestatie: De uiteindelijke AI was eigenlijk beter in het oplossen van problemen dan de standaard trainingsmethode, en behaalde hogere scores.

Samenvatting

Het artikel introduceert een "verkeersregelaar" voor AI-training. In plaats van de AI wild rond te laten rennen en tijd te verspillen aan taken die te makkelijk of te moeilijk zijn, stuurt het de trainingsbatches actief aan naar een 50% slagingspercentage. Dit doet het door worstelende AI een "voorsprong" te geven vanuit een eerdere succespoging en oververzekerde AI een "handicap" te geven vanuit een eerdere mislukking. Dit houdt het leerproces in de "Goldilocks-zone", waardoor training aanzienlijk sneller en effectiever wordt.

Technische Samenvatting: Controle van de Doorloopkans via Prefix Sampling

1. Probleemstelling

In Reinforcement Learning met Verifieerbare Beloningen (RLVR) met binaire beloningen, zoals software-engineering (SWE-bench) en wiskundig redeneren, vertrouwen online policy-gradient-methoden zoals Group Relative Policy Optimization (GRPO) op het sample van groepen van rollout-trajecten om contrastieve leersignalen te genereren. Er ontstaat echter een aanzienlijke inefficiëntie wanneer deze gesamplede groepen een scheef verdeelde doorloopkans vertonen (bijvoorbeeld alle successen of alle mislukkingen, of sterk onbalans verhoudingen zoals 1/8 of 7/8).

In dergelijke scheef verdeelde regimes bieden binaire beloningen zwakke contrastieve signalen. Specifiek:

Groepen met alle mislukkingen (0/N) of alle successen (N/N) worden doorgaans verworpen door heuristieken voor groep-filtering (bijvoorbeeld in GRPO of DAPO), omdat ze geen signaal van relatief voordeel bieden.
Scheef verdeelde groepen (bijvoorbeeld 1/8 of 7/8) die de filtering overleven, bieden nog steeds suboptimale leersignalen in vergelijking met gebalanceerde groepen.
Verspilling van Rekenkracht: Het genereren van deze niet-informatieve trajecten verbruikt aanzienlijke rekenresources en wandelkloktijd zonder evenredige trainingsvoordelen op te leveren.

Bestaande methoden proberen dit te mitigeren door middel van impliciete filtering, dynamisch sampling, of het injecteren van externe begeleiding (hints, orakel-prefixen, of docent-traces). Deze benaderingen falen echter vaak om de doorloopkans van behouden groepen expliciet te sturen naar het meest informatieve regime, of ze veranderen het resource-budget en protocol door het introduceren van externe data.

2. Methodologie: Prefix Sampling (PS)

De auteurs stellen Controle van de Doorloopkans van Rollouts (Rollout-PRC) voor als een expliciet doel, waarbij ze een doorloopkans van 50% identificeren als het optimale operationele punt voor RL met binaire beloningen. Vervolgens introduceren ze Prefix Sampling (PS), een bidirectioneel kader dat scheef verdeelde rollout-groepen stuurt naar dit 50%-regime zonder externe data te vereisen of het rollout-budget te wijzigen.

2.1 Theoretische Basis: Waarom 50%?

Het artikel toont aan dat een doorloopkans van 50% ( $p=0.5$ ) vier complementaire maatstaven van de sterkte van het leersignaal maximaliseert:

Reward Entropie: Maximaliseert de informatie-inhoud van binaire uitkomsten.
Overlevingskans: Maximaliseert de kans dat een groep de groep-filtering overleeft (d.w.z. niet alle mislukkingen of alle successen zijn).
RLOO-voordeel-energie: Maximaliseert de variantie van Leave-One-Out (RLOO) voordeel-schattingen onder GRPO.
Contrastieve Paren: Maximaliseert het aantal succes-mislukking paren dat beschikbaar is voor contrastief leren binnen een groep.

2.2 Het Prefix Sampling Kader

Prefix Sampling werkt door traject-prefixen opnieuw af te spelen om de moeilijkheidsgraad van de voortzetting voor scheef verdeelde groepen aan te passen:

Voor "Moeilijke" Groepen (Lage Doorloopkans, bijv. 1/8 of 2/8): Het systeem selecteert een succesvolle traject uit dezelfde batch (of een opgeslagen prefix) en speelt de prefix opnieuw af. Dit fungeert als een "voorsprong", waarbij het huidige beleid een correcte deeloplossing krijgt om vanaf verder te gaan, waardoor de kans op een succesvolle voltooiing toeneemt.
Voor "Gemakkelijke" Groepen (Hoge Doorloopkans, bijv. 6/8 of 7/8): Het systeem selecteert een mislukte traject en speelt de prefix opnieuw af. Dit fungeert als een "handicap", waarbij het beleid wordt gedwongen een moeilijke weg te navigeren die het eerder heeft gefaald, waardoor de kans op mislukking toeneemt en een contrastief signaal ontstaat.

2.3 Implementatie in Stateful Omgevingen

Een belangrijke innovatie van PS is het vermogen om te functioneren in stateful agent-omgevingen (bijvoorbeeld codeeragenten met toolgebruik en interactie met de omgeving):

Replay door Uitvoering: In plaats van simpelweg tekst te concateneren, reconstrueert het systeem de staat van de agent (code, conversatiegeschiedenis, tool-outputs, omgevingsstaat) door de opgeslagen prefix-antwoorden door de standaard actie-parser en omgevings-executor te voeren.
Prefix Maskering: Om te waarborgen dat krediettoewijzing on-policy blijft, wordt het verlies gemaskeerd voor alle tokens in de opnieuw afgespeelde prefix. Optimalisatie is beperkt tot de voortzettingstokens gegenereerd door het huidige beleid. Dit voorkomt dat het model krediet ontvangt voor acties die het niet heeft gegenereerd, terwijl het nog steeds profiteert van de gereconstrueerde staat.
Adaptieve Controle: Een adaptieve controller onderhoudt een exponentiële voortschrijdende gemiddelde (EMA) van de doorloopkans bij herrollout voor elke "bucket" van scheefheid (1/8, 2/8, 6/8, 7/8). Het past dynamisch de prefix-ratio (de lengte van de prefix om opnieuw af te spelen) aan om de doorloopkans van elke bucket te sturen naar het 0,5-doel.

3. Belangrijkste Bijdragen

Formulering van Rollout-PRC: Het artikel identificeert en formaliseert controle van de doorloopkans als een principieel efficiëntiedoel voor RL met binaire beloningen, en bewijst dat een doorloopkans van 50% de reward-entropie, voordeel-energie en contrastieve structuur maximaliseert.
Prefix Sampling-algoritme: Een bidirectioneel kader dat zelf gegenereerde prefixes gebruikt (geen externe orakels) om scheef verdeelde groepen te sturen. Het ondersteunt uniek stateful agent-omgevingen via replay door uitvoering en prefix-maskering.
Empirische Validatie: Aangetoond over meerdere schalen (Qwen3-4B tot 32B) en domeinen (SWE-bench en AIME 2025), waarbij blijkt dat PS prestaties op basisniveau bereikt in minder stappen en aanzienlijke end-to-end snelheidswinsten oplevert.

4. Experimentele Resultaten

De auteurs hebben PS geëvalueerd op SWE-bench Verified (agente RL) en AIME 2025 (wiskundig redeneren) met Qwen3-modellen (4B, 8B, 14B, 32B).

4.1 Benchmark Prestaties

SWE-bench Verified:
- Qwen3-14B: Bereikte de piekprestatie van de basislijn (0,273) bij stap 170 (vs. 300 voor basislijn) en bereikte een nieuwe piek van 0,295 (+4,7 procentpunten).
- Qwen3-32B: Bereikte de piek van de basislijn bij stap 290 (vs. 410) en bereikte een piek van 0,422 (+5,4 procentpunten).
AIME 2025:
- Qwen3-4B: Bereikte de piek van de basislijn bij stap 140 (vs. 230) met een winst van +7,3 pp.
- Qwen3-8B: Bereikte de piek van de basislijn bij stap 190 (vs. 260) met een winst van +10,8 pp.

4.2 Efficiëntie en Snelheidswinsten

End-to-End Snelheidswinst: PS leverde een snelheidswinst van 2,01× op Qwen3-14B en 1,55× op Qwen3-32B.
Trainings-efficiëntie: Het aantal trainingsstappen om de gewone-taak-score van de basislijn te bereiken, werd met 1,51× tot 1,92× verminderd over de modellen.
Geldige Groepen: Het aantal geldige (niet-degenererende) rollout-groepen per batch nam aanzienlijk toe (bijvoorbeeld van 25,9 naar 36,7 voor 14B), wat wijst op een efficiënter gebruik van het rollout-budget.
Wandelkloktijd: In stateful SWE-loops verminderde het opnieuw afspelen van prefixes de wandelkloktijd per stap door het hergebruik van gereconstrueerde staten in plaats van het opnieuw genereren van prefixes, wat bijdroeg aan de algehele snelheidswinst.

4.3 Ablatie Studies

Ablaties op de wiskundeloop met 4B bevestigden de decompositie van de winsten:

Replay: De primaire drijver van convergentiesnelheid (1,61× snelheidswinst met vaste replay).
Adaptieve Controle: Essentieel om de doorloopkans bij herrollout dicht bij 0,5 te houden; vaste ratios leidden tot suboptimale doorloopkansen (bijvoorbeeld 0,36 of 0,65) en langzamere convergentie.
Bidirectionele Dekking: Het controleren van zowel moeilijke als gemakkelijke buckets is noodzakelijk; het controleren van alleen moeilijke buckets leverde aanzienlijk lagere winsten op.

5. Betekenis en Claims

Het artikel beweert dat Prefix Sampling een principieel, resource-efficiënte methode biedt om training van RL met binaire beloningen te verbeteren zonder te vertrouwen op externe supervisie of het verhogen van rekenbudgetten.

Mechanisme: De winsten worden toegeschreven aan het sturen van scheef verdeelde, deels succesvolle groepen naar het hoog-signaal 50%-regime, waardoor de reward-entropie en contrastieve paren toenemen.
Stateful Capaciteit: In tegenstelling tot eerdere methoden die vertrouwen op alleen tekst-gebaseerde prefix-concatenatie, reconstrueert PS succesvol stateful agent-omgevingen (code, tools, geschiedenis) via uitvoeringsreplay, waardoor het toepasbaar is op complexe agente-taken.
Bescheidenheid: De auteurs stellen expliciet dat hun claims beperkt zijn tot RLVR met binaire beloningen en gegroepeerde rollouts. Ze claimen niet dat 50% optimaal is voor alle curriculum-ontwerpen of dat de methode de noodzaak van diverse data elimineert; eerder optimaliseert het het gebruik van het bestaande rollout-budget. De methode wordt gepresenteerd als een "drop-in" controller die compatibel is met bestaande GRPO++-pijplijnen.

Kortom, het artikel toont aan dat door actief het beheer van de doorloopkans van rollout-groepen te sturen naar een doel van 50%, de training van agente RL-systemen aanzienlijk kan worden versneld terwijl de uiteindelijke prestaties behouden of verbeterd blijven, alles binnen dezelfde rekenbeperkingen als standaard basislijnen.