Technische Samenvatting: Rollout-Level Advantage-Prioritized Experience Replay voor GRPO

Probleemstelling

Reinforcement Learning from Verifiable Rewards (RLVR) met behulp van Group Relative Policy Optimization (GRPO) is de standaard geworden voor post-training redeneren in Large Language Models (LLMs). GRPO is echter inherent inefficiënt qua samples. In de standaard on-policy setting wordt een groep kandidaat-rollouts gegenereerd voor elke prompt, gebruikt voor een enkele gradiënt-update, en vervolgens weggegooid. Dit is bijzonder verspillend voor rollouts die een sterke leer-signaal dragen, zoals zeldzame correcte antwoorden binnen een groep van incorrecte antwoorden.

Experience Replay (ER) is een veelvoorkomende techniek om de sample-efficiëntie te verbeteren in andere domeinen van reinforcement learning, maar het vertaalt zich niet direct naar GRPO om twee primaire redenen:

1. Snelle Policy Drift: LLM-policies verschuiven aanzienlijk per gradiënt-stap. Opgeslagen rollouts worden snel "verouderd" (stale), en het gebruik ervan zonder controle kan de training destabiliseren.
2. Granulariteit op Groepsniveau: Standaard GRPO aggregeert per-rollout leer-signalen naar een enkel query-niveau waarde. Naïeve replay-schema's die hele groepen (query-niveau) opslaan en samplen, falen in het isoleren van de specifieke hoog-signaal rollouts binnen een groep die de leerprocessen aansturen.

Bestaande pogingen om replay toe te passen op GRPO lijden vaak aan onbegrensde veroudering of vertrouwen op query-niveau priorititeits-signalen (bijv. groepsvariantie) die niet in staat zijn om de binnen-groep minderheid-rollouts te identificeren waar de meest informatieve gradiënten verborgen liggen.

Methodologie

De auteurs stellen een Rollout-Level Advantage-Prioritized Experience Replay buffer voor, specifiek ontworpen voor GRPO. De methode integreert drie kerncomponenten om veroudering en signaalisolatie aan te pakken:

1. Age Eviction (Controle van Veroudering)

Om de policy-lag van hergebruikte data te beperken, maakt de buffer gebruik van age eviction. Elke opgeslagen rollout wordt voorzien van een "geboortestap" ($t_b$). Op elk trainingsstap $t$ is de leeftijd van een rollout $t - t_b$. Elke rollout ouder dan een maximale drempelwaarde $\tau_{max}$ wordt verwijderd (evicted).

• In tegenstelling tot capaciteitsgebaseerde verwijdering, die varieert met model schaal en datadifficuliteit, biedt age eviction een stap-niveau limiet op veroudering die invariant is voor modelgrootte.
• Dit zorgt ervoor dat geen enkele update een rollout hergebruikt voorbij een vast aantal trainingsstappen, wat het risico op trainen op significant off-policy data mitigeert.

2. Fresh-Anchored Composition

De auteurs wijzen de standaard "pool composition" af (waarbij verse en gereplayde data worden gemengd in één enkele batch) ten gunste van fresh-anchored composition.

• Bij elke trainingsstap wordt de volledige batch van verse, on-policy rollouts behouden.
• Een aparte set replay-rollouts wordt gesampled uit de buffer en geconcateneerd aan de verse batch.
• Dit zorgt ervoor dat elke gradiënt-update een "fresh anchor" bevat, waardoor de worst-case policy lag onafhankelijk van het replay-gedeelte wordt begrensd. Dit is cruciand bij grotere model-schalen waar het mengen van verouderde data met verse data in een enkele pool werd waargenomen als een factor die de prestaties onder de standaard GRPO degradeert.

3. Rollout-Level $|A_i|$ Prioriteit

In plaats van hele groepen (query-niveau) te samplen, slaat de buffer individuele rollouts op en samplet deze.

• Prioriteits-signaal: De prioriteit voor sampling is de absolute magnitude van de advantage $|A_i|$ van de individuele rollout. In GRPO is $A_i$ de groep-relatieve advantage. Rollouts met een grote $|A_i|$ (typisch de minderheid in scheve groepen, bijv. het enkele correcte antwoord in een groep van foute antwoorden) leveren het grootste deel van het leer-signaal.
• Mechanisme: Door te samplen op rollout-niveau, kan de methode selectief deze hoog-signaal minderheid-rollouts recyclen die in de standaard GRPO vaak na één passage worden weggegooid. Dit staat in contrast met query-niveau signalen zoals groepsvariantie ($\sigma_g$), die alle rollouts in een groep gelijk behandelen en er niet in slagen om de specifieke minderheid-instanties te prioriteren.

De trainingsprocedure (Algoritme 1) omvat het genereren van verse rollouts, het filteren van groepen met nul-variantie, het samplen van replay-rollouts op basis van $|A_i|$ prioriteit uit de age-gated buffer, en het uitvoeren van een GRPO-update op de geconcateneerde batch.

Belangrijkste Bijdragen

1. Nieuw Replay Architectuur: Het paper introduceert een GRPO-specifieke replay buffer die age eviction, fresh-anchored composition en rollout-level $|A_i|$ prioriteit combineert.
2. Empirische Superioriteit: De methode presteert beter dan standaard GRPO en naïeve replay-baselines (uniforme en $\sigma_g$ prioriteit met pool composition) over drie model-schalen (0.6B, 1.7B en 4B) op vijf wiskundige redeneer-benchmarks.
3. Scaling Winsten: Prestatiewinsten schalen met de modelgrootte. De grootste verbetering wordt waargenomen bij de 4B-schaal, met een toename van 4,35 procentpunt (pp) op het gemiddelde van de vijf benchmarks vergeleken met GRPO.
4. Efficiëntie Analyse: Gebruikmakend van de Accuracy-Efficiency Score (AES), die accuraatheid en token-generatielengte gezamenlijk meet, toont de methode een significante efficiëntiemarge over GRPO, met name bij de 4B-schaal (+0,579 AES).
5. Ablatie Studies: Per-as ablaties valideren dat elke component noodzakelijk is:
   • Age Eviction: Een matige limiet ($\tau_{max}=10$) balanceert replay volume en veroudering; grotere limieten leiden tot prestatieverlies door policy lag.
   • Composition: Fresh-anchored composition is essentieel op schaal; pool composition zorgt ervoor dat het 4B-model onder de standaard GRPO zakt.
   • Priority: Rollout-level $|A_i|$ prioriteit presteert significant beter dan query-level signalen ($\sigma_g$ of uniform), vooral bij het verbeteren van pass@k (sampling diversiteit).

Resultaten

• Accuraatheid: Op het gemiddelde van de vijf benchmarks (MATH-500, AIME25, AIME26, HMMT-F25, HMMT-F26) bereikte het 4B-model 31,06% accuraatheid met de voorgestelde methode, vergeleken met 26,71% voor standaard GRPO en 26,70% voor de beste naïeve baseline.
• Sampling Diversiteit: De methode verbetert de pass@k metrieken, wat aangeeft dat het de diversiteit van sampling behoudt die standaard RLVR vaak vernauwt. Bij 4B overtrof de methode GRPO met +10,06 pp op de pass metriek.
• Token Efficiëntie: De AES-analyse onthult een asymmetrische verandering in respons-lengte: het model genereert langere responses voor correcte rollouts (+34,9% bij 4B) en kortere responses voor incorrecte rollouts (-10,2% bij 4B). Dit suggereert dat de methode het token-budget optimaliseert door meer tokens toe te wijzen aan hoog-waarschijnlijkheid correcte oplossingen terwijl incorrecte pogingen worden gecomprimeerd.

Betekenis en Claims

Het paper claimt dat de methode een sample-efficiënte training procedure biedt voor GRPO op verificeerbare-beloning wiskunde-redeneertaken. De betekenis ligt in het aantonen dat experience replay succesvol kan worden aangepast aan de unieke beperkingen van LLM post-training (snelle drift en groep-relatieve advantages) zonder de training te destabiliseren.

De auteurs kaderen hun bijdragen bescheiden als een specifieke oplossing voor de sample-inefficiëntie van GRPO, waarbij zij opmerken dat:

• De methode momenteel beperkt is tot binaire verificeerbare beloningen (wiskunde redeneren) en geen aanspraak maakt op generalisatie naar niet-verifieerbare beloningen (bijv. geleerde reward modellen) of andere RL-algoritmen (bijv. PPO, REINFORCE) zonder verder onderzoek.
• De scaling trends zijn waargenomen binnen het geteste bereik (0.6B tot 4B) en op specifieke prompt-sets; transfer naar grotere schalen of niet-wiskunde domeinen is niet gevalideerd.
• De resultaten gebaseerd zijn op een enkele training seed en specifieke evaluatie-instellingen, hoewel het gebruik van meerdere benchmarks een indirecte indicatie van stabiliteit geeft.

Uiteindelijk vestigt het werk vast dat rollout-level prioritering gecombineerd met strikte verouderingscontrole het effectief recyclen van hoog-waardige leer-signalen in GRPO mogelijk maakt, wat leidt tot substantiële winsten in zowel accuraatheid als token-efficiëntie naarmate de modelgrootte toeneemt.