Technische Samenvatting: Begrip van Diversiteitscollaps in RLVR door de Lens van Overtraining

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een primaire methode geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's) op taken met objectief controleerbare uitkomsten. Echter, een hardnekkig probleem dat bekend staat als diversiteitscollaps (diversity collapse) teistert dit paradigma: terwijl de single-sample nauwkeurigheid van het model (Pass@1) verbetert, degradeert het vermogen om een correcte oplossing te vinden over meerdere pogingen (hoge-k Pass@k) vaak naarmate de training vordert.

Eerdere verklaringen schrijven dit toe aan de zelfversterkende aard van on-policy updates, waarbij trajecten die al waarschijnlijk succesvol zijn, vaker worden gesampled en versterkt, waardoor de beleidsdistributie (policy distribution) verscherpt naar een krimpende subset van oplossingen. Dit artikel betoogt dat deze "verscherpingsbias" (sharpening bias) een universele eigenschap is van RLVR-updates, maar dat dit niet volledig verklaart wanneer een update de redeneergrens van het model uitbreidt versus wanneer het slechts de waarschijnlijkheidsmassa herverdeelt onder reeds bereikbare oplossingen. De auteurs stellen voor om diversiteitscollaps te bekijken door de lens van overtraining: zodra de bijdrage van een probleem aan een referentiemetriek (specifiek hoge-k Pass@k) verzadigd is, kunnen verdere updates de redeneergrens niet meer uitbreiden, maar blijven ze de waarschijnlijkheidsmassa concentreren, wat leidt tot collaps.

Methodologie

Theoretische Analyse: Overtraining en Verzadiging

De auteurs formaliseren de redeneergrens met behulp van Pass@k, gedefinieerd als $1 - (1-p)^k$ voor een probleem met succeswaarschijnlijkheid $p$. Ze demonstreren dat onder standaard RLVR-opstellingen (meestal $n=8$ rollouts per probleem), de empirische succesratio $\hat{p}$ gekwantiseerd is (bijv. $0/8, 1/8, \dots$).

• Agressieve Verzadiging: Voor een grote $k$ (bijv. $k=256$) levert zelfs één geobserveerd succes ($\hat{p}=1/8$) een Pass@256-waarde van $\approx 1$ op.
• Overtraining Regime: Bij consequent is elk probleem dat ten minste één correcte rollout heeft geproduceerd, effectief in een "verzadigd" regime met betrekking tot de redeneergrens. Updates op deze problemen (of het nu gaat om het versterken van correcte trajecten of het onderdrukken van incorrecte trajecten) leveren een verwaarloosbare marginale winst op voor de hoge-k Pass@k, maar zorgen er wel voor dat de beleidsdistributie verder verscherpt, wat diversiteitscollaps veroorzaakt.
• De Zero-Success Bucket: De enige bucket waar updates de redeneergrens betekenisvol kunnen uitbreiden, is $B_{0/n}$, waar geen correcte rollouts zijn geobserveerd.

Empirische Onderzoek

De studie maakt gebruik van twee complementaire benaderingen om te valideren dat RLVR de redeneergrens wel degelijk uitbreidt, zelfs als geaggregeerde metrieken het tegendeel suggereren:

1. Observationele Tracking: Het volgen van problemen die aanvankelijk onoplosbaar zijn (Pass@256 = 0) onder het basismodel. De auteurs vinden dat een niet-trivial deel van deze problemen oplosbaar wordt tijdens de standaardtraining, zelfs terwijl een groter aantal voorheen oplosbare problemen de grens verlaat.
2. Interventionele Beperking: Trainingsvarianten waarbij updates worden beperkt tot specifieke rollout-succesbuckets ($B_{m/8}$). Het beperken van updates tot $B_{0/8}$ (de enige niet-verzadigde bucket) resulteert in Pass@256-verbeteringen ten opzichte van het basismodel op moeilijke benchmarks, terwijl updates op buckets met een hoger succes leiden tot een daling.

Voorgestelde Oplossing: Bayesian Boundary Gating (BBG)

Om overtraining te mitigeren, stellen de auteurs Bayesian Boundary Gating (BBG) voor, een methode op probleemniveau die de optimalisatie wegstuurt van verzadigde problemen.

• Mechanisme: BBG schat de verwachte marginale bijdrage van een probleem aan de redeneergrens met behulp van een Beta-Binomiaal Bayesiaans model. Gegeven $m$ successen in $n$ rollouts, is de posterieure distributie van de ware succeswaarschijnlijkheid $p$ gelijk aan $Beta(m+1, n-m+1)$.
• Nutsberekening: De verwachte marginale nutswaarde $u(m; n, k)$ wordt berekend als de verwachting van de afgeleide van de Pass@k-doelstelling: $E[k(1-p)^{k-1}]$.
• Gating Strategie: Problemen met een verwaarloosbaar grensnut (waar de geschatte marginale bijdrage onder een drempel $\tau$ valt) worden hard gegate en uitgesloten van backpropagation. Alleen problemen met een significant geschat nut (voornamelijk die in buckets met weinig succes) ontvangen updates.
• Implementatie: BBG wordt toegepast als een coëfficiënt op de probleem-niveau loss, compatibel met bestaande doelontwerpen zoals W-RF (Weighted Reinforcement with Negative Reinforcement).

Belangrijkste Resultaten

Experimenten werden uitgevoerd met Qwen2.5-Math-7B getraind op de MATH-dataset, geëvalueerd over vier benchmarks: MATH-500, OlympiadBench, MinervaMath en AIME 2025.

• Baseline Prestaties: Standaard RLVR-methoden (REINVERSE, GRPO, W-RF) verbeteren consistent de Pass@1, maar lijden onder een significante degradatie in de hoge-k Pass@k (bijv. Pass@256) op benchmarks met een gemiddelde moeilijkheidsgraad, wat de diversiteitscollaps bevestigt.
• BBG Prestaties:
  • BBG behaalt de hoogste gemiddelde Pass@k over het bereik $k \in [1, 256]$ op alle benchmarks.
  • Cruciaal is dat BBG de enige methode is die de Pass@256 ten opzichte van het basismodel handhaaft of verbetert over alle vier de benchmarks, waardoor de collaps die bij andere methoden wordt waargenomen, effectief wordt voorkomen.
  • Op de moeilijkste benchmark (AIME 2025) laat BBG substantiële winsten zien over het gehele geëvalueerde bereik, terwijl andere methoden degraderen bij een hoge $k$.
• Ablatie Inzichten: De auteurs tonen aan dat eenvoudige interventies zoals early stopping (stoppen wanneer de validatie Pass@1 verzadigt) of bucket masking (het uitsluiten van buckets met veel succes) de hoge-k prestaties gedeeltelijk kunnen herstellen, wat de overtraining-hypothese valideert. Echter, BBG biedt een meer principiële en effectievere oplossing door updates dynamisch te wegen op basis van geschatte grennut.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Formalisering van Diversiteitscollaps: Het herkadert diversiteitscollaps niet enkel als een probleem van sampling-bias, maar als een gevolg van overtraining ten opzichte van de redeneergrens. Het demonstreert dat onder standaard rollout-budgetten de overgrote meerderheid van de RLVR-updates overtraining is voor de hoge-k Pass@k.
2. Herinterpretatie van de Geaggregeerde Daling: Het artikel levert bewijs dat de breed gerapporteerde geaggregeerde daling in hoge-k Pass@k niet wijst op een falen om nieuwe redeneercapaciteiten te verwerven. In plaats daarvan reflecteert het een netto resultaat waarbij winsten op aanvankelijk onoplosbare problemen worden gemaskeerd door verliezen op reeds oplosbare problemen door overtraining.
3. Effectieve Mitigatie via BBG: Door de optimalisatie te richten op problemen met niet-verzadigde grensbijdragen, slaagt BBG erin de verbetering van Pass@1 te ontkoppelen van de degradatie van de hoge-k Pass@k, wat de algemene redeneerdiversiteit van het model verbetert.

De auteurs hanteren een bescheiden toon met betrekking tot beperkingen, waarbij zij opmerken dat hun experimenten beperkt zijn tot modellen op 7B-schaal en een enkele trainingsset. Zij erkennen dat diversiteitscollaps andere oorzaken kan hebben (bijv. token-niveau credit assignment) en dat de onderdrukking van updates op problemen met veel succes door BBG de Pass@1 kan verminderen in scenario's waar single-sample nauwkeurigheid de enige prioriteit is. Desalniettemin vestigt het werk een nieuw perspectief op RLVR-trainingsdynamiek, waarbij wordt gesuggereerd dat het "verscherpen" van de beleidsdistributie vaak een bijproduct is van het optimaliseren voor een metriek die voor specifieke problemen al gemaximaliseerd is.