Technische Samenvatting: De Onzichtbare Leash? Waarom RLVR Mogelijk Niet Ontsnapt aan Zijn Oorsprong

Probleemstelling

Recente vooruitgang in Large Language Models (LLMs), met name in wiskundig en logisch redeneren, is gedreven door Reinforcement Learning with Verifiable Rewards (RLVR). Hoewel RLVR significante verbeteringen heeft laten zien in single-shot nauwkeurigheid (pass@1), blijft er een fundamenteel debat bestaan: breidt RLVR de redeneergrenzen van een model werkelijk uit om nieuwe oplossingen te ontdekken, of versterkt het slechts hoog-beloonde outputs die het basismodel al bezit, waardoor de precisie wordt verbeterd ten koste van diversiteit?

De huidige literatuur biedt tegenstrijdige visies. Sommige studies suggereren dat RLVR conservatieve optimalisatie uitvoert binnen bestaande capaciteiten, terwijl andere beweren dat het het redeneren in specifieke domeinen uitbreidt. Bovendien leggen standaard evaluatiemetrieken zoals pass@k primair de nadruk op het ophalen van oplossingen (solution retrieval) in plaats van het vermogen tot nieuw redeneren. Er is een gebrek aan systematische empirische onderzoek naar hoe RLVR de effectieve redeneerondersteuning van een model gedurende de training herstructureert, specifiek of het oplossingen kan ontdekken die voorheen ontoegankelijk waren voor het basismodel.

Methodologie

De auteurs introduceren een raamwerk gecentreerd rond Empirical Support (empirische ondersteuning), gedefinieerd als de verzameling correcte oplossingen die een model onder eindige sampling realistisch gezien kan ontdekken. Ze formaliseren de dynamiek van de toegankelijkheid van oplossingen door correcte completions te categoriseren in vier regio's op basis van of het basismodel ($q$) en het door RLVR getrainde model (\pi_\theta}) een niet-verwaarloosbare waarschijnlijkheidsmassa (boven een drempelwaarde $\epsilon$) aan hen toekennen:

1. Support Preservation: Correcte oplossingen toegankelijk voor beide modellen.
2. Support Expansion: Nieuwe, correcte oplossingen toegankelijk voor RLVR (verwaarloosbaar in het basismodel, niet-verwaarloosbaar in RLVR).
3. Support Shrinkage: Correcte oplossingen toegankelijk voor het basismodel maar verloren gegaan in RLVR.
4. Out of Support: Correcte oplossingen gemist door beide.

Om deze dynamiek te kwantificeren, stelt het papier vier metrieken voor:

• Support Retention Rate (SRR): Meet de preservatie van oplossingen van het basismodel.
• Net Discovery Rate (NDR): Meet het fractie van nieuwe, genuwe oplossingen.
• Support Dynamic Score (SDS): Een harmonisch gemiddelde dat retentie en ontdekking balanceert.
• Net Support Change Rate (NSCR): Legt de netto expansie of krimp van de oplossingsruimte vast.

De studie maakt gebruik van uitgebreide empirische experimenten over diverse modelmaten (1.5B tot 32B parameters) en domeinen (wiskunde, logisch redeneren, feitelijke QA, code generatie en visueel redeneren). Geëvalueerde modellen zijn onder meer ProRL, Nemotron, Skywork, AceReason, Phi4 en DAPO varianten. De auteurs analyseren ook de entropie-dynamiek, waarbij onderscheid wordt gemaakt tussen token-level entropy (lokale onzekerheid tijdens generatie) en answer-level entropy (globale diversiteit van uiteindelijke outputs). Daarnaast leveren zij theoretische bewijzen met betrekking tot de limieten van on-policy RL-updates.

Belangrijkste Bijdragen en Resultaten

1. Vo predominante Preservatie met Beperkte Expansie

De empirische resultaten wijzen uit dat RLVR primair fungeert als een support-constrained optimalisatiemechanisme. Over alle geteste modellen en domeinen heen:

• Hoge Retentie, Lage Ontdekking: Support Retention Rates (SRR) zijn consistent hoog (0.90–0.99), wat aangeeft dat RLVR de toegankelijke oplossingen van het basismodel betrouwbaar behoudt. Echter, de Net Discovery Rates (NDR) zijn extreem laag (vaak $\le 0.04$), wat betekent dat de echte ontdekking van nieuwe redeneerpaden zeldzaam is.
• Netto Krimp: In bijna alle gevallen overtreft het aantal verloren gegane correcte oplossingen (Shrinkage) het aantal gevonden nieuwe oplossingen (Expansion). De Net Support Change Rate (NSCR) is consistent negatief, wat suggereert dat RLVR het toegankelijke oplossingsset systematisch vernauwt.
• Paradoxale Prestaties: Hoewel RLVR-modellen vaak beter presteren dan basismodellen bij lage sampling-budgetten (bijv. pass@1), domineren basismodellen vaak bij hoge sampling-budgetten (bijv. pass@8192) vanwege hun bredere oplossingsdekking.

2. De Precisie-Diversiteit Trade-off

De studie identificeert een fundamentele trade-off waarbij RLVR de precisie verbetert door de waarschijnlijkheidsmassa te concentreren op bekende hoog-beloonde trajecten, maar de diversiteit van globale oplossingen vermindert.

• Entropie-dynamiek: Hoewel sommige RLVR-modellen een verhoogde token-level entropy vertonen (wat lijkt op meer onzekerheid tijdens generatie), tonen ze consequent een verlaagde answer-level entropy. Dit geeft aan dat, ondanks lokale stochastiek, de modellen convergeren naar een kleinere set van onderscheidende uiteindelijke antwoorden.
• Perplexity Analyse: RLVR-modellen vertonen een hogere perplexiteit wanneer ze worden geëvalueerd tegen diverse externe redeneer-traces (bijv. van DeepSeek-R1 of Claude Sonnet), wat bevestigt dat ze het vermogen van het model verminderen om waarschijnlijkheid toe te kennen aan diverse stijlen van oplossen.

3. Mechanismen van Zeldzame Expansie

Wanneer expansie wel optreedt (bijv. in taken zoals Dice, Arc 1D, of Boxnet), identificeert het papier twee specifieke mechanismen:

• Recompositie van Subskills: Het basismodel bezit de noodzakelijke subcomponenten (fragmenten), maar slaagt er niet in deze globaal te assembleren. RLVR versterkt deze zwak vertegenwoordigde componenten.
• Prompt-Format Alignment: RLVR corrigeert misalignments in de respons-formattering, waardoor capaciteiten vrijkomen die aanwezig waren maar werden onderdrukt door falen in instructie-opvolging.
  Cruciaal is dat deze expansies geen ontdekkingen zijn van oplossingen die echt afwezig waren uit de basisdistributie; het zijn herwegingen van bestaande long-tail capaciteiten.

4. Theoretische Limieten

Het papier levert theoretische bewijzen (Theorem C.1 en Corollary C.2) die aantonen dat standaard on-policy RLVR-updates de support van de policy niet kunnen uitbreiden voorbij de initiële support van het basismodel. Als het basismodel een kans van nul aan een correcte oplossing toekent, kan RLVR deze niet ontdekken. Bovendien wordt de asymptotische pass@k prestatie van een RLVR-model begrensd door die van het basismodel.

Betekenis en Claims

Het papier claimt de "onzichtbare leash" te hebben onthuld die de huidige RLVR-praktijken beperkt. De primaire betekenis van dit werk ligt in:

• Herformulering van de Rol van RLVR: Het positioneert RLVR niet als een capaciteitsuitbreider die nieuwe redeneerhorizonten ontsluit, maar als een precisie-verbeteraar die de distributie aanscherpt rond bekende hoog-beloonde modi.
• Limieten van Huidige Paradigma's: Het daagt de aanname uit dat RLVR inherent leidt tot dieper redeneren of nieuw probleemoplossend vermogen. In plaats daarvan suggereert het dat zonder expliciete exploratiestrategieën, RLVR fundamenteel beperkt wordt door de initialisatie van het basismodel.
• Implicaties voor Evaluatie: De bevindingen suggereren dat het uitsluitend vertrouwen op pass@1 of lage-budget metrieken de capaciteiten van RLVR kan overschatten, omdat deze metrieken de geconcentreerde distributies bevoordelen die RLVR produceert, terwijl ze de loss van diversiteit negeren die prestaties schaadt in high-budget of multi-solution scenario's.
• Toekomstige Richtingen: De auteurs concluderen dat het doorbreken van deze "onzichtbare leash" toekomstige innovaties vereist die expliciet waarschijnlijkheidsmassa injecteren in ondervertegenwoordigde oplossingsregio's, waarbij men verder moet gaan dan standaard on-policy optimalisatie naar hybride strategieën of expliciete exploratiemechanismen.

Het werk claimt niet deze beperkingen op te lossen, maar beoogt een rigoureus empirisch en theoretisch fundament te bieden voor het begrijpen van de inherente trade-offs tussen precisie en diversiteit in verificatie-beloonde reinforcement learning.