Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs

Probleemstelling

Reinforcement Learning met verifieerbare beloningen (RLVR) heeft aanzienlijke verbeteringen teweeggebracht in het redeneervermogen van Large Language Models (LLMs), met name via methoden zoals Group Relative Policy Optimization (GRPO) en DAPO. Ondanks deze empirische successen blijft de onderliggende mechanisme onduidelijk: hoe verandert RLVR precies het gedrag van het model op token-niveau?

Bestaande evaluaties focussen vaak op aggregaten op response-niveau (zoals nauwkeurigheid of lengte), wat geen inzicht biedt in de specifieke token-distributies die leiden tot verbeteringen. De centrale vraag is: hoe herschikt RLVR de voorspellende distributies van een basismodel op token-niveau, en welke van deze veranderingen drijven de verbeteringen in redeneertaken daadwerkelijk aan?

Methodologie

De auteurs voeren een systematisch empirisch onderzoek uit gericht op drie hoofdanalyses:

1. Karakterisering van Distributieverschuivingen:

   • Ze vergelijken de conditionele next-token distributies ($\pi_{base}$ vs. $\pi_{RL}$) onder identieke sequentiecontexten.
   • Als maatstaf voor verschil gebruiken ze de Jensen-Shannon (JS) divergentie, omdat deze symmetrisch, begrensd en robuust is ten opzichte van truncated distributies (top-p).
   • Ze analyseren de verdeling van deze divergentie over token-posities, de relatie met entropie, en de positieve concentratie (waar in de sequentie vinden de veranderingen plaats?).

2. Cross-Sampling Interventies (Functioneel Belang):

   • Om de causaliteit te testen, voeren ze "forward" en "reverse" cross-sampling experimenten uit.
   • Forward: Ze injecteren een klein aantal tokens gesampled door het RL-model in generaties van het basismodel.
   • Reverse: Ze vervangen een klein aantal tokens van het RL-model door tokens van het basismodel.
   • Ze variëren het "interventiebudget" (aantal vervangingen) om te zien hoe de nauwkeurigheid reageert.

3. Fijne Mechanica van Verschuivingen:

   • Ze onderzoeken of RLVR nieuwe tokens introduceert of bestaande kansmassa herschikt.
   • Analyses omvatten: overlap van top-k kandidaatsets, rangschikking (ranking) verschuivingen, gedrag van lage-probabiliteit tokens, en de evolutie van deze verschuivingen tijdens het trainingsproces.

4. Divergentie-Gewogen Voordelen:

   • Als diagnostische interventie testen ze of het gewichten van het RL-voordeelsignaal (advantage) op basis van de token-divergentie leidt tot betere training.

Belangrijkste Bijdragen en Resultaten

1. Extreme Spaarsheid en Gerichtheid (Sparsity)

De meest fundamentele bevinding is dat RLVR extreem spaarzaam werkt op token-niveau.

• Statistieken: Bij SimpleRL vertoont meer dan 98% van de token-posities een JS-divergentie die dicht bij nul ligt. Bij DAPO is dit meer dan 83%.
• Conclusie: RLVR herschrijft het modelgedrag niet globaal, maar maakt zeer gerichte, lokale aanpassingen op een klein subset van tokens.

2. Functionele Kritikaliteit via Cross-Sampling

De spaarse veranderingen zijn direct verantwoordelijk voor de prestatieverbeteringen:

• Forward Cross-Sampling: Het injecteren van slechts 1,5% tot 8% RL-tokens in basis-generaties is voldoende om de nauwkeurigheid van het basismodel te herstellen tot (en soms zelfs te overtreffen) het niveau van het RL-model.
• Reverse Cross-Sampling: Het vervangen van slechts 4% tot 10% van de RL-tokens door basis-tokens doet de prestaties van het RL-model instorten tot het niveau van het basismodel (of zelfs lager).
• Interpretatie: Het basis- en RL-model gedragen zich bijna identiek op de meeste tokens. Het verschil zit in een zeer klein aantal "kritieke beslispunten" die de redeneertrajecten sturen naar succesvolle oplossingen.

3. Mechanica van de Verschuivingen

Op de posities waar wel verandering optreedt, gebeurt het volgende:

• Herschikking vs. Uitvinding: RLVR introduceert zelden volledig nieuwe tokens. In plaats daarvan herverdeelt het waarschijnlijkheidsmassa binnen een bestaande set van plausibele kandidaten (hoge overlap in top-k sets).
• Ranking: De RL-strategie prioriteert vaak een ander token uit de top-3 van het basismodel, in plaats van een token te kiezen dat het basismodel als onwaarschijnlijk beschouwde.
• Entropie: Hoewel veel veranderingen plaatsvinden in hoge-entropie gebieden (onzekerheid), kan RLVR (vooral bij DAPO) ook lage-entropie (zekere) voorspellingen van het basismodel overschrijven.

4. Vergelijking met Supervised Fine-Tuning (SFT)

In tegenstelling tot RLVR, veroorzaakt SFT dichtere en bredere distributieverschuivingen. SFT leert om doeloutput na te bootsen, wat leidt tot grootschalige aanpassingen over de hele vocabulaire. RLVR werkt daarentegen als een "scalpel" (gerichte correctie) in plaats van een "hamer" (globale herschrijving).

5. Divergentie-Gewogen Voordelen

Experimenten tonen aan dat het moduleren van het trainingsvoordeel op basis van token-divergentie (zowel het belonen van hoge-divergentie tokens als het focussen op stabiele gebieden) de prestaties kan verbeteren ten opzichte van baselines. Dit bevestigt dat het richten op deze specifieke tokens effectief is.

Significantie en Impact

• Mechanistisch Inzicht: Dit paper biedt een fijnmazig, token-niveau perspectief op hoe RLVR werkt. Het weerlegt het idee dat RL een fundamenteel nieuw gedrag "leert" en toont aan dat het eerder een gerichte verfijning is van bestaande capaciteiten.
• Efficiëntie: Omdat de verbeteringen afhankelijk zijn van een klein aantal tokens, suggereren de resultaten dat toekomstige RL-methoden zich kunnen focussen op het identificeren en optimaliseren van deze kritieke beslispunten, in plaats van het trainen van het hele model uniform.
• Interpreteerbaarheid: De bevindingen helpen bij het begrijpen waarom RLVR zo effectief is voor redeneren: het opent paden die al beschikbaar waren in het basismodel, maar die niet werden gekozen door de standaard distributie.
• Toekomstige Richtingen: De auteurs suggereren dat het gebruik van divergentie-gewogen signalen een veelbelovende route is voor het ontwerpen van betere RL-objectieven en diagnostische tools voor LLM-post-training.

Kortom, het paper concludeert dat RLVR succesvol is omdat het selectief ingrijpt op een klein aantal hoog-impact tokens om redeneertrajecten te sturen, in plaats van het modelgedrag globaal te herschrijven.