Technische Samenvatting: Verifier-Free RL voor LLMs via Intrinsieke Gradient-Norm Beloning (VIGOR)

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft zich ontwikkeld tot een krachtig post-training paradigma voor Large Language Models (LLMs), met name voor redeneertaken zoals wiskunde en coderen. RLVR is echter sterk afhankelijk van externe, domeinspecifieke verifiers (bijvoorbeeld exacte-overeenkomstcontroles voor wiskundige antwoorden of unit-tests voor code). Deze afhankelijkheid beperkt de schaalbaarheid naar nieuwe taken of domeinen waar dergelijke verifiers niet beschikbaar zijn of moeilijk te construeren zijn.

Bestaande alternatieven zonder verifiers staan voor aanzienlijke uitdagingen:

• Meerderheidsstemmingsmethoden: Deze leiden pseudolabels af uit consensus tussen meerdere steekproeven. Ze gaan er vaak van uit dat definitieve antwoorden betrouwbaar kunnen worden geëxtraheerd en genormaliseerd, wat hun toepasbaarheid beperkt tot open-ended generatie.
• Intrinsieke Signaalmethoden: Deze gebruiken interne modelsignalen zoals entropie of zelfzekerheid. Hoewel veelbelovend, kunnen ze kwetsbaar worden naarmate de training vordert, wat leidt tot degeneratie van de beloning, instabiliteit en ineenstorting van de prestaties.

De kernuitdaging is het ontwikkelen van een verifier-vrij beloningssignaal dat breed toepasbaar is op vrij-vormige output, stabiel is tijdens versterkingslering, en uitsluitend vertrouwen stelt op het beleidsmodel zelf zonder hulpcomponenten.

2. Methodologie: VIGOR

De auteurs stellen VIGOR (Verifier-free Intrinsic Gradient-Norm Reward) voor, een methode die beloningen berekent uitsluitend met behulp van de interne trainingsdynamiek van het beleidsmodel.

Kernintuïtie

De methode is gebaseerd op optimalisatietheorie van de eerste orde. In een verlieslandschap geeft een kleinere gradentnorm doorgaans aan dat de huidige parameters zich in de buurt van een stationair gebied bevinden, wat wijst op mildere updates en soepelere trainingsdynamiek. VIGOR stelt dat voltooiingen die kleinere $\ell_2$-normen van de teacher-forced negatieve log-likelihood (NLL)-gradienten veroorzaken, beter in lijn zijn met het huidige beleid en hogere beloningen moeten ontvangen.

Algoritmische Stappen

Voor een gegeven prompt $x$ steekt het beleid $\pi_\theta$ een groep van $G$ voltooiingen $\{y_i\}_{i=1}^G$ af. De berekening van de beloning verloopt als volgt:

1. Berekening van de Gradient-Norm: Voor elke voltooiing $y$ wordt de gemiddelde token-niveau NLL $\ell_{mean}(x, y)$ berekend. De gradient $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ wordt berekend ten opzichte van de huidige parameters $\theta$ (zonder het model bij te werken). De gradient wordt losgekoppeld van het berekeningstaf om te dienen als een scalair signaal.
2. Lengtecorrectie ($\sqrt{T}$-schaling): De ruwe gradientnorm $\|g\|_2$ vertoont een systematische bias waarbij deze krimpt naarmate de sequentielengte $T$ toeneemt, zelfs als de kwaliteit niet verbetert. Om deze "lengte-hacking" te counteren, wordt het signaal geschaald met $\sqrt{T}$:
   $$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$$
   Het minteken zet het minimaliseren van gradientnormen om in een doelstelling voor beloningsmaximalisatie.
3. Rank-gebaseerde Normalisatie: Om beloningsschalen over verschillende prompts te stabiliseren en vergelijkbaarheid te waarborgen, worden de ruwe signalen binnen een groep gesorteerd en gemapt naar een rank-gebaseerde beloning $R_{GN} \in [-1, +1]$. De slechtste voltooiing (hoogste gradientnorm) ontvangt $-1$, en de beste (laagste gradientnorm) ontvangt $+1$.
4. Beleidsoptimalisatie: Deze rank-genormaliseerde beloningen worden gebruikt om groepsrelatieve voordelen $\hat{A}_i$ te berekenen binnen het Group Relative Policy Optimization (GRPO)-kader. Het beleid wordt bijgewerkt om het doel te maximaliseren, waardoor voltooiingen met lagere gradientnormen worden aangemoedigd.

3. Belangrijkste Bijdragen

• VIGOR-kader: Een nieuw verifier-vrij intrinsiek beloningsmechanisme dat de $\ell_2$-norm van teacher-forced gradienten gebruikt als proxy voor beleidsalignatie en trainingsstabiliteit.
• Lengtecorrectie: De introductie van een $\sqrt{T}$-schalingsfactor om de systematische lengtebias inherent aan gemiddelde token-niveau gradientnormen te neutraliseren, waardoor wordt voorkomen dat het model lengte-inflatie exploiteert om beloningen te maximaliseren.
• Rank-gebaseerde vormgeving: Een normalisatietechniek die beloningsschalen over prompts stabiliseert door te vertrouwen op onderlinge rangorde binnen de groep in plaats van absolute gradientgroottes.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat VIGOR state-of-the-art verifier-vrije baselines (specifiek RLIF/INTUITOR) overtreft op benchmarks voor wiskundig redeneren en codegeneratie, terwijl het stabiele trainingsdynamiek behoudt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen2.5-3B-Base en Qwen2.5-7B-Base modellen, getraind op respectievelijk de MATH-dataset en de CodeContests-dataset.

Prestaties in Wiskunde (Getraind op MATH)

• Qwen2.5-7B: VIGOR verbeterde de gemiddelde wiskundenauwkeurigheid met +3,31% ten opzichte van de INTUITOR-baseline. Specifiek behaalde het 76,20% op MATH500 en 44,42% op AMC.
• Cross-Domein Transfer: Wanneer uitsluitend getraind op wiskundedata, verbeterde VIGOR de gemiddelde codeaauwkeurigheid met +1,91% ten opzichte van de INTUITOR-baseline, wat effectieve cross-domein transfer aantoont.
• Stabiliteit: In tegenstelling tot INTUITOR, dat late-stadia regressie in nauwkeurigheid vertoonde, behield VIGOR een stabiele verbetering gedurende de hele training.

Prestaties in Code (Getraind op CodeContests)

• Qwen2.5-3B: VIGOR verbeterde de gemiddelde codeprestaties van 16,98% naar 23,64%.
• Cross-Domein Transfer: Training op codedata verbeterde het wiskundegemiddelde van 48,34% naar 56,57%.
• Opmerking: Op de CodeAvg-metriek presteerde VIGOR (23,64%) licht onder INTUITOR (25,43%), met name op de CRUX-benchmark. De auteurs schrijven dit toe aan de aard van competitief programmeren, waarbij correctheid vaak afhangt van discrete algoritmische keuzes die niet volledig worden vastgelegd door gradientgladheid.

Analyse van Trainingsdynamiek

• Stabiliteit: VIGOR vertoonde stabielere trainingsdynamiek vergeleken met INTUITOR, dat leed aan beloningsdegeneratie (waarbij hoog-beloonde steekproeven na verloop van tijd minder in lijn bleken met correctheid).
• Lengtecontrole: VIGOR remde lengte-inflatie effectief. Terwijl INTUITOR een uitgesproken toename in generatielengte vertoonde, produceerde VIGOR aanzienlijk kortere output, waarbij de optimalisatie zich richtte op redeneringskwaliteit in plaats van lengte-hacking.
• Rank-Nauwkeurigheid Monotonie: Analyse bevestigde een sterke monotoon relatie tussen de rangschikking op gradientnorm en taaknauwkeurigheid; voltooiingen die door VIGOR hoger werden gerangschikt, behaalden consequent hogere nauwkeurigheid.

Ablatiestudies

• Zonder $\sqrt{T}$-correctie: Het verwijderen van dit component veroorzaakte catastrofale degradatie, met name in het 3B-model, wat resulteerde in bijna nul nauwkeurigheid en ernstige lengte-hacking.
• Zonder Rank-vormgeving: Het verwijderen van rank-normalisatie leidde tot instabiliteit, met name in het 7B-model, wat een aanzienlijke daling (8,90%) in MMLU-Pro-prestaties veroorzaakte als gevolg van de invloed van extreme uitbijters in ruwe gradientgroottes.

5. Betekenis en Beperkingen

Betekenis:
Het artikel beweert dat VIGOR een robuust, verifier-vrij alternatief biedt voor RL post-training dat niet afhankelijk is van externe labels of hulpmodellen. Door gebruik te maken van de intrinsieke geometrie van het verlieslandschap (gradientnormen), biedt het een stabiel signaal voor beleidsoptimalisatie dat generaliseert over domeinen (van wiskunde naar code en omgekeerd) en trainingsstabiliteit behoudt waar andere intrinsieke methoden falen.

Beperkingen:

• Takenbereik: De studie richt zich primair op verifieerbare redeneertaken. De auteurs merken op dat het onduidelijk is hoe goed VIGOR overdraagt naar meer open-ended generatiesettingen (bijvoorbeeld langform schrijven of dialoog) zonder extra beperkingen.
• Rekenkosten: VIGOR vereist per-steekproef gradientnormberekening via automatische differentiatie, wat niet-triviale overhead introduceert in vergelijking met forward-only signalen zoals likelihood of entropie.
• Proxy-aard: De gradientnorm is een proxy-doelstelling. De auteurs erkennen dat deze mogelijk niet consequent downstream nut volgt, waardoor ruimte blijft voor potentiële misalignement of beloningsexploitatie.