Technische Samenvatting: Over de Optimalisatiedynamiek van RLVR

Probleemstelling

Versterkend Leren met Verifieerbare Beloningen (RLVR) heeft zich ontwikkeld tot een dominante paradigma voor het post-trainen van Large Language Models (LLMs) op taken met automatisch controleerbare uitkomsten, zoals wiskundig redeneren en codegeneratie. In tegenstelling tot traditioneel Versterkend Leren vanuit Menselijke Feedback (RLHF), vertrouwt RLVR op schaarse, binaire succes/mislukking-signalen in plaats van geleerde beloningsmodellen of menselijke voorkeuren. Hoewel algoritmen zoals Group Relative Policy Optimization (GRPO) en zijn varianten (bijvoorbeeld DAPO, Dr. GRPO) aanzienlijk empirisch succes hebben aangetoond, blijft het theoretische begrip van hun optimalisatiedynamiek beperkt. Beoefenaars vertrouwen vaak op heuristieken—zoals lengtenormalisatie of beloningsschaalering op basis van variantie—om training te stabiliseren, maar de voorwaarden waaronder deze methoden convergeren, stagneren of catastrofaal falen, zijn niet rigoureus gekarakteriseerd. Dit artikel adresseert de kloof tussen empirische prestaties en theoretisch begrip door de convergentiegaranties van policy gradient-methoden onder binaire beloningen te analyseren.

Methodologie

De auteurs ontwikkelen een theoretisch kader om de trainingsdynamiek van RLVR op twee niveaus van granulariteit te analyseren: het trajectniveau (waarbij het volledige antwoord als één eenheid wordt behandeld) en het tokenniveau (waarbij rekening wordt gehouden met het autoregressieve generatieproces).

Kernconcepten

1. Gradiëntkloof: Het artikel introduceert een nieuwe grootheid, de Gradiëntkloof ($g^+_q - g^-_q$), gedefinieerd als het verschil tussen de verwachte scorefuncties (log-kansgradiënten) over de ruimte van correcte antwoorden ($O^+_q$) en incorrecte antwoorden ($O^-_q$). Deze kloof formaliseert de ware richting van verbetering die nodig is om het beleid van gebieden met lage beloning naar gebieden met hoge beloning te verschuiven.
2. Kloofalignering: De auteurs definiëren de Kloofalignering ($\Delta\mu_q$) als het inproduct tussen de daadwerkelijke updaterichting ($w_k$) en de Gradiëntkloof. Deze metriek kwantificeert hoe goed de update van het algoritme overeenkomt met het ware doel.
3. Cumulatieve Kloofalignering: Om het langetermijngedrag te karakteriseren, definieert het artikel een cumulatieve metriek ($M_q(K)$) die het aligneringssignaal over trainingsiteraties aggregeert, gewogen met de stapgrootte.

Theoretische Analyse

De analyse steunt op standaard regulariteitsaannamen met betrekking tot de gladheid en begrensdheid van de beleidsscorefunctie (Aannames 1 en 2) en het sub-exponentiële karakter van antwoordlengtes (Assumptie 3).

• Trajectniveaananalyse: De auteurs leiden grenzen af voor de verandering in de log-odds van het succespercentage ($J_q$) per updatestap. Zij stellen vast dat de eerste-orde verbetering wordt gedreven door de Kloofalignering, terwijl tweede-orde variantietermen (specifiek de variantie van de negatieve ruimte) instabiliteit kunnen veroorzaken als de stapgrootte te groot is.
• Tokenniveaananalyse: Door de gradiënt te decomponeren in token-specifieke bijdragen, verfijnen de auteurs de convergentiegrenzen. Deze analyse neemt expliciet de antwoordlengte op ($T_\infty, T_{\psi_1}$), waardoor wordt aangetoond dat de effectieve stapgrootte omgekeerd evenredig moet zijn met de sequentielengte om divergentie te voorkomen.

Belangrijkste Bijdragen

1. Geïntegreerd Theoretisch Kader voor RLVR

Het artikel biedt een principieel kader dat toepasbaar is op elke op policy-gradient gebaseerde methode (inclusief REINFORCE, GRPO en Dr. GRPO) die werkt onder binaire beloningen. Het verenigt de analyse van deze algoritmen door hun dynamiek te karakteriseren door de lens van de Gradiëntkloof en Kloofalignering.

2. Scherpe Drempels voor Stapgrootte

Een centrale theoretische bijdrage is de afleiding van een scherpe drempel voor de stapgrootte die convergentie scheidt van divergentie.

• Convergentie: Het artikel bewijst dat als de stapgrootte ($\eta_k$) adaptief wordt geschaald om evenredig te zijn met de Kloofalignering en omgekeerd evenredig met de variantie en antwoordlengte, het beleid convergeert naar de optimale oplossing ($J_q \to 1$).
• Catastrofaal Falen: Omgekeerd bewijzen de auteurs dat als de stapgrootte een specifieke drempel overschrijdt (zelfs als de updaterichting perfect is uitgelijnd), het optimalisatieproces zal overschieten, waardoor het succespercentage strikt afneemt en convergeert naar nul. Dit verklaart de "collapse"-verschijnselen die in de praktijk worden waargenomen.

3. Verklaring van Praktische Heuristieken

De theorie biedt een rigoureuze rechtvaardiging voor veelvoorkomende engineeringpraktijken:

• Lengtenormalisatie: De tokenniveaananalyse toont aan dat het effectieve leersnelheid moet krimpen naarmate de antwoordlengte toeneemt. Dit biedt een theoretische basis voor het feit dat lengtenormalisatie (gebruikt in GRPO) training stabiliseert, terwijl methoden die deze normalisatie missen (zoals bepaalde formuleringen van Dr. GRPO) moeite kunnen hebben met langere sequenties.
• Stagnatie: Het artikel verklaart waarom vaste leersnelheden kunnen leiden tot stagnatie bij succespercentages strikt onder de 100%. Naarmate het beleid verbetert, verandert de variantiestructuur, en kan een vaste stapgrootte uiteindelijk de convergentiedrempel schenden, waardoor het algoritme vastloopt of oscilleert.

4. Empirische Validatie

De theoretische voorspellingen worden gevalideerd door middel van:

• Contextuele Bandit-simulaties: Experimenten op synthetische banditproblemen demonstreren de logistische relatie tussen Cumulatieve Kloofalignering en nauwkeurigheid, wat het bestaan van distincte convergentie- en stagnatieregimes bevestigt.
• LLM-experimenten: De auteurs hebben het Qwen2.5-Math-7B-model fijngefineerd op de GSM8K-, DeepScaleR- en DAPO-17k-datasets met behulp van GRPO. De empirische data toont een sterke correlatie tussen de Cumulatieve Kloofalignering en de nauwkeurigheid van het model, wat nauw aansluit bij de theoretische ondergrenzen.

Resultaten

• Convergentiegaranties: Het artikel stelt vast dat convergentie naar perfecte prestaties gegarandeerd is als de Cumulatieve Kloofalignering divergeert naar oneindig ($M_q(K) \to \infty$).
• Stagnatiegrenzen: Als het aligneringssignaal zwak is of de stapgrootte te groot, is de prestatie strikt onder de 1 begrensd, waardoor het model niet in staat is 100% nauwkeurigheid te bereiken.
• Falenmodi: De auteurs construeren specifieke probleeminstanties waarbij een constante stapgrootte, ondanks positieve alignering, leidt tot monotoon prestatieverval tot nul, wat het bestaan van een regime van "catastrofaal falen" bevestigt.
• Gradiëntnormen versus Beloning: Het artikel merkt op dat de som van de policy gradiëntnormen kan convergeren zelfs wanneer de beloning dat niet doet, wat suggereert dat standaard op gradiënten gebaseerde convergentiecriteria ontoereikend zijn voor RLVR; de Kloofalignering-metriek is een scherpere indicator voor beloningsverbetering.

Betekenis

Het artikel claimt de eerste rigoureuze theoretische basis te bieden voor de optimalisatiedynamiek van RLVR. Door verder te gaan dan black-box empirische observaties, identificeert het de Gradiëntkloof als de fundamentele drijver van leren en de stapgroottedrempel als de kritieke controleparameter voor stabiliteit.

De betekenis ligt in het vermogen om:

1. RLVR te ontsluieren: Het verklaart waarom bepaalde algoritmen (zoals GRPO met lengtenormalisatie) werken terwijl anderen falen, waardoor het veld verschuift van intuïtiegebaseerde tuning naar theoriegeleid ontwerp.
2. Hyperparameter-tuning te sturen: Het biedt concrete, wiskundig afgeleide voorwaarden voor de selectie van de stapgrootte, en biedt een weg om catastrofaal ineenstorten en stagnatie te vermijden.
3. Algoritmegedrag te karakteriseren: Het verduidelijkt de beperkingen van vaste leersnelheden en de noodzaak van adaptieve schaling ten opzichte van antwoordlengte en taakmoeilijkheid, en biedt een theoretische verklaring voor de waargenomen stagnatie van correctiesnelheden in huidige RLVR-pijplijnen.

De auteurs concluderen dat hun kader de dynamiek van populaire benaderingen karakteriseert en toekomstige richtingen suggereert, zoals prompt-adaptieve updates en curriculumgebaseerde training, om stabiliteit en convergentie in diverse promptverdelingen verder te verbeteren.