Technische Samenvatting: Off-Context GRPO (OC-GRPO)

1. Probleemstelling: De Leer-afgrond (Learning Cliff) in RLVR

Reinforcement Learning met Verifieerbare Beloningen (RLVR), in het bijzonder met behulp van Group Relative Policy Optimization (GRPO), is een dominante aanpak geworden voor het verbeteren van het redeneervermogen van Large Language Models (LLMs). De auteurs identificeren echter een fundamentele foutmodus die bekend staat als de leer-afgrond (learning cliff).

In standaard GRPO wordt voor een gegeven probleem een groep responsen gesampled, gescoord door een verifieerder, en worden voordelen (advantages) berekend op basis van de relatieve prestaties binnen die groep. Als een probleem zodanig moeilijk is dat het model er niet in slaagt om geen enkele correcte oplossing te genereren in een rollout-groep, zijn alle beloningen nul. Bijgevolg convergeert de variantie van de beloning binnen de groep naar nul, wat resulteert in nul gradiëntsignalen. Het model ontvangt geen leersignaal, ongeacht hoe lang de training voortduurt.

Bestaande oplossingsrichtingen maken vaak gebruik van geprivilegieerde sturing (bijv. oplossing-prefixes, hints of oracle-informatie) die tijdens de training in de prompt wordt geïnjecteerd om ervoor te zorgen dat ten minste enkele rollouts slagen. Ho'ewel dit het leersignaal herstelt, introduceert dit het off-context probleem:

• Trainingsdistributie: Rollouts worden gesampled uit een gestuurde prompt $g(x)$ die geprivilegieerde informatie bevat die bij inzet (deployment) niet beschikbaar is.
• Doelstelling (Target Objective): Het doel is om de policy te optimaliseren voor de oorspronkelijke, ongestuurde prompt $x$.
• De Mismatch: Standaard gestuurde methoden (bijv. POPE, BREAD) optimaliseren een doelstelling $J_{guide}(\theta)$ geconditioneerd op $g(x)$, uitgaande van de aanname dat de policy zal generaliseren naar $x$ ("back-generalization"). De auteurs stellen dat dit een impliciete optimalisatie is van een andere doelstelling dan de doelstelling die bij inzet wordt geëvalueerd. Deze mismatch kan leiden tot vertekende gradiënten, objectief-misalignment en trainingsinstabiliteit, vooral voor kleinere modellen met een beperkte capaciteit om de distributieverschuiving te absorberen.

2. Methodologie: Off-Context GRPO (OC-GRPO)

Het artikel stelt OC-GRPO voor, een minimaal aangepaste variant van GRPO die gestuurde rollouts gebruikt om de leer-afgrond te overwinnen, terwijl de distributie-mismatch wiskundig wordt gecorrigeerd om te garanderen dat de update de oorspronkelijke ongestuurde doelstelling $J(\theta)$ target.

Kernmechanisme: Importance Sampling Correctie

In plaats van gestuurde rollouts te behandelen alsof ze gegenereerd zijn vanuit de oorspronkelijke prompt, past OC-GRPO een importance sampling (IS) correctie toe op de per-token policy ratio.

• Standaard GRPO Ratio: $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | x, y_{i,<t})}$
• OC-GRPO Ratio: $\rho^{oc}_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | g(x), y_{i,<t})}$

Hierbij vertegenwoordigt de teller de waarschijnlijkheid van de huidige policy voor de token gegeven de ongestuurde prompt (het doel), terwijl de noemer de waarschijnlijkheid onder de gestuurde prompt vertegenwoordigt (de werkelijke sampling-distributie).

Theoretische Eigenschappen

1. Onbevooroordeldheid (Unbiasedness): Er is wiskundig bewezen dat de hergewogen verwachting onder de gestuurde distributie exact gelijk is aan de verwachting onder de oorspronkelijke ongestuurde doelstelling. Dit zorgt ervoor dat het algoritme $J(\theta)$ optimaliseert, en niet $J_{guide}(\theta)$.
2. Gedragsbewuste Credit Assignment: De importance ratio fungeert als een dynamisch mechanisme voor credit assignment:
   • Successen: Als een correct traject zeer waarschijnlijk is onder de gestuurde prompt maar onwaarschijnlijk onder de ongestuurde prompt (d.w.z. het model vertrouwde zwaar op de hint), is de importance ratio $<1$, wat de positieve credit dempt. Dit voorkomt dat het model simpelweg leert om "hints te volgen" in plaats van het probleem op te lossen.
   • Falen: Als een traject faalt ondanks de sturing, is de ratio $>1$, wat de straf versterkt. Dit versterkt het signaal dat het model er niet in is geslaagd het probleem op te lossen, zelfs met hulp.
3. Variantiecontrole: De variantie van de correctieterm schaalt met de lengte van de guidance-prefix, niet met de volledige rollout. Dit motiveert het ontwerpprincipe om de kortst mogelijke sturing te gebruiken die nodig is om de leer-afgrond te doorbreken.

Implementatievarianten

• OC-GRPO-Fixed: Identificeert het minimale sturingsniveau vereist voor elk moeilijk probleem met behulp van een basismodel vóór de training. Deze uitgebreide dataset is vaststaand en de policy selecteert nooit opnieuw de sturing. Dit wordt aanbevolen als de standaard vanwege lagere inferentiekosten en competitieve prestaties.
• OC-GRPO-Adaptive: Past de sturingsniveaus dynamisch aan tijdens de training op basis van de huidige prestaties van de policy. Hoewel theoretisch flexibel, brengt dit hogere inferentiekosten met zich mee en liet het in experimenten een iets lagere prestatie zien.

3. Belangrijkste Bijdragen

1. Formalisering van het Off-Context Probleem: De auteurs definiëren formeel de mismatch in bestaande gestuurde RLVR-methoden, waarbij zij aantonen dat deze impliciet een andere doelstelling optimaliseren dan de doelstelling bij inzet.
2. OC-GRPO Algoritme: Een minimale modificatie van GRPO met behulp van importance sampling om de off-context sampling te corrigeren, wat een bewijsbaar onbevooroordeelde optimalisatie van de oorspronkelijke doelstelling oplevert.
3. Theoretische Credit Assignment: Bewijs dat de importance correctie een gedragsbewust mechanisme induceert dat automatisch successen die zwaar afhankelijk zijn van sturing devalueert en straffen versterkt voor falen dat blijft bestaan ondanks sturing, zonder dat extra reward shaping nodig is.
4. Empirische Validatie: Demonstratie dat OC-GRPO consistente winsten behaalt ten opzichte van vanilla GRPO en gestuurde baselines over meerdere model-schalen (1.5B, 3B, 7B) en wiskundige benchmarks.

4. Experimentele Resultaten

De auteurs evalueerden OC-GRPO op de MATH dataset (Niveaus 3–5) met Qwen2.5 modellen (1.5B, 3B, 7B) met LoRA-adapters.

• Prestatiewinsten: Op het 7B-model behaalde OC-GRPO-Fixed een relatieve winst van 13,8% (3,9% absolute verbetering) in gemiddelde Pass@1 ten opzichte van vanilla GRPO over de AIME, Gaokao2023 en OmniMath benchmarks.
• Vergelijking met Baselines:
  • OC-GRPO presteerde beter dan andere gestuurde methoden (POPE, PrefixRL, BREAD) die de misaligne $J_{guide}$ doelstelling optimaliseren.
  • Schaalafhankelijkheid: Een cruciale bevinding is dat gestuurde baselines die de misaligne doelstelling optimaliseren, vaak onder de prestaties van vanilla GRPO zakken bij kleinere model-schalen (bijv. 1.5B en 3B). In tegen tegenstelling hiertoe behield OC-GRPO consistente winsten over alle schalen. Dit suggereert dat kleinere modellen de doelstelling-mismatch niet kunnen absorberen, waardoor de importance correctie cruciaal is voor hen.
• Stabiliteit: Experimenten toonden aan dat ongecorrigeerde gestuurde training (Masked no-IC) leidt tot reward-collapse, pieken in de gradiëntnorm en het verbreden van de log-waarschijnlijkheidsverschillen, terwijl OC-GRPO stabiel blijft.

5. Betekenis en Claims

Het artikel claimt dat geprivilegieerde informatie exploratie kan sturen, maar de update moet rekening houden met de distributie waaruit deze afkomstig is.

• Oplossen van de Afgrond: OC-GRPO biedt een gefundeerde manier om de leer-afgrond op moeilijke problemen te doorbreken zonder terug te vallen op supervised fine-tuning (SFT) of complexe hybride doelstellingen die de natuurlijke redeneerstijl van het model verstoren.
• Alignment: Het zorgt ervoor dat training op geprivilegieerde contexten (die niet bestaan bij inzet) de policy niet wegstuurt van de werkelijke doelstelling bij inzet.
• Schaalbaarheid: De methode is bijzonder essentieel voor kleinere modellen waar de "back-generalization" aanname van andere methoden faalt.
• Generaliteit: Hoewel gedemonstreerd op wiskundig redeneren met oplossing-prefixes, is het framework mechanisme-agnostisch en toepasbaar op elke vorm van geprivilegieerd signaal (bijv. tool-call resultaten, tussenliggende staten) in agentic RLVR-omgevingen.

De auteurs concluderen dat OC-GRPO een noodzakelijke correctie vormt voor de volgende generatie RLVR-algoritmen, waardoor robuust redeneren op moeilijke problemen mogelijk wordt terwijl de alignment met de oorspronkelijke taakdefinitie behouden blijft.