Technische Samenvatting: MDP-GRPO

Probleemstelling

Large Language Models (LLMs) hebben vaak moeite met het volgen van instructies met meerdere beperkingen (multi-constraint instruction following), waarbij een enkele prompt vereist dat aan meerdere expliciete, deterministische regels wordt voldaan (bijv. specifieke formattering, verboden woorden, exacte eindes). Hoewel Reinforcement Learning met Verifieerbare Beloningen (RLVR) een veelbelovende oplossing biedt door gebruik te maken van regelgebaseerde controlemechanismen om betrouwbare, bias-vrije signalen te leveren, is de standaard Group Relative Policy Optimization (GRPO) in dit regime instabiel.

Het kernproblek ontstaat omdat beloningen met meerdere beperkingen discreet en vaak laag-variant zijn. In de vroege stadia van training of bij strikte beperkingen, leveren groepen gesamplede voltooiingen vaak homogene beloningen op (alle samples voldoen aan of schenden dezelfde beperkingen). Onder deze omstandigheden lijdt de standaard GRPO z-score groepsnormering aan drie specifieke pathologieën:

1. Lage-variantie-amplificatie: Kleine schommelingen in de beloning worden opgeblazen tot disproportioneel grote voordelen (advantages), wat leidt tot broze updates.
2. Mean-Centering Blindheid: Z-score normalisatie negeert absolute beloningsniveaus, waardoor het onmogelijk is om onderscheid te maken tussen een groep die consistent faalt en een groep die consistent slaagt, indien hun relatieve distributies vergelijkbaar zijn.
3. Zero-Variance Collaps: Wanneer alle samples in een groep identieke beloningen ontvangen, nadert de standaarddeviatie van de groep ($\sigma_{group}$) nul. Dit veroorzaakt dat het advantage-signaal inklapt naar nul of ongedefinieerd wordt, waardoor het leerproces volledig tot stilstand komt.

Methodologie: MDP-GRPO

Om deze instabiliteiten aan te pakken, stellen de auteurs MDP-GRPO voor, een gestabiliseerde variant van GRPO die drie complementaire mechanismen integreert:

1. Multi-Temperatuur Sampling (Preventie)

Om de vorming van homogene groepen te voorkomen, vervangt de methode fixed-temperature sampling door een temperatuur-schema ($T = [\tau_1, \dots, \tau_G]$) voor de groep van $G$ voltooiingen.

• Mechanisme: Lagere temperaturen stimuleren exploitatie (hoogwaardige baselines), terwijl hogere temperaturen exploratie stimuleren.
• Doel: Dit mengt hoogwaardige en exploratieve voltooiingen binnen een enkele groep, wat zorgt voor voldoende beloningsdispersie ($\sigma_{group} > 0$) zelfs bij kleine batchgroottes, zonder de onderliggende RL-doelstelling te wijzigen.

2. Dual-Anchor Advantages (Signaalherstel)

Om zero-variance collaps en mean-centering blindheid aan te pakken, introduceert de methode een doelbewust anchor (goal-aware anchor) naast het standaard groep-relatieve voordeel.

• Mechanisme: Een neutrale baseline wordt gemodelleerd als een binomial proces waarbij beperkingen worden voldaan met een waarschijnlijkheid $p=0.5$. Dit levert een vast "doelbewust" voordeel ($\delta_i$) op dat schaalt met het aantal beperkingen.
• Integratie: Het uiteindelijke voordeel ($A_i$) is een gewogen interpolatie tussen het gevormde groep-relatieve voordeel ($\tilde{z}_i$) en het gevormde doelbewuste voordeel ($\tilde{\delta}_i$):
  $$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$$
• Voordeel: Zelfs wanneer de variantie van de groep nul is, biedt de doelbewuste anchor een geldig leer-signaal, wat stagnatie van de training voorkomt.

3. Prospect-Theoretic Shaping (Stabilisatie)

Geïnspireerd door de Prospect Theory (Kahneman & Tversky, 1979), past de methode een begrensde, asymmetrische vormfunctie toe op de ruwe advantages voordat ze worden gemengd.

• Mechanisme: Een geschaalde tanh-transformatie begrenst de advantages en dwingt verliesaversie ($\lambda_- > \lambda_+$) af.
• Doel: Dit zorgt ervoor dat schendingen van beperkingen (negatieve uitkomsten) resulteren in grotere gradiënt-updates dan equivalente successen, waardoor regressie zwaar wordt bestraft. Tegelijkertijd voorkomt de begrenzingsfunctie ongecontroleerde gradiënten veroorzaakt door lage variantie, wat de training stabiliseert.

4. Asymmetrische KL-Regularisatie

De doelstelling bevat een asymmetrische KL-straf waarbij de straffactor hoger is ($\beta_{high}$) wanneer het voordeel negatief is (prestatievermindering) en lager ($\beta_{low}$) wanneer het positief is, wat de beperking van het model tijdens regressie verder versterkt.

Belangrijkste Bijdragen

1. Formalisering van Pathologieën: Het artikel identificeert en formaliseert drie faalmodi van groep-relatieve beleidsupdates in discrete, laag-dispersieve beloningsregimes: lage-variantie-amplificatie, mean-centering blindheid en zero-variance collaps.
2. Preventie via Sampling: Introductie van multi-temperatuur groepssampling om kunstmatig de beloningsdiversiteit te verhogen in scenario's met kleine batches, zonder de doelstelling te veranderen.
3. Signaalherstel: Voorstel van dual-anchor advantages om leer-signalen te herstellen in groepen met zero-variance en om de verloren gegane absolute prestatie-informatie te herstellen die door standaard normalisatie verloren gaat.
4. Robuuste Shaping: Toepassing van prospect-theoretic shaping om de omvang van updates te begrenzen en de correctie van schendingen van beperkingen te prioriteren.
5. Empirische Validatie: Demonstratie dat deze componenten collectief de stabiliteit en prestaties verbeteren op taken met meerdere beperkingen, terwijl algemene capaciteiten behouden blijven.

Experimentele Resultaten

De methode werd geëvalueerd op IFEval, FollowBench en een gecureerde dataset met meerdere beperkingen met behulp van de Gemma-2-2B en Llama-3.2-3B modellen.

• Prestatiewinst: MDP-GRPO presteerde consequent beter dan standaard GRPO en de zero-shot baseline. Op Llama-3.2-3B verbeterde het de strikte beperkings-naleving (HSR) met wel 5,0% op de aangepaste dataset.
• Efficiëntie bij Kleine Batches: De methode bleek bijzonder effectief bij gereduceerde groepsgroottes ($G=4$). Multi-temperatuur sampling stelde MDP-GRPO in staat om de prestaties van standaard GRPO getraind met grotere groepen ($G=8$) te benaderen, wat het nut ervan onder strikte rekenbudgetten aantoont.
• Schaalbaarheid van Moeilijkheidsgraad: Gestabiliseerde varianten (specifiek die met Dual Anchors) degradeerden minder snel dan de baselines naarmaling van het aantal beperkingen, waardoor hogere succespercentages werden behouden op complexe prompts (Difficulty 5-6).
• Algemene Capaciteiten: Evaluaties op MMLU en ARC bevestigden dat de winst in het volgen van instructies niet ten koste ging van algemene redenering of kennisbehoud.
• Trainingsdynamiek: Diagnostiek toonde aan dat de voorgestelde methoden erin slaagden de frequentie van zero-variance groepen te verminderen en de KL-divergentie drift te controleren in vergelijking met standaard GRPO.

Betekenis en Claims

De auteurs beweren dat MDP-GRPO een stabiel en betrouwbaar kader biedt voor RLVR in settings met meerdere beperkingen, een domein waar standaard groep-normalisatiemethoden vaak falen door de schaarste aan beloningen. Door expliciet de wiskundige pathologieën van z-score normalisatie aan te pakken, maakt de methode het volgende mogelijk:

• Stabiele convergentie, zelfs met kleine groepsgroottes.
• Effectief leren van discrete, regelgebaseerde beloningen zonder dat er geleerde beloningsmodellen of menselijke voorkeursetiketten nodig zijn.
• Robuustheid tegen de "broosheid" van standaard GRPO-updates wanneer zij geconfronteerd worden met homogene beloningsdistributies.

Het artikel concludeert dat hoewel de aanpak specifelijk is ontworpen voor deterministische, verifieerbare beperkingen, de kerncomponenten (dual anchoring en prospect shaping) agnostisch zijn voor de bron van de beloning en kunnen worden aangepast aan andere RL-settings. De auteurs merken echter bescheiden op dat de methode afhankelijk is van automatische controlemechanismen en mogelijk niet direct kan worden uitgebreid naar subjectieve of stilistische beperkingen zonder geleerde beloningsmodellen.