💬 NLP

Constrained Group Relative Policy Optimization

Dit artikel introduceert Constrained GRPO, een op Lagrange gebaseerde uitbreiding van Group Relative Policy Optimization die de handhaving van beperkingen en de trainingsstabiliteit verbetert door gestandaardiseerde voordelen in plaats van ruwe beloningen te scalariseren om de schadelijke koppelingseffecten te elimineren die worden veroorzaakt door normalisatie binnen groepen.

Oorspronkelijke auteurs: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

Gepubliceerd 2026-09-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie leren onderzoekers grote computermodellen om complexe problemen op te lossen, van het navigeren van zelfrijdende auto's tot het oplossen van moeilijke wiskundige puzzels. Deze modellen leren door middel van vallen en opstaan, een proces dat bekend staat als reinforcement learning (versterkend leren). Stel je een student voor die een doolhof probeert op te lossen; deze krijgt een beloning voor het bereiken van de uitgang en een straf voor het raken van een muur. Na verloop van tijd leert de student om beloningen te maximaliseren en straffen te vermijden. Er ontstaat echter een grote uitdaging wanneer we willen dat het model strikte regels volgt, zoals "raak nooit een voetganger" of "gebruik altijd de juiste grammatica", terwijl het nog steeds nuttig probeert te zijn. Als de regels te rigide zijn, kan het model nutteloos worden; als ze te los zijn, kan het de regels overtreden. Om dit op te lossen, gebruiken wetenschappers een wiskundig kader dat de drang om te slagen afweegt tegen de noodzaak om beperkingen te respecteren, waarbij de belangrijkheid van elke regel wordt aangepast terwijl het model leert.

Een populaire methode om deze modellen te onderwijzen, genaamd Group Relative Policy Optimization, is een favoriet geworden omdat het efficiënt is en geen apart "beoordelingsmodel" vereist om elke stap te evalueren. In plaats daarvan vergelijkt het een groep antwoorden die voor dezelfde vraag zijn gegenereerd om te beslissen welke beter zijn. Hoewel deze methode goed werkt voor algemene taken, ontdekten onderzoekers dat het toepassen ervan op strikte veiligheidsregels lastig was. In een nieuwe studie ontdekten een team van het Mila – Quebec AI Institute en École Polytechnique Montréal dat de standaardmanier om verschillende doelen in één enkele score te combineren, het vermogen van het systeem om regels te volgen, feitelijk kapot maakte. Ze introduceerden een nieuwe aanpak, Constrained Group Relative Policy Optimization, die dit gebrek herstelt en modellen in staat stelt om complexe gedragingen te leren terwijl ze zich strikt aan veiligheidslimieten houden.

Het kernprobleem dat de onderzoekers identificeerden, was hoe de computer tegelijkertijd met meerdere doelen omgaat. In de standaardbenadering neemt het model al zijn beloningen en straffen, mengt ze samen tot één enkel getal, en normaliseert dat getal vervolgens om het gemakkelijker te maken om ervan te leren. De onderzoekers toonden aan dat dit mengproces een verborgen interferentie creëert. Wanneer de computer het gewicht van één regel aanpast, verandert het onbedoeld de relatieve belangrijkheid van alle andere regels eveneeld. Het is alsof je probeert het volume van een enkel instrument in een orkest af te stemmen door aan een knop te draaien die ook de balans van de hele band verandert; je probeert misschien de violen luider te maken, maar daarmee maak je per ongeluk de drums te zacht en de fluiten te hard. Dit maakt het voor het model erg moeilijk om precies te leren welke regel het moet volgen, wat er vaak toe leidt dat het veiligheidsbeperkingen negeert of instabiel wordt tijdens de training.

Om dit op te lossen, veranderden de onderzoekers de volgorde van de operaties. In plaats van de beloningen en straffen eerst te mengen, lieten ze het model de waarde van elke regel afzonderlijk berekenen en deze individueel normaliseren. Pas nadat elke regel op zichzelf eerlijk is behandeld, combineren ze deze met behulp van de geleerde gewichten. Deze eenvoudige omschakeling verwijdert de verborgen interferentie. Door de signalen tot het allerlaatste moment gescheiden te houden, kan het model duidelijk zien hoeveel het op een specifieke regel verbetert. Het resultaat is een leerproces dat veel stabieler en voorspelbaarder is. De onderzoekers testten deze nieuwe methode in drie zeer verschillende omgevingen: een eenvoudig rastergebaseerd spel waarbij een agent lava moet vermijden en een batterij moet beheren, een realistische simulatie van autonoom rijden met duizenden complexe verkeersscenario's, en een wiskundige redentaak bestaande uit rekenproblemen voor basisschoolkinderen.

In het rastergebaseerde spel zorgde de nieuwe methode ervoor dat de agent veel soepeler kon leren. De standaardbenadering zorgde ervoor dat de agent overdreven voorzichtig werd, waarbij hij de lava zo agressief vermeed dat hij nauwelijks bewoog, terwijl de nieuwe methode de agent in staat stelde om zijn beschikbare "budget" aan risico effectief te gebruiken, waardoor hij de bestemming bereikte terwijl hij veilig bleef. In de simulatie van autonoom rijden produceerde de nieuwe aanpak bestuurders die niet alleen veiliger maar ook effectiever waren in het voltooien van hun routes. De modellen die met de nieuwe methode werden getraind, behaalden hogere scores in naleving van de veiligheid en voortgang van de route vergeleken met eerdere methoden die de signalen eerst mengden. Ze slaagden erin botsingen te vermijden en de verkeersregels te volgen zonder hun vermogen om vooruit te rijden op te offeren, een balans waar andere methoden moeite mee hadden.

De laatste test hield in dat een taalmodel werd onderwezen om wiskundeproblemen op te lossen terwijl ervoor werd gezorgd dat de antwoorden kort zijn, correct geformatteerd zijn en geldige getallen bevatten. Hier bewees de nieuwe methode opnieuw superieur te zijn. Modellen die getraind werden met de standaard mengbenadering, offerden vaak de juistheid op om hun antwoorden korter te maken of om in een specifiek formaat te passen. In contrast hiermee zorgde de nieuwe methode ervoor dat het model prioriteit gaf aan het juist uitvoeren van de wiskunde, terwijl het nog steeds hoge standaarden handhaafde voor de opmaak en lengte. Over verschillende groottes van computermodellen heen, van kleinere met 1,5 miljard parameters tot grotere met 7 miljard, produceerde de nieuwe aanpak consequent nauwkeurigere resultaten zonder dat er dure extra trainingscomponenten nodig waren.

De bevindingen suggereren dat de manier waarop we verschillende leer-signalen combineren net zo belangrijk is als de signalen zelf. Door simpelweg de volgorde te veranderen waarin de computer zijn beloningen en regels verwerkt, konden de onderzoekers een systeem creëren dat beperkingen veel betrouwbaarder respecteert. Dit werk biedt niet alleen een kleine verbetering; het biedt een duidelijker pad voor het trainen van kunstmatige intelligentie om veilig te opereren in de echte wereld, waar het volgen van de regels vaak net zo belangrijk is als het bereiken van het doel. De studie bevestigt dat wanneer we willen dat AI zowel bekwaam als veilig is, we voorzichtig moeten zijn dat de manier waarop we succes meten het model niet in verwarring brengt over wat het eigenlijk moet doen.

Technische Samenvatting: Constrained Group Relative Policy Optimization

Probleemstelling

Group Relative Policy Optimization (GRPO) is een dominante, critic-vrije benadering geworden voor het fine-tunen van Large Language Models (LLM's) en Vision-Language Models (VLM's), met name in domeinen zoals wiskundige redenering en belichaamde besluitvorming. GRPO elimineert de noodzaak van een geleerde waardefunctie (critic) door voordelen (advantages) te schatten via binnen-groep normalisatie van de verkregen beloningen uit meerdere gesamplede outputs voor een enkele query.

De compatibiliteit van GRPO met constrained policy optimization (beperkte beleidsoptimalisatie)—essentieel voor veiligheidskritische domeinen waar specifieke gedragsdrempels moeten worden afgedwongen—is echter nog niet grondig onderzocht. Bestaande multi-objective GRPO-methoden vertrouwen vaak op handmatige weging van beloningstermen, wat een gebrek aan het principiële kader van Constrained Markov Decision Processes (CMDP's) vertoont. CMDP's handhaven beperkingen via expliciete drempelwaarden in plaats van vaste gewichten, typisch gebruikmakend van Lagrangian-relaxatie. De kernuitdaging die in dit werk wordt aangepakt, is het integreren van op Lagrangian gebaseerde beperkingsafdwinging in het GRPO-framework zonder instabiliteit te introduceren of de beoogde afwegingen tussen doelstellingen te verstoren.

Methodologie: Constrained GRPO

De auteurs stellen Constrained GRPO voor, een framework dat GRPO combineert met beleidsoptimalisatie met Lagrangian-relaxatie voor het afhandelen van beperkingen. De methode maakt gebruik van indicator kostenfuncties om gedragsbeperkingen (bijv. veiligheidsschendingen) te definiëren en leert multiplicatoren om doelgestelde gedragspercentages af te dwingen.

De Kritieke Foutmodus: Scalarizing Rewards

Een rechtstreekse aanpak om GRPO met Lagrangian-methoden te combineren, houdt in dat men beloningen scalariseert vóór normalisatie. In deze aanpak worden de belonings- en kostentermen lineair gecombineerd met behulp van de huidige Lagrangian-multiplicatoren ( $\lambda$ ) om een enkel scalair signaal te vormen, dat vervolgens wordt gestandaardiseerd (gemiddelde eraf getrokken en gedeeld door de standaarddeviatie) binnen de groep.

Het papier identificeert een kritieke foutmodus in deze aanpak: shared-denominator coupling (koppeling via een gedeelde noemer).

Normalisatieafhankelijkheid: De standaardisatie-noemer (de groepsstandaarddeviatie, $\hat{\sigma}_{S_\lambda}$ ) is afhankelijk van het gescalariseerde signaal, wat een functie is van de multiplicatoren.
Gekoppelde Gevoeligheid: Het wijzigen van een enkele multiplier $\lambda_k$ verandert niet alleen het gewicht van de bijbehorende beperking, maar ook de normalisatiefactor voor alle componenten (beloningen en andere beperkingen).
Gevolg: Dit introduceert een covariantie-gemedieerde koppeling waarbij het effectieve gewicht van een beperking een complexe, niet-lineaire functie wordt van alle multiplicatoren en de huidige batchstatistieken. Dit leidt tot instabiele multiplier-dynamiek, waarbij het verhogen van een strafmultiplier onbedoeld het beloningssignaal of andere beperkingen kan onderdrukken, waardoor effectieve afdwinging van de gespecificeerde gedragspercentages wordt voorkomen.

De Voorgestelde Oplossing: Scalarizing Advantages

Om dit op te lossen, stellen de auteurs voor om gestandaardiseerde voordelen te scalariseren in plaats van beloningen. De procedure is als volgt:

Component-gewijze Standaardisatie: Elke belonings- en kostencomponent wordt onafhankelijk binnen de groep gestandaardiseerd (het aftrekken van het componentgemiddelde en delen door de componentstandaarddeviatie).
$Z_{R,i} = \frac{R_i - \bar{R}}{\hat{\sigma}_R}, \quad Z_{C_k,i} = \frac{C_{k,i} - \bar{C}_k}{\hat{\sigma}_{C_k}}$
Lineaire Combinatie: De gestandaardiseerde componenten worden vervolgens gecombineerd met behulp van de Lagrangian-multiplicatoren om het uiteindelijke voordeel (advantage) te vormen:
$A_i = \lambda_R Z_{R,i} - \sum_{k=1}^K \lambda_k Z_{C_k,i}$

Theoretische Rechtvaardiging:
De auteurs bieden een gevoeligheidsanalyse (Theorem 4.1 en Corollary 4.2) die aantoont dat het scalariseren van voordelen de shared-denominator coupling verwijdert. Hoewel softmax-genormaliseerde multiplicatoren nog steeds competitie tussen componenten introduceren (omdat het verhogen van één logit de massa van anderen vermindert), zijn de richtingen van de componenten al genormaliseerd. Bijgevolg reageert de primal update direct op de verandering in de multiplicatoren zonder het verwarrende effect van een veranderende normalisatiedenominator. Dit leidt tot een beter geconditioneerde update en zorgt ervoor dat toenames in Lagrangian-multiplicatoren betrouwbaar vertalen naar een sterkere afdwinging van de overeenkomstige beperkingen.

Belangrijkste Bijdragen

Introductie van het Framework: De introductie van Constrained GRPO, een beleidsoptimalisatieramewerk dat door de gebruiker gespecificeerde gedragsbeperkingen afdwingt via indicator kosten en geleerde Lagrangian-multiplicatoren, waardoor de noodzaak voor handmatige afstemming van beloningsgewichten wordt geëlimineerd.
Theoretische Analyse: Een formele karakterisering van de lokale respons van de primal update op veranderingen in duale variabelen. De auteurs bewijzen dat het scalariseren van beloningen vóór normalisatie een specifieke koppeling introduceert die de effectieve gewichten van doelstellingen verstoort, terwijl het scalariseren van voordelen dit probleem vermijdt.
Empirische Validatie: Demonstratie over drie verschillende domeinen dat het scalariseren van voordelen leidt tot stabieler leren en trouwere handhaving van beperkingen vergeleken met het scalariseren van beloningen.

Experimentele Resultaten

De auteurs evalueerden Constrained GRPO op drie benchmarks:

1. Gridworld Omgeving

In een gecontroleerde 10x10 gridworld met lava en batterijbeperkingen:

Scalarized Advantages: Produceerde stabiele leercurves en liet de beperkingsschendingspercentages natuurlijk aanpassen naar de gespecificeerde drempels (0.01). De Lagrangian-multiplicatoren pasten zich effectief aan om het beschikbare kostenbudget te benutten.
Scalarized Rewards: Veroorzaakte dat de beperkingspercentages vroeg in de training naar bijna nul inklapten, ongeacht de multiplier-waarden. De effectieve gewichten werden ruisachtig en ontkoppeld van de geleerde multiplicatoren, wat leidde tot inconsistent gedrag.

{% 2. NAVSIM-v2 (Autonoom Rijden)

Geëvalueerd op de NAVSIM-v2 "Navhard" split met de Extended PDM Score (EPDMS), die veiligheidsstraffen (botsingen, rijbaar gebied, etc.) en prestatie-metrieken aggregeert.

Prestaties: Constrained GRPO met scalarized advantages behaalde de hoogste EPDMS op Stage 1 (echte scènes) en de op één na hoogste op Stage 2 (synthetische scènes) onder de GRPO-baselines, waarmee het zowel de onconstrained GRPO-varianten als een hard-constraint GRPO-baseline versloeg.
Handhaving van Beperkingen: In tegen tegenstelling tot scalarized rewards, waar multiplicatoren er niet in slaagden om beperkingstoereikendheid te drijven (bijv. naleving van het rijbaar gebied bleef laag ondanks hoge multiplicatoren), stelden scalarized advantages de multiplicatoren in staat hun beoogde invloed uit te oefenen, wat leidde tot een snelle verbetering van de beperkingsnaleving (bijv. DAC verbeterde binnen ~1000 stappen).
Vergelijking: De methode presteerde beter dan onconstrained GRPO en kwam in de buurt van of overtrof de prestaties van PPO-Lagrangian, ondanks het feit dat er geen geleerde critic nodig was.

3. GSM8K (Wiskundige Redenering)

Geëvalueerd op wiskundeproblemen voor basisschoolniveau met behulp van Qwen2.5-Instruct modellen (1.5B, 3B, 7B). De beperkingen omvatten correctheid, vormnaleving en integer-validiteit; de primaire beloning was het minimaliseren van de lengte.

Correctheid: Constrained GRPO met scalarized advantages verbeterde de correctheid consistent ten opzichte van de Multi-Objective GRPO baseline (GDPO) over alle schalen (bijv. 0.770 $\to$ 0.802 bij 3B; 0.768 $\to$ 0.887 bij 7B).
Afwegingen: De methode voorkwam dat het model de lengte over-optimaliseerde ten koste van de correctheid, een veelvoorkomende foutmodus in onconstrained of slecht gewogen multi-objective settings.
Efficiëntie: Bij de 1.5B en 3B schalen bereikte Constrained GRPO concurrerende of betere prestaties dan PPO-Lagrangian zonder de computationele kosten van het trainen van een waardefunctie.

Betekenis en Claims

Het artikel claimt dat Constrained GRPO een robuust, critic-vrij framework biedt voor de veiligheidskritische fine-tuning van grote modellen. De primaire betekenis ligt in het identificeren en oplossen van een subtiele maar cruciale interactie tussen Lagrangian-multiplicatoren en de binnen-groep normalisatie van GRPO.

De auteurs stellen dat de standaardpraktijk van het scalariseren van beloningen vóór normalisatie fundamenteel gebrekkig is voor beperkte optimalisatie omdat het een shared-denominator coupling introduceert, die de geleerde multiplicatoren ontkoppelt van de werkelijke beleidsupdate-dynamiek. Door over te stappen naar scalarized advantages, zorgt de methode ervoor dat de Lagrangian-multiplicatoren functioneren zoals bedoeld: het direct controleren van de afweging tussen doelstellingen en beperkingen. Dit resulteert in een stabielere training, betrouwbaardere naleving van veiligheidsdrempels en verbeterde taakprestaties zonder de noodzaak van dure critic-modellen of handmatige beloningsweging.