A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

Technische Samenvatting: Een Gecombineerde Pair-GRPO-familie

Probleemstelling
Reinforcement Learning from Human Preferences (RLHF) is de standaard voor het afstemmen van Large Language Models (LLM's) op menselijke waarden, maar gangbare paradigma's voor het leren van gepaarde voorkeuren lijden onder vier kritieke beperkingen: instabiele beleidsupdates, ambiguïteit in gradiëntrichtingen, slechte interpreteerbaarheid en hoge gradiëntvariatie. Specifiek vertrouwen bestaande methoden, zoals Group Relative Policy Optimization (GRPO), op continue, gegroepeerde genormaliseerde scalair beloningen. Deze aanpak introduceert redundante informatie (absolute beloningsgroottes zijn vaak willekeurig), staat onbeperkte globale waarschijnlijkheidsverschuivingen toe die afstemmingssignalen verdunnen, en resulteert in ruisende stochastische gradiënten die gebrek doen aan directionele determinisme.

Methodologie: De Pair-GRPO-familie
Het artikel stelt een verenigd theoretisch raamwerk voor dat centraal staat rond de Pair-GRPO-familie, die de kloof overbrugt tussen impliciete beloningsgewogen optimalisatie en expliciete voorkeursbeperkingen. De familie bestaat uit twee nauw gekoppelde varianten:

1. Soft-Pair-GRPO (Impliciete Beperkingen):

   • Mechanisme: Een minimale modificatie van standaard GRPO die continue gegroepeerde genormaliseerde beloningen vervangt door binaire gepaarde voorkeursbeloningen ($+1$ voor het geprefereerde antwoord $a_p$, $-1$ voor het verworpen antwoord $a_r$).
   • Structuur: Het behoudt de afgeknipte surrogate-doelfunctie en de KL-geregulariseerde structuur van GRPO.
   • Theoretisch Inzicht: De auteurs bewijzen een Gelijkwaardigheidstheorema voor Gradiënten. Onder een Taylor-expansie van de eerste orde rond het huidige beleid, wordt aangetoond dat de gradiënt van Soft-Pair-GRPO een positief scalair veelvoud is van de standaard GRPO-gradiënt. Dit verklaart waarom het weglaten van continue beloningsgroottes de stabiliteit niet in gevaar brengt; het optimalisatiesignaal blijft directioneel identiek aan GRPO, maar met minder ruis.

2. Hard-Pair-GRPO (Expliciete Beperkingen):

   • Mechanisme: Een geavanceerde variant die expliciete lokale waarschijnlijkheidsbeperkingen introduceert. In plaats van uitsluitend te vertrouwen op het beloningssignaal, construeert het een doeldistributie $\pi_{tar}$ die waarschijnlijkheidsmassa strikt overdraagt tussen het geprefereerde en het verworpen antwoord ($a_p$ en $a_r$), terwijl alle andere antwoorden worden bevroren.
   • Optimalisatie: Geformuleerd als een beperkt KL-aanpassingsprobleem ($\min D_{KL}(\pi_\theta \parallel \pi_{tar})$) onderworpen aan een vertrouwensgebied-beperking ($D_{KL}(\pi_\theta \parallel \pi_{old}) \le \beta$).
   • Dynamiek: Het maakt gebruik van een dynamisch afnemende stapgrootte ($\delta_t$) om stabiele convergentie zonder oscillatie te garanderen.

Belangrijkste Bijdragen

1. Gelijkwaardigheidstheorema voor Gradiënten: Het artikel stelt vast dat de gradiënt van Soft-Pair-GRPO onder benadering van de eerste orde directioneel equivalent is aan standaard GRPO, wat een theoretische basis biedt voor het gebruik van binaire beloningen zonder de voordelen van het GRPO-raamwerk te verliezen.
2. Expliciete Beperkingenformulering: Hard-Pair-GRPO introduceert een nieuwe benadering voor beperkte KL-aanpassing die optimalisatiesignalen isoleert tot het kritieke voorkeurspaar, waardoor globale beleidsdrift wordt geëlimineerd.
3. Uitgebreide Theoretische Waarborgen: De auteurs leveren rigoureuze bewijzen voor:
   • Monotone Beleidsverbetering: Gegarandeerde niet-afname in verwachte opbrengst onder vertrouwensgebied-beperkingen.
   • Deterministische Gradiëntrichting: De gradiënt duwt consequent de waarschijnlijkheid van het geprefereerde antwoord omhoog en die van het verworpen antwoord omlaag, met een nulsignaal voor irrelevante antwoorden in Hard-Pair-GRPO.
   • Vermindering van Gradiëntvariatie: Een strikte hiërarchie wordt bewezen waarbij $V_{Hard-Pair-GRPO} < V_{Soft-Pair-GRPO} < V_{GRPO}$, wat aantoont dat expliciete beperkingen en gepaarde vergelijkingen stochastische ruis aanzienlijk verminderen.
   • Convergentie door Dynamische Stapgrootte: Bewijs dat de afnemende stapgrootte stabiele convergentie naar een lokaal optimum garandeert.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op LLM-afstemmingsbenchmarks (HH-RLHF, UltraFeedback) en de algemene continue controletaak HalfCheetah-v4 (MuJoCo).

• Afstemmingsprestaties: Hard-Pair-GRPO presteerde consequent beter dan state-of-the-art baselines (Standaard GRPO, DPO, ORPO) op automatische afstemmingsmetrieken (Helpzaamheid, Onschadelijkheid) en scores voor menselijke evaluatie (Coherentie, Relevantie, Totaal).
• Trainingsstabiliteit: De Pair-GRPO-familie toonde een strikt afnemende gradiëntvariatie en standaardafwijking van de KL-divergentie in vergelijking met baselines. Hard-Pair-GRPO bereikte de laagste variatie (0,031 variatie in gradiëntnorm versus 0,087 voor Standaard GRPO).
• Generalisatie: De prestatiestraling ($PPO < GRPO < Soft\text{-}Pair\text{-}GRPO < Hard\text{-}Pair\text{-}GRPO$) bleek waar in de HalfCheetah-v4-omgeving, wat de toepasbaarheid van het raamwerk buiten LLM's naar algemeen reinforcement learning bevestigt.
• Ablatiestudies: Geverifieerd dat dynamische afname van de stapgrootte, regularisatie van het vertrouwensgebied en expliciete lokale beperkingen allemaal kritieke componenten zijn voor het behalen van hoge prestaties en stabiliteit.

Betekenis en Claims
Het artikel claimt een verenigde theoretische basis te leggen voor voorkeursgebaseerde RL-optimalisatie. Door te bewijzen dat de absolute grootte van scalair beloningen overbodig is voor het leren van voorkeuren, daagt het werk het standaardparadigma voor beloningsmodellering uit. Het suggereert dat het kernmechanisme van RLHF kan worden vereenvoudigd tot relatieve gepaarde ordening, versterkt door expliciete distributiebeperkingen. De auteurs stellen dat de Pair-GRPO-familie een spectrum van ontwerptrade-offs biedt: Soft-Pair-GRPO dient als een stabiele baseline met minimale modificaties, terwijl Hard-Pair-GRPO superieure stabiliteit en prestaties levert door expliciete controle, waardoor impliciete en expliciete voorkeursbeperkingen effectief worden verenigd binnen één theoretisch onderbouwd raamwerk.