Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment

Dit paper introduceert Personalized GRPO (P-GRPO), een nieuw framework dat de beperkingen van standaard GRPO voor persoonlijke voorkeursuitlijning oplost door de voordeelsschatting te ontkoppelen van batchstatistieken en te normaliseren op basis van voorkeursgroepspecifieke geschiedenis, wat leidt tot snellere convergentie en een betere uitlijning met heterogene menselijke voorkeuren.

De kern

Stel je voor dat je een zeer slimme, universele assistent hebt die alles kan doen: van koken tot wiskunde. Maar deze assistent heeft een probleem: hij probeert iedereen tevreden te stellen met één standaardantwoord.

Als jij houdt van korte, bondige antwoorden en je buurman van uitgebreide, gedetailleerde verhalen, geeft de assistent aan jullie beiden een gemiddeld antwoord. Voor jou is het te langdradig, voor je buurman te kort. Niemand is echt blij.

Dit is precies het probleem dat de onderzoekers van Apple in dit papier proberen op te lossen met hun nieuwe methode, P-GRPO.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het oude probleem: De "Grote Groep" (GRPO)

Stel je een klaslokaal voor met 30 leerlingen. De leraar (de computer) vraagt: "Wie heeft het beste antwoord?"
In de oude methode (GRPO) kijkt de leraar naar alle antwoorden in de klas tegelijk.

• Als 20 leerlingen een kort antwoord geven en 10 een lang antwoord, dan wordt het "gemiddelde" antwoord van de klas het korte antwoord.
• De leraar denkt dan: "Het korte antwoord is het beste, want dat is wat de meerderheid doet."
• Het resultaat: De 10 leerlingen die van lange antwoorden houden, krijgen een slechtere beoordeling, zelfs als hun antwoord perfect was voor hun stijl. De computer leert dan om alleen nog maar korte antwoorden te geven, en vergeet de andere groep.

In de AI-wereld noemen ze dit GRPO. Het werkt goed als iedereen hetzelfde wil, maar faalt als mensen heel verschillend zijn (zoals in de echte wereld).

2. De nieuwe oplossing: De "Persoonlijke Coach" (P-GRPO)

De onderzoekers bedachten een slimme truc: P-GRPO (Personalized Group Relative Policy Optimization).

Stel je nu voor dat elke leerling een eigen persoonlijke coach heeft.

• De coach van de "korte-antwoorden-groep" vergelijkt het antwoord alleen met de andere korte antwoorden.
• De coach van de "lange-antwoorden-groep" vergelijkt het antwoord alleen met de andere lange antwoorden.

De magische stap:
In plaats van te zeggen: "Dit antwoord is slecht omdat het anders is dan de rest van de klas," zegt de persoonlijke coach: "Dit antwoord is uitstekend voor jouw stijl, omdat het beter is dan de andere lange antwoorden die jij normaal krijgt."

Dit heet in de paper het normaliseren van beloningen op basis van je eigen groep.

3. Waarom is dit zo belangrijk?

• Rechtvaardigheid: De "minderheid" (bijvoorbeeld mensen die van technische taal houden) wordt niet meer onderdrukt door de "meerderheid" (mensen die van simpele taal houden). Iedereen krijgt een eerlijke kans om te leren wat zij leuk vinden.
• Sneller leren: Omdat de computer niet meer verward raakt door gemengde signalen, leert hij sneller wat elke specifieke gebruiker echt wil. Het is alsof je stopt met proberen iedereen tevreden te stellen met één middelmatig antwoord, en begint met het geven van het perfecte antwoord voor elk individu.

4. Wat hebben ze bewezen?

De onderzoekers hebben hun nieuwe methode getest op verschillende taken:

• Films aanbevelen: Ze hebben gekeken of de AI betere films aanbeveelt voor mensen met verschillende smaken.
• Boekrecensies schrijven: Ze hebben getest of de AI recensies kon schrijven die pasten bij de schrijfstijl van verschillende personen (soms kort en grappig, soms lang en serieus).

Het resultaat: De nieuwe methode (P-GRPO) was overal sneller in leren en gaf betere resultaten dan de oude methode. De AI werd beter in het begrijpen van jouw specifieke smaak, zonder dat hij zijn algemene intelligentie verloor.

Samenvattend

Stel je voor dat je een AI hebt die een universele vertaler is.

• Oude manier: Hij vertaalt alles naar een saaie, gemiddelde taal die voor niemand echt lekker klinkt.
• Nieuwe manier (P-GRPO): Hij heeft een team van vertalers. Eén vertaler spreekt de taal van de "korte, snelle mensen", een andere spreekt de taal van de "dromers en filosofen". Ze vergelijken hun werk alleen met elkaar, niet met de rest van de wereld.

Zo zorgt de AI ervoor dat jij, met jouw unieke smaak, eindelijk een antwoord krijgt dat écht voor jou gemaakt is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment" in het Nederlands.

Titel: Personalized Group Relative Policy Optimization (P-GRPO) voor Heterogene Voorkeursalignatie

1. Het Probleem

Grote Taalmodellen (LLM's) worden vaak getraind met methoden zoals Reinforcement Learning from Human Feedback (RLHF) om te aligneren met menselijke voorkeuren. Een fundamentele beperking van bestaande methoden, en specifiek van Group Relative Policy Optimization (GRPO), is dat ze uitgaan van een homogene voorkeursverdeling.

• De aanname: GRPO normaliseert beloningen (rewards) binnen een groep gegenereerde antwoorden voor dezelfde prompt. Hierbij wordt impliciet aangenomen dat alle samples uitwisselbaar zijn en uit dezelfde onderliggende voorkeursverdeling komen.
• De realiteit: Menselijke voorkeuren zijn heterogeen. Verschillende gebruikers (of gebruikersgroepen) hebben verschillende, soms tegenstrijdige voorkeuren (bijv. beknopte vs. gedetailleerde antwoorden, neutrale vs. emotionele taal).
• Het gevolg: Wanneer GRPO wordt toegepast op een gemengde dataset van verschillende gebruikers, leidt de groepsgewijze normalisatie tot een statistische krimp (shrinkage) richting de dominante voorkeur. Antwoorden die passen bij minderheidsgroepen of specifieke gebruikersprofielen krijgen een onterecht lage "advantage" (voordeel) omdat ze worden vergeleken met een gemiddelde die wordt gedomineerd door de meerderheid. Dit resulteert in een model dat goed presteert voor de meerderheid, maar systematisch faalt voor minderheidsgroepen, waardoor personalisatie onmogelijk wordt gemaakt zonder de algemene capaciteiten te verliezen.

2. Methodologie: Personalized GRPO (P-GRPO)

De auteurs introduceren P-GRPO, een nieuw framework dat de schatting van het voordeel (advantage estimation) ontkoppelt van de onmiddellijke batch-statistieken en in plaats daarvan koppelt aan voorkennis over specifieke gebruikersgroepen.

Kernprincipes:

1. Groepering: Gebruikers worden gegroepeerd in voorkeurclusters (bijv. via expliciete user IDs of clustering van interactiepatronen).
2. Persoonlijke Statistieken: In plaats van de beloning te normaliseren ten opzichte van de andere samples in de huidige generatie-batch, wordt de beloning genormaliseerd ten opzichte van de historische statistieken (gemiddelde en standaarddeviatie) van de specifieke voorkeursgroep waartoe de gebruiker behoort.
3. Online Normalisatie: Om dit efficiënt te doen zonder alle historische data op te slaan (wat $O(N)$ geheugen zou kosten), gebruikt P-GRPO Welford's online algoritme. Dit houdt voor elke groep $p$ een lopend gemiddelde ($\mu_p$) en een som van kwadratische verschillen ($M_p$) bij met een constante geheugencomplexiteit ($O(1)$).

De Formule:
De standaard GRPO advantage ($\hat{A}$) wordt vervangen door de gepersonaliseerde advantage ($\tilde{A}$):

$$\tilde{A}^p_{i,t} = \frac{R_i - \mu_p}{\sigma_p + \epsilon}$$

Waarbij:

• $R_i$ de beloning is voor de specifieke output.
• $\mu_p$ en $\sigma_p$ het historische gemiddelde en de standaarddeviatie zijn voor de voorkeursgroep $p$.
• Dit zorgt ervoor dat een output voor een "moeilijke" voorkeur (laag gemiddelde) een positieve advantage kan krijgen als deze beter is dan het gemiddelde van die groep, zelfs als de absolute beloning lager is dan die van een "makkelijke" groep.

3. Belangrijkste Bijdragen

• Decoupling van Normalisatie: Het eerste framework dat advantage-estimation ontkoppelt van de concurrente batch en baseert op groepsspecifieke historische verdelingen.
• Behoud van Contrast: P-GRPO behoudt de contrastieve signalen die nodig zijn om onderscheidende voorkeuren te leren, wat verloren gaat bij standaard GRPO.
• Efficiëntie: Implementatie via Welford's algoritme maakt schaalbare, on-line training mogelijk zonder enorme geheugenvereisten.
• Theoretische Inzicht: De auteurs tonen wiskundig aan dat standaard GRPO leidt tot een bias waarbij minderheidsgroepen worden ondergewaardeerd, en dat P-GRPO dit corrigeert door een bias-correctieterm toe te voegen die de groepsspecifieke verdeling weerspiegelt.

4. Resultaten

De auteurs hebben P-GRPO getest op diverse taken en modellen (Qwen3-1.7B, Qwen3-8B, Gemma-2B) in vergelijking met standaard GRPO en GDPO (Group Distributional Preference Optimization).

• Convergentie en Beloning: P-GRPO convergeert consistent sneller en bereikt hogere gemiddelde beloningen dan standaard GRPO op alle geteste taken.
• Taken:
  • Content Recommendation (MovieLens-1M): P-GRPO behaalde een hogere Top-1 nauwkeurigheid (65.77% vs 63.79% bij GRPO) en generaliseerde beter naar grotere kandidaatsets.
  • Tekstgeneratie (Synthetische data, Goodreads, KGRec): P-GRPO overtrof GRPO en GDPO op ROUGE-scores en Cosine Similarity.
• LLM-as-Judge Evaluatie: Bij evaluatie door een ander LLM (GPT-OSS-120B) behaalde P-GRPO een hogere "win-rate" in vergelijking met GRPO over alle voorkeurclusters heen, wat aantoont dat het model beter in staat is om zich aan te passen aan individuele gebruikersstijlen.
• Behoud van Algemene Capaciteiten: Tests op de MMLU-benchmark (een maatstaf voor algemene redeneercapaciteit) toonden aan dat P-GRPO de algemene kennis van het model niet aantastte (verschillen waren verwaarloosbaar, < 0.1%).
• Ablatiestudies: De resultaten bevestigden dat de kwaliteit van de clustering essentieel is; willekeurige clusters leverden geen verbetering op, wat aantoont dat de methode afhankelijk is van betekenisvolle voorkeursgroepen.

5. Betekenis en Impact

Dit paper adresseert een cruciaal ethisch en technisch probleem in de alignatie van AI: de onderdrukking van minderheidsgroepen.

• Fairness: P-GRPO biedt een mechanisme om te zorgen dat gebruikers met minder voorkomende voorkeuren een eerlijke kans krijgen om het model te beïnvloeden, in plaats van dat het model alleen optimaliseert voor de "gemiddelde" of dominante gebruiker.
• Schaalbaarheid: Het biedt een praktische oplossing voor personalisatie op schaal zonder de noodzaak van complexe test-time aanpassingen of het trainen van duizenden aparte modellen.
• Toekomstige Richting: Het werk legt de basis voor meer rechtvaardige AI-systemen die diversiteit in menselijke waarden en stijlen kunnen accommoderen zonder in te leveren op de algemene bruikbaarheid of veiligheid van het model.

Samenvattend introduceert P-GRPO een fundamentele wijziging in hoe we reinforcement learning toepassen op LLM's: van een "one-size-fits-all" benadering naar een voorkennis-gedreven, groepsspecifieke optimalisatie die de heterogeniteit van menselijke voorkeuren respecteert.