🤖 machine learning

RSPO: Regularized Self-Play Alignment of Large Language Models

Het artikel introduceert Regularized Self-Play Policy Optimization (RSPO), een nieuw framework dat eerdere self-play methoden verenigt met plug-and-play regularisaties om overoptimalisatie te mitigeren en de alignment-prestaties en responsdiversiteit over meerdere benchmarks aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Xiaohang Tang, Sangwoong Yoon, Seongho Son, Huizhuo Yuan, Quanquan Gu, Ilija Bogunovic

Gepubliceerd 2026-09-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaohang Tang, Sangwoong Yoon, Seongho Son, Huizhuo Yuan, Quanquan Gu, Ilija Bogunovic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie proberen onderzoekers constant computerprogramma's te leren menselijke wensen te begrijpen en op te volgen. Dit proces, vaak alignment (afstemming) genoemd, is cruciaal omdat een krachtig taalmodel dat technisch briljant is maar menselijke waarden negeert, gevaarlijk of simpelweg nutteloos kan zijn. Jarenlang was de standaardmethode om deze modellen te onderwijzen een vorm van gesuperviseerde training waarbij mensen feedback gaven over welke antwoorden beter waren. Echter, een nieuwere en meer dynamische aanpak is opgekomen: self-play (zelfspel). Stel je twee versies van hetzelfde AI-model voor die tegen elkaar strijden, antwoorden genereren en beoordelen welke superieur is op basis van een reeks regels. Door deze eindeloze cyclus van competitie en verbetering leren de modellen theoretisch de beste manier te vinden om te communiceren, vergelijkbaar met hoe atleten hun vaardigheden verfijnen door te sparren met tegenstanders van gelijke kracht.

De uitdaging met deze self-play-methode is echter dat de modellen zonder vangnet te ver kunnen gaan. In hun onvermoeibare drang om het spel te winnen, kunnen ze beginnen met het uitbuiten van gebreken in het beoordelingssysteem, waardoor ze antwoorden produceren die op papier perfect lijken, maar in werkelijkheid onzinnig of schadelijk zijn. Dit fenomeen staat bekend als overoptimalisatie. Het is vergelijkbaar met een student die de exacte antwoorden op een oefentoets uit het hoofd leert, maar de onderliggende concepten niet begrijpt, om vervolgens te struikelen wanneer hij wordt geconfronteerd met een iets andere vraag. Om dit te voorkomen, voegen onderzoekers meestal een "regularisatie"-term toe, een wiskundige beperking die het model voorzichtig terugtrekt naar zijn oorspronkelijke, goed gedrag vertoonende staat. Hoewel dit concept goed begrepen is in andere gebieden van machine learning, is het grotendeels over het hoofd gezien in de specifieke context van self-play, wat een gat heeft achtergelaten in de manier waarop we deze competitieve modellen veilig en betrouwbaar houden.

Een team van onderzoekers heeft dit gat nu geadresseerd door een nieuw framework te introduceren genaamd Regularized Self-Play Policy Optimization, of RSPO. Hun werk richt zich op een eenvoudig maar krachtig idee: wat als we gemakkelijk verschillende soorten veiligheidsbeperkingen in het self-play-spel kunnen pluggen om de modellen op het juiste pad te houden? In plaats van vast te zitten aan één enkele, rigide manier om deze beperkingen toe te passen, staat hun nieuwe methode een flexibele mix van verschillende strategieën toe. De onderzoekers testten deze aanpak met verschillende populaire grote taalmodellen, waaronder versies gebaseerd op de Mistral-, LLaMA- en Gemma-architecturen. Ze ontdekten dat ze, door deze veiligheidsbeperkingen zorgvuldig af te stemmen, de modellen aanzienlijk betere resultaten konden laten behalen dan de modellen die zonder enige beperkingen werden getraind.

De resultaten van hun experimenten waren opmerkelijk. Wanneer ze hun methode toepasten op een model genaamd Mistral-7B, verbeterde het percentage keren dat het won tegen een standaard benchmark van 28,5% naar 35,4%. Voor een groter model, LLaMA-8B, sprong de winrate van 38,77% naar 43,66%. Zelfs voor een kleiner, efficiënter model, Gemma-2B, steeg de prestatie van 50,54% naar 51,83%. Deze cijfers vertegenwoordigen een betekenisvolle stap voorwaarts, wat suggereert dat de modellen niet alleen vaker winnen, maar ook kwalitatief betere antwoorden genereren die helpender en waarheidsgetrouwer zijn. Naast het simpelweg winnen van meer spellen, observeerden de onderzoekers dat de met hun methode getrainde modellen meer diverse antwoorden produceerden. In veel gevallen zorgt ongecontroleerde self-play ervoor dat modellen instorten tot een enkele, repetitieve spreekstijl, maar de nieuwe methode stimuleerde een rijkere variëteit aan reacties, wat essentieel is voor een behulpzame assistent.

Een van de meest significante bevindingen was dat niet alle veiligheidsbeperkingen op dezelfde manier werken. De onderzoekers ontdekten dat verschillende soorten beperkingen een onderscheidend effect hadden op het gedrag van de modellen. Sommige soorten beperkingen neigden ernaar om de modellen kortere, meer beknopte antwoorden te laten schrijven, terwijl andere beter waren in het stimuleren van de algehele kwaliteit van het antwoord. Door deze verschillende benaderingen te combineren, waren ze in staat om het beste van beide werelden te krijgen: antwoorden die zowel van hoge kwaliteit als passend beknopt waren. Deze flexibiliteit is een groot voordeel ten opzichte van eerdere methoden, die vaak beperkt waren tot het gebruik van slechts één specifieke soort beperking. Het nieuwe framework stelt onderzoekers in staat om deze hulpmiddelen te mixen en matchen om aan de specifieke behoeften van de taak te voldoen, wat het trainingsproces robuuster en aanpasbaarder maakt.

De studie benadrukte ook dat deze aanpak zeer efficiënt is. De onderzoekers hebben aangetoond dat ze prestatieniveaus vergelijkbaar met veel grotere, complexere modellen kunnen bereiken door hun methode op kleinere basismodellen te gebruiken. Dit suggereert dat de kwaliteit van het trainingsproces net zo belangrijk is als de grootte van het model zelf. Door de manier waarop de modellen via self-play leren te verfijnen, is het mogelijk om meer uit minder rekenkracht te halen, wat een cruciale overweging is naarmate deze technologieën breder verspreid raken. De onderzoekers bewezen dat hun methode niet alleen een theoretische verbetering is, maar een praktisch hulpmiddel dat gemakkelijk geïntegreerd kan worden in bestaande trainingspipelines zonder dat daarvoor een volledige herziening van huidige systemen nodig is.

Uiteindelijk biedt dit werk een duidelijkere weg vooruit om kunstmatige intelligentie af te stemmen op menselijke waarden. Het laat zien dat de sleutel tot het voorkomen dat modellen tijdens self-play van de rails raken, niet ligt in het stoppen van de competitie, maar in het sturen ervan met de juiste soort beperkingen. Door een flexibele manier te bieden om deze gidsen toe te passen, hebben de onderzoekers het vakgebied een krachtig nieuw hulpmiddel gegeven om AI-systemen te bouwen die niet alleen slimmer, maar ook veiliger en betrouwbaarder zijn. De bevindingen suggereren dat de toekomst van AI-alignment ligt in het balanceren van de drang naar verbetering met de behoefte aan stabiliteit, om ervoor te zorgen dat naarmate deze systemen capabeler worden, ze stevig geworteld blijven in wat mensen daadwerkelijk nodig hebben en waarderen.

Technische Samenvatting: RSPO: Regularized Self-Play Alignment of Large Language Models

1. Probleemstelling

Self-play alignment is opgekomen als een krachtige iteratieve benadering voor het fine-tunen van Large Language Models (LLMs) door preferentie-optimalisatie te formuleren als een tweespelersspel. Binnen dit kader is het doel om een Nash-evenwicht (NE) te vinden waarbij het LLM-beleid (policy) responsen genereert die worden verkozen boven die van een concurrerend beleid, gebaseerd op een algemeen preferentiemodel. Hoewel effectief, missen bestaande self-play methoden (bijv. SPPO) vaak expliciete regularisatie met betrekking tot een referentiebeleid.

De afwezigheid van deze regularisatie leidt tot over-optimalisatie, met name wanneer het preferentiemodel inaccuraat, misgespecificeerd of beperkt in expressiviteit is (bijv. kleine schaal reward-modellen zoals PairRM). Zonder beperkingen kan het beleid significant afwijken van het referentiemodel, wat resulteert in gedegradeerde prestaties, een instortende responsdistributie en verminderde diversiteit. Hoewel sommige recente methoden (bijv. Nash-MD) regularisatie bevatten, zijn deze doorgaans beperkt tot Reverse KL-divergentie en vereisen ze gespecialiseerde bemonsteringsprocedures (geometric mixture policies) die moeilijk te generaliseren zijn naar andere divergentiematen. Er is een gebrek aan een verenigd framework dat flexibele regularisatiestrategieën ondersteunt terwijl de theoretische convergentiegaranties behouden blijven.

2. Methodologie: Regularized Self-Play Policy Optimization (RSPO)

De auteurs stellen RSPO voor, een nieuw framework dat voorafgaande self-play methoden verenigt en de "plug-and-play"-integratie van diverse regularisatiestrategieën mogelijk maakt.

Kernframework

RSPO definieert een verliesfunctie $L_{RSPO}$ die een gemiddelde kwadratische self-play verlies combineert met een gewogen regularisatieterm:
$L_{RSPO} = \mathbb{E}_{y \sim \pi_t} \left[ \left( \log \frac{\pi_\theta(y)}{\pi_t(y)} - \eta \left( G(y, \pi_t, \mu) - B(\pi_t, \mu) \right) \right)^2 \right] + \lambda R(\pi_\theta, \mu)$

Waarbij:

$G(y, \pi_t, \mu)$ : De update-richting, doorgaans ingesteld op de preferentiegradiënt $P(y \succ \pi_t)$ .
$B(\pi_t, \mu)$ : Een baseline-functie voor variantiereductie (gesteld op $1/2$ ).
$R(\pi_\theta, \mu)$ : Een algemene convexe regularisatiefunctie die de afstand meet tussen het huidige beleid $\pi_\theta$ en het referentiebeleid $\mu$ .
$\lambda$ : De regularisatietemperatuur.

Kernmechanismen

Unificatie en Eenvoud: RSPO generaliseert bestaande ongeregulariseerde methoden (zoals SPPO) door simpelweg de term $\lambda R(\pi_\theta, \mu)$ toe te voegen aan hun verliesfuncties. Het generaliseert ook geregulariseerde methoden zoals Nash-MD, door aan te tonen dat Nash-MD een specifieke instantie is van RSPO onder Reverse KL-regularisatie met een gespecialiseerde update-richting.
Flexibele Regularisatie: In tegenstelling tot Nash-MD, dat inherent verbonden is aan Reverse KL en het gebruik van sampling uit een geometric mixture policy vereist, staat RSPO willekeurige regularisatiefuncties $R$ $R$ toe. De auteurs experimenteren met:
- Reverse KL-divergentie ( $D_{KL}(\pi \parallel \mu)$ )
- Forward KL-divergentie ( $D_{KL}(\mu \parallel \pi)$ ), geschat via Importance Sampling (IS) of directe resampling.
- Chi-kwadraat-divergentie ( $\chi^2$ ).
- Lineaire combinaties (bijv. Forward + Reverse KL).
Theoretische Garanties: De auteurs stellen vast dat het optimaliseren van de RSPO-verliesfunctie gelijk staat aan het uitvoeren van Reinforcement Learning binnen een Generalized Magnetic Mirror Descent (GMMD) framework. Onder de aanname dat de regularisatiefunctie $R$ 1-sterk convex is ten opzichte van de entropiefunctie, wordt bewezen dat RSPO last-iterate convergentie bereikt naar het Nash-evenwicht van het overeenkomstige geregulariseerde preferentie-optimalisatiespel.

3. Belangrijkste Bijdragen

Framework Voorstel: Introductie van RSPO, een modulair framework dat het self-play optimalisatie-doel ontkoppelt van de specifieke keuze van de divergentiemaat, waardoor een eenvoudige integratie van verschillende divergentiematen mogelijk is.
Theoretische Uitbreiding: Uitbreiding van convergentiegaranties van Reverse KL-geregulariseerde games naar algemene geregulariseerde games, waarbij wordt bewezen dat RSPO convergeert naar het NE van het geregulariseerde spel.
Empirische Analyse van Regularisatie: Een systematische studie die de onderscheidende effecten van verschillende regularisatoren onthult:
- Reverse KL: Verbetert de ruwe winstpercentages (win rates) aanzienlijk en helpt bij het mitigeren van over-optimalisatie.
- Forward KL: Neigt de responslengte te reduceren (het aanpakken van lengtebias), maar kan de winstpercentages verlagen als het alleen wordt gebruikt vanwege schendingen van relatieve convexiteitsaannames.
- Gecombineerde Strategie: Een lineaire combinatie van Forward en Reverse KL bereikt de beste balans, waarbij de Length-Controlled Win Rate (LCWR) wordt verbeterd terwijl de diversiteit behouden blijft.
Parameterefficiëntie: Demonstratie dat RSPO prestaties kan leveren die vergelijkbaar zijn met methoden die veel grotere preferentiemodellen gebruiken, terwijl het aanzienlijk minder parameters gebruikt.

4. Experimentele Resultaten

De auteurs evalueerden RSPO op Mistral-7B, LLaMA-8B en Gemma-2B met benchmarks inclusief AlpacaEval-2, Arena-Hard, MT-Bench en ArmoRM.

Prestatiewinsten: RSPO met getunede regularisatoren (specifiek een combinatie van Forward en Reverse KL) presteerde aanzienlijk beter dan de ongeregulariseerde SPPO-baseline.
- Mistral-7B: LCWR op AlpacaEval-2 verbeterde van 28,5% (SPPO) naar 35,4%.
- LLaMA-8B: LCWR verbeterde van 38,77% naar 43,66%.
- Gemma-2B: LCWR verbeterde van 50,54% naar 51,83%.
Robuustheid: In tegen tegenstelling tot ongeregulariseerde SPPO, die prestatievermindering vertoonde in latere iteraties door over-optimalisatie, behield RSPO de prestaties of verbeterde het deze over de iteraties heen.
Diversiteit: Er werd waargenomen dat RSPO met Reverse KL-regularisatie de responsdiversiteit verhoogt (lagere Self-BLEU scores) in bepaalde contexten, wat de intuïtie tegengaat dat regularisatie diversiteit vermindert. Dit wordt toegeschreven aan de multi-modale distributie van het referentiebeleid.
Efficiëntie: RSPO getraind met een 0,5B preferentiemodel (PairRM) op LLaMA-8B bereikte prestaties die vergelijkbaar zijn met SPPO getraind met een 8B preferentiemodel (GPM-8B), wat een reductie van 47% in totale parameters vertegenwoordigt.

5. Betekenis en Claims

Het artikel stelt dat RSPO een sterke fundering biedt voor het verkennen van geregulariseerde self-play alignment. De betekenis ligt in:

Het Oplossen van het Over-optimalisatieprobleem: Door expliciet regularisatie op te nemen, mitigeert RSPO de risico's die geassocieerd worden met inaccurate preferentiemodellen, een kritiek probleem in de praktische LLM-alignment.
Flexibiliteit en Generaliteit: Het verbreekt de afhankelijkheid van Reverse KL-divergentie, waardoor onderzoekers specifieke voordelen van verschillende divergentiematen kunnen benutten (bijv. lengtecontrole via Forward KL, prestatiewinst via Reverse KL) binnen één enkel, theoretisch solide framework.
Praktische Impact: De methode levert significante empirische verbeteringen over meerdere basismodellen en benchmarks zonder complexe architecturale wijzigingen of gespecialiseerde sampling-procedures te vereisen, wat het een "plug-and-play"-oplossing maakt voor bestaande self-play pipelines.

De auteurs concluderen dat regularisatie niet louter een technisch detail is, maar een kritieke component voor stabiele en effectieve self-play alignment, waardoor modellen kwalitatief betere, meer diverse en robuustere responsen kunnen genereren.