💻 computer science

One-Way Policy Optimization for Self-Evolving LLMs

Dit artikel introduceert One-Way Policy Optimization (OWPO), een nieuwe methode die de zelfevolutie van grote taalmodellen stabiliseert en verbetert door de optimalisatierichting te ontkoppelen van de updategrootte via asymmetrische herweging en iteratieve referentie-updates, waardoor de inefficiënties van bestaande token-niveau beperkingen worden overwonnen en continue verbetering zonder externe referentiemodellen mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Dilemma "Vastzitten in het Midden"

Stel je voor dat je een robot (de AI) leert complexe wiskundeproblemen op te lossen. Je hebt een Rechter (een Verificator) die alleen aan het einde van de oplossing kan zeggen "Goed" of "Fout".

Het Probleem: Omdat de Rechter alleen aan het einde spreekt, raakt de robot vaak verdwaald. Het weet niet welke stap fout was, dus het leert langzaam en raakt in de war.
De Oude Oplossing: Om te helpen, introduceerden onderzoekers een Referentiemodel (een "Leraar"). Ze vertelden de robot: "Blijf dicht bij de stijl van de Leraar." Dit maakte training stabiel, maar creëerde een nieuw probleem.
Het Nieuwe Probleem: Soms bedenkt de robot een beter manier om een probleem op te lossen dan de Leraar ooit deed. Maar omdat de robot gedwongen wordt om dicht bij de Leraar te blijven, straft het systeem het voor anders zijn. Het is alsof een student een snellere afkorting naar het antwoord vindt, maar de leraar schreeuwt: "Nee! Je moet de lange weg lopen die ik je heb geleerd!" De robot blijft steken en kan niet verbeteren boven het niveau van de Leraar.

De Oplossing: One-Way Policy Optimization (OWPO)

De auteurs stellen een nieuwe methode voor genaamd OWPO. Denk hierbij aan een slimme coach die Richting scheidt van Snelheid.

1. De Regel van de Coach:

Richting: De Rechter beslist welke kant op. Als de Rechter zegt "Dit pad is goed", gaat de robot die kant op. Als de Rechter zegt "Dit pad is slecht", draait de robot om. De Leraar beslist nooit de richting.
Snelheid: De Leraar beslist hoe snel er bewogen wordt.

2. De Tweewegstraat (Asymmetrische Herweging):
OWPO behandelt de pogingen van de robot verschillend, afhankelijk van of ze "slechter" of "beter" zijn dan de Leraar.

Scenario A: De Robot Hinkt Achter (Inferieure Afwijking)
- Situatie: De robot is onzeker of maakt fouten waar de Leraar zeker was.
- Actie: De Coach versnelt het leren. Het zegt: "Je loopt hier achter op de Leraar! Beweeg snel en haal in!" Dit heet Versnelde Uitlijning.
Scenario B: De Robot Leidt (Superieure Afwijking)
- Situatie: De robot vindt een betere oplossing of is zekerder dan de Leraar.
- Actie: De Coach vertraagt de veranderingen. Het zegt: "Je doet hier iets geweldigs! Verander niet te veel, anders kun je dit goede idee per ongeluk verliezen." Dit heet Gewinvergrendeling. Het beschermt de nieuwe, betere ideeën van de robot tegen het wegspoelen door willekeurige ruis.

Het "Krulspiraal-effect": De Plafond Doorbreken

In het verleden, zodra de robot even goed was als de Leraar, kon het niet beter worden omdat de Leraar het limiet was.

OWPO introduceert een Krulspiraalmechanisme (zoals een gereedschap dat alleen in één richting draait en nooit terugglijdt).

Elke paar stappen neemt de robot een pauze, kijkt naar zijn eigen beste werk en zegt: "Oké, ik ben nu de Leraar."
Het updatet het referentiemodel naar zijn eigen huidige beste zelf.
Dit creëert een ladder. De robot klimt omhoog, vergrendelt de sport, en gebruikt zijn nieuwe hoogte als basis om nog hoger te klimmen. Het glijdt nooit terug naar de oude, zwakkere Leraar.

Waarom Dit Belangrijk Is (De Resultaten)

Het paper testte dit op wiskundeproblemen (zoals de AIME-wedstrijd).

Oude Methoden: De robot zou vastzitten in de buurt van het niveau van de Leraar. Als de Leraar 37% goed was, zou de robot zweven rond de 37% of 38%.
OWPO: De robot brak door het plafond. Het begon bij 30%, klom voorbij de Leraar en bereikte een nauwkeurigheid van meer dan 40%.
Stabiliteit: In tegenstelling tot andere methoden die kunnen crashen of instabiel worden bij te veel creativiteit, houdt OWPO de robot stabiel door zijn goede ideeën op hun plaats te "vergrendelen".

Samenvattende Analogie

Stel je een wandelaar (de AI) voor die een berg probeert te beklimmen.

De Rechter is het kompas dat naar de top wijst.
De Oude Leraar was een kaart die zei: "Blijf op dit specifieke pad." Als de wandelaar een afkorting vond, dwong de kaart hem terug naar het oude pad.
OWPO is een slimme gids. De gids zegt: "Als je van het pad bent en verdwaald, ren snel om terug te komen. Maar als je een afkorting vindt die hoger leidt, loop dan langzaam en voorzichtig zodat je niet uitglijdt, maar blijf die nieuwe weg lopen. Zodra je een nieuw hoogtepunt bereikt, update de kaart om aan te tonen dat jij nu de expert bent, en begin vanaf daar op zoek naar de volgende afkorting."

Dit stelt de AI in staat om continu te evolueren, steeds beter wordend zonder dat er een externe "super-leraar" nodig is om voor altijd zijn hand vast te houden.

Technische Samenvatting: Eendirectionele Beleidsoptimalisatie voor Zelf-evoluerende LLM's

1. Probleemstelling

Het artikel behandelt de beperkingen van Versterkend Leren met Verifieerbare Beloningen (RLVR) bij het schalen van de redeneercapaciteiten van Large Language Models (LLM's). Hoewel RLVR een veelbelovend paradigma biedt voor taken met controleerbare uitkomsten (bijv. wiskunde, code), staat het voor twee hoofduitdagingen:

Schaarse en Binaire Signalen: Verifier-beloningen zijn doorgaans alleen beschikbaar op sequentieniveau, wat leidt tot hoge variantie, lage sample-efficiëntie en instabiele optimalisatie.
Het Conflict van "Krachtrichting Omkering" in Referentie-Gestuurde Methoden: Om training te stabiliseren, introduceren bestaande methoden (bijv. KL-geregulariseerd RL, On-Policy Distillatie) een referentiebeleid ( $\pi_{ref}$ $π_{r e f}$ ) om dichte token-niveau beperkingen te bieden. Deze methoden leggen echter symmetrische beperkingen op die elke afwijking van de referentie bestraffen, ongeacht of de afwijking de beloning verbetert.
- De Kernkwestie: Wanneer een beleid probeert de referentie te overtreffen (een "Superieure afwijking"), oefent de symmetrische KL-boete of distillatieverlies een "terugtrekkende" kracht uit richting de referentie. Als deze kracht sterk genoeg is, keert hij de optimalisatierichting om, waardoor een stap die de beloning verbetert, verandert in een stap achteruit. Dit creëert een prestatiedak, waardoor het model niet kan evolueren buiten de initiële prior.

2. Methodologie: Eendirectionele Beleidsoptimalisatie (OWPO)

De auteurs stellen Eendirectionele Beleidsoptimalisatie (OWPO) voor, een kader dat is ontworpen om de optimalisatierichting te ontkoppelen van de updategrootte.

Kernprincipe

Richting: Uitsluitend bepaald door de Verifier (via het voordeel-signaal $A_t$ ). De verifier bepaalt of een token correct of incorrect is.
Grootte: Gereguleerd door het Referentiebeleid ( $\pi_{ref}$ ). De referentie dient alleen om de stapgrootte aan te passen, niet om de richting om te keren.

Mechanisme: Asymmetrische Herweging

OWPO introduceert een dynamische scalair gewicht $w_t$ dat wordt toegepast op de standaard PPO/DAPO-doelstelling. Dit gewicht wordt bepaald door de Directionele Afwijking ( $\delta_t$ ), gedefinieerd als:
$\delta_t(\theta) \triangleq \text{sgn}(A_t) \cdot \log \frac{\pi_\theta(y_t | s_t)}{\pi_{ref}(y_t | s_t)}$
Op basis van $\delta_t$ past OWPO twee verschillende regimes toe:

Versnelde Alignering (Inferieure Afwijkingen, $\delta_t < 0$ ):
- Scenario: Het huidige beleid $\pi_\theta$ loopt achter op de referentie in de juiste richting (bijv. lagere zekerheid op correcte tokens of hogere zekerheid op verkeerde tokens).
- Actie: Het gewicht $w_t > 1$ .
- Effect: De gradiënt wordt versterkt om deze achterstanden sneller te corrigeren, waarbij de referentieprior wordt benut om fouten snel te verhelpen.
Winstdichting (Superieure Afwijkingen, $\delta_t > 0$ ):
- Scenario: Het huidige beleid $\pi_\theta$ overtreft de referentie in de juiste richting (bijv. hogere zekerheid op correcte tokens).
- Actie: Het gewicht $w_t < 1$ (specifiek begrensd door $\epsilon_{low}$ ).
- Effect: De updatestapgrootte wordt verkleind. Dit "vergrendelt" de schaarse, hoogwaardige winsten door de variantie te verminderen en te voorkomen dat hoge-variantie ruis deze gunstige afwijkingen destabiliseert of omkeert.

Iteratieve Zelf-evolutie (Het Krakeffect)

Om de bottleneck van een vast referentiebeleid te overwinnen, integreert OWPO een iteratief bootstrapping-proces:

Aan het einde van elke trainingsfase wordt het referentiebeleid bijgewerkt via een "Hard Swap": $\pi_{ref}^{(k+1)} \leftarrow \pi_\theta^{(k)}$ .
Dit creëert een Krakeffect, waarbij elke iteratie recente winsten consolideert in een nieuwe basislijn, waardoor het model continu kan klimmen naar hogere beloningen zonder beperkt te worden door de oorspronkelijke prior.

3. Belangrijkste Bijdragen

Identificatie van Richtingsconflict: Het artikel identificeert dat symmetrische beperkingen in bestaande RLVR-methoden "Krachtrichting Omkering" veroorzaken, waarbij het referentiebeleid onbedoeld verbeteringen onderdrukt die afwijken van de prior.
Ontkoppeling van Richting en Grootte: OWPO introduceert een nieuwe doelstelling waarbij de verifier het gradiëntteken (richting) dicteert, en het referentiebeleid alleen de gradiëntgrootte schalen.
Asymmetrisch Vertrouwensgebied: In tegenstelling tot standaard symmetrische KL-regularisatie, bouwt OWPO een richting-bewust vertrouwensgebied dat de correctie voor inferieure afwijkingen versnelt terwijl het superieure afwijkingen beschermt via variantiereductie.
Iteratief Zelf-evolutiekader: Door het eendirectionele mechanisme te combineren met periodieke referentie-updates, maakt OWPO continue zelfverbetering mogelijk zonder afhankelijkheid van externe leraar-modellen.

4. Experimentele Resultaten

De auteurs hebben OWPO geëvalueerd op de Qwen-2.5-Math-7B en Qwen-3-8B basismodellen met behulp van het DAPO-Math-17k dataset en de AIME24/25 benchmarks.

Prestaties vs. Baselines: OWPO presteerde consequent beter dan sterke baselines, waaronder pure RLVR-methoden (GRPO, DAPO) en referentie-gestuurde methoden (OPD, MOPD, Sym-DAPO).
- Op Qwen-3-8B behaalde OWPO een Pass@1 van 51,90% (beste) en 50,74% (geconvergeerd) op AIME24, wat aanzienlijk beter is dan MOPD (46,40%) en DAPO (45,31%).
- OWPO brak het "prestatiedak" dat werd waargenomen bij MOPD en OPD, die de neiging hadden om te plateauleren in de buurt van de prestaties van het referentiebeleid.
Efficiëntie van Zelf-evolutie: In een iteratieve setting die startte vanuit een suboptimale prior (~30% Pass@1), bereikte OWPO ~40% nauwkeurigheid in 4 iteraties, terwijl MOPD 6 iteraties vereiste om te verzadigen op een lagere ~37%.
Generalisatie: Ondanks strikt trainen op wiskundedata, toonde OWPO superieure overdraagbaarheid op algemene wetenschappelijke benchmarks (GPQA en MMLU-Pro) in vergelijking met andere methoden.
Ablatiestudies: Het verwijderen van de asymmetrie (Symmetrische Herweging) veroorzaakte een ernstige prestatiereductie, wat bevestigt dat symmetrische boetes krachtrichting omkering induceren. Zowel de componenten "Versnelde Alignering" als "Winstdichting" bleken onmisbaar.

5. Betekenis en Claims

Het artikel beweert dat OWPO het fundamentele stabiliteit-exploratie-conflict in RLVR oplost. Door het effect van "Krachtrichting Omkering" inherent aan symmetrische regularisatie te voorkomen, stelt OWPO modellen in staat om:

Stabiel suboptimale priors te transcenderen: Modellen kunnen evolueren buiten de capaciteiten van hun initiële referentiebeleid zonder in te storten.
Continue zelf-evolutie mogelijk maken: Het iteratieve "Krakeffect" zorgt voor aanhoudende prestatieverbetering zonder externe leraar-modellen.
Verifier-gidsing prioriteren: Het kader stelt vast dat voor verifieerbare redeneertaken het signaal van de verifier de primaire drijver van de optimalisatierichting moet zijn, waarbij referentiebeleid alleen dienen als stabilisatoren voor de grootte.

De auteurs positioneren OWPO als een fundamentele stap naar schaalbare, zelf-evoluerende redeneermodellen, en merken op dat hoewel het momenteel focust op wiskunde en verifieerbaar redeneren, het principe van richting-bewuste optimalisatie breed toepasbaar is op RLVR.