💬 NLP

When Are Two RLHF Objectives the Same?

Dit artikel introduceert Opal, een canonicalisatie-algoritme dat de algebraïsche equivalentie van RLHF-voorkeursobjectieven bepaalt, waarbij wordt aangetoond dat veel veelgebruikte methoden in feite herparameterisaties zijn van hetzelfde onderliggende doel, terwijl de specifieke structurele mechanismen worden geïdentificeerd die werkelijk onderscheidende doelstellingen creëren.

Oorspronkelijke auteurs: Madhava Gaikwad

Gepubliceerd 2026-02-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Madhava Gaikwad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert een recept voor een nieuw gerecht te perfectioneren. In de afgelopen jaren hebben honderden andere chefs hun eigen "verbeterde" versies van dit recept gepubliceerd. Sommigen zeggen dat ze de kruiden hebben veranderd, anderen zeggen dat ze de kooktemperatuur hebben bijgesteld, en anderen beweren dat ze een compleet nieuwe manier hebben uitgevonden om de ingrediënten te mengen.

De grote vraag is: Zijn dit werkelijk verschillende recepten, of zijn het gewoon hetzelfde gerecht met een andere naam?

Dit artikel introduceert een tool genaamd Opal (denk aan een "Receptenvertaler" of een "Smaakvingerafdrukscanner") om precies die vraag te beantwoorden voor AI-trainingsmethoden die bekend staan als RLHF (Reinforcement Learning from Human Feedback).

Hier is de uitsplitsing van wat het artikel heeft gevonden, met behulp van eenvoudige analogieën:

1. Het Probleem: Te veel namen, dezelfde smaak

In de wereld van AI hebben onderzoekers tientallen verschillende manieren voorgesteld om AI-modellen te leren menselijke voorkeuren te volgen. Ze geven ze chique namen zoals DPO, SPPO, SimPO en GRPO. Elk artikel beweert dat hun methode een "doorbraak" of "duidelijk beter" is.

De auteurs vroegen zich af: Zijn dit werkelijk verschillende wiskundige doelen, of zijn het gewoon dezelfde doelen geschreven in verschillende talen?

2. De Oplossing: Opal (De Vertaler)

De auteurs bouwden een algoritme genaemt Opal. Je kunt Opal zien als een machine die twee verschillende recepten (wiskundige formules) neemt en probeert te vertalen naar één enkele, standaard "canonieke" taal.

Als de recepten vertalen naar exact dezelfde standaardtaal: Zegt Opal: "Deze zijn hetzelfde." Het geeft ze dezelfde "vingerafdruk" (een hashcode).
Als ze niet naar dezelfde taal vertaald kunnen worden: Produceert Opal een "getuige" (witness). Dit is een concreet voorbeeld dat laat zien waarom ze verschillend zijn. Bijvoorbeeld: "In Recept A, als je zout toevoegt, proeft het zoutig. In Recept B maakt het toevoegen van zout het zoet, afhankelijk van wat er nog meer in de pan zit."

3. De Grote Ontdekking: Veel "Nieuwe" Methoden Zijn Oude Methoden in Vermomming

Wanneer de auteurs Opal draaiden op 33 verschillende methoden, kwamen ze tot een verrassende ontdekking:

De "DPO"-familie: Tien verschillende methoden (inclusief SPPO en Nash-MD) bleken algebraïsch identiek te zijn aan de beroemde Dente DPO-methode.
- De Analogie: Het is alsof iemand beweert dat hij een nieuwe manier heeft uitgevonden om water te koken door het "Thermische Faseovergang" te noemen. Het is hetzelfde water dat kookt, alleen met een chique naam.
- Het Resultaat: Overstappen van DPO naar SPPO verandert het eigenlijke doel dat de AI probeert te bereiken niet; het verandert alleen hoe de wiskunde wordt opgeschreven.
De "Echte" Innovaties: Slechts een klein handvol methoden was werkelijk anders.
- GRPO (Het Batch-effect): Deze methode wordt gebruikt door het beroemde DeepSeek-R1 model. Opal bewees dat het fundamenteel anders is dan DPO.
  - De Analogie: Stel je voor dat je studenten beoordeelt. In de standaardmethode (DPO) beoordeel je Student A alleen op basis van hun eigen toetsresultaat. In GRPO beoordeel je Student A op basis van hoe ze presteerden vergeleken met de andere studenten in de kamer die dag. Als je een genie in de kamer zet, lijkt Student A slechter. Als je een zwakke student in de kamer zet, lijkt Student A beter. De "batch" van studenten verandert het cijfer. Opal bewees dat deze "batch-afhankelijkheid" GRPO een compleet ander beest maakt.
- KTO en anderen: Deze methoden behandelen "winsten" en "verliezen" anders (zoals een gokker die meer bang is om te verliezen dan dat hij geniet van winnen). Deze asymmetrie maakt hen structureel uniek.

4. De Vier "Geheime Ingrediënten" voor Echte Verschillen

Het artikel stelt vast dat voor een methode om echt nieuw te zijn (en niet slechts een herformulering), het een van vier regels moet breken. Als het een regel niet breekt, is het waarschijnlijk gewoon een herhaling van een oude methode.

Groepsnormering (Group Normalization): Het scoreniveau veranderen op basis van wie er nog meer in de groep zit (zoals GRPO).
Paarsgewijze Weging (Pair-Dependent Weighting): Specifieke paren antwoorden anders behandelen op basis van hun unieke kenmerken (zoals KTO).
Token-niveau Structuur (Token-Level Structure): Het antwoord van de AI woord voor woord bekijken in plaats van de hele zin in één keer.
Traject-niveau (Trajectory-Level): Kijken naar het hele pad van beslissingen dat de AI heeft genomen, niet alleen naar het uiteindelijke antwoord.

5. Wat dit betekent voor Praktijkgebruikers

Als je een ingenieur bent die een methode probeert te kiezen:

Laat je niet misleiden door de namen. Als je een nieuwe methode ziet die op DPO lijkt maar een chique afleiding heeft, kan het gewoon DPO in een smoking zijn.
Controleer de "Batch". Als een methode zijn gedrag verandert afhankelijk van welke andere voorbeelden in de trainingsbatch zitten, doet het iets unieks (zoals GRPO).
Het Doel is hetzelfde. Zelfs als de wiskunde er anders uitziet, als Opal zegt dat ze equivalent zijn, zullen ze hetzelfde "perfecte" AI-gedrag nastreven. Ze kunnen er echter wel met verschillende snelheden of met verschillende stabiliteit komen.

Samenvatting

Het artikel is een "reality check" voor het AI-veld. Het gebruikt een wiskundig instrument (Opal) om de chique jargon weg te strippen en te laten zien dat de meeste recente "nieuwe" methoden eigenlijk gewoon dezelfde oude doelstellingen zijn, anders opgeschreven. Echte innovatie vindt alleen plaats wanneer je fundamenteel verandert hoe de AI antwoorden vergelijkt (zoals naar de hele groep of het hele pad kijken), en niet alleen wanneer je de algebra opnieuw rangschikt.

Technische Samenvatting: "Wanneer zijn twee RLHF-doelstellingen hetzelfde?"

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) is de standaard geworden voor het afstemmen van taalmodellen op menselijke voorkeuren. Hoewel de oorspronkelijke pijplijn bestond uit het trainen van een beloningsmodel gevolgd door Proximal Policy Optimization (PPO), hebben recente ontwikkelingen talrijke Direct Preference Optimization (DPO) varianten en speltheoretische formuleringen geïntroduceerd (bijv. SPPO, Nash-MD, GRPO, KTO). Ondanks het rapporteren van afzonderlijke verbeteringen, blijft een fundamentele vraag onopgelost: Wanneer moeten twee voorkeursoptimalisatiemethoden als werkelijk verschillend worden beschouwd?

Het is momenteel onduidelijk of methoden afgeleid van verschillende theoretische perspectieven (bijv. beloningsmodellering versus speltheorie) verschillende doelstellingen optimaliseren of slechts algebraïsche herschikkingen zijn van dezelfde verliesfunctie. Deze ambiguïteit bemoeilijkt de beoordeling van algoritmische nieuwheid en praktische besluitvorming met betrekking tot de selectie van methoden.

Methodologie: Het Opal-framework

Om dit aan te pakken, introduceren de auteurs Opal, een canonicalisatie-algoritme ontworpen om te bepalen of twee voorkeursdoelstellingen algebraïsch equivalent zijn. Het framework werkt op de premisse dat paarwijze voorkeursmethoden kunnen worden uitgedrukt als transformaties van een gemeenschappelijke onderliggende marge, $\Delta = s(y^+) - s(y^-)$ , waarbij $s$ een scorefunctie is.

Opal deelt elke voorkeursverlies op in een compositie van drie primitieve operaties:

Add[ $\phi$ ]: Voegt een strafterm toe die afhankelijk is van individuele responsen (bijv. KL-regularisatie, lengte-normalisatie).
- $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
Reweight[ $\omega$ ]: Vermenigvuldigt de marge met een gewicht (bijv. temperatuur, belangheidsgewichten).
- $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
Link[ $g$ ]: Past een monotone functie toe op de marge (bijv. logistische, hinge of kwadratische loss).
- $\Delta(y, z) \mapsto g(\Delta(y, z))$

Reduceerbaarheidsvoorwaarden

Een methode wordt als reduceerbaar beschouwd (en is dus in staat om naar een unieke canonieke vorm te worden afgebeeld) als deze voldoet aan drie voorwaarden:

(R1) Transitiviteit: De marge moet uitdrukkbaar zijn als een verschil van scores $\phi(y) - \phi(z)$ . Schendingen impliceren intransitieve voorkeuren waarbij de marge tussen $a$ en $c$ afhangt van meer dan alleen hun individuele scores.
(R2) Paar-onafhankelijkheid: Gewichten moeten afhangen van de prompt $x$ , en niet van het specifieke paar $(y, z)$ of de samenstelling van de batch.
(R3) Monotoniciteit: De transformatiefunctie $g$ moet strikt monotoon zijn om de voorkeursvolgorde te behouden.

Canonicalisatie en Getuigen

Canonieke Vorm: Als een methode voldoet aan (R1)–(R3), reduceert Opal deze tot een unieke normale vorm: $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$ , waarbij $\Phi$ gecentreerd is ( $\sum \Phi(y) = 0$ ). Twee methoden zijn equivalent als en slechts als hun canonieke vormen (en de resulterende hashes) overeenkomen.
Getuigen (Witnesses): Als een methode een voorwaarde schendt, genereert Opal een concrete getuige die de niet-equivalentie certificeert. Voorbeelden zijn:
- Cycle Witness: Een drietallig $(a, b, c)$ met een niet-nul cyclus-som, wat transitiviteit schendt.
- Paar-afhankelijke Weging: Twee paren bij dezelfde prompt die verschillende gewichten ontvangen.
- Groep-afhankelijke Weging: Dezelfde paren die verschillende effectieve gewichten ontvangen afhankelijk van de samenstelling van de batch.

Het framework sluit expliciet token-niveau methoden (bijv. RTO) en traject-niveau methoden (bijv. PPO-RLHF) uit, omdat deze niet opereren op scalaire marges tussen volledige respons-paren, en daarmee buiten het bereik van de paarwijze marge-analyse vallen.

Belangrijkste Bijdragen

Het Opal-algoritme: Een systematisch hulpmiddel dat algebraïsche equivalentie bepaalt door doelstellingen te reduceren tot een canonieke vorm of door een verifieerbare getuige van niet-equivalentie te produceren.
Analyse van 33 Methoden: De auteurs analyseerden 33 voorkeursoptimalisatiemethoden binnen paarwijze, lijstwijze, groep-gebaseerde, token-niveau en traject-niveau instellingen.
- Resultaat: 25 methoden zijn reduceerbaar en vallen uiteen in 14 verschillende canonieke vormen.
- Equivalentie: Tien methoden (waaronder DPO, SPPO, Nash-MD, INPO, DNO, APO, RSO, XPO, cDPO, rDPO) reduceren tot dezelfde canonieke vorm als DPO.
- Irreducibiliteit: Acht methoden zijn bewezen irreducibel, waaronder GRPO, RLOO, KTO, WPO, BCO, RTO, PPO-RLHF en ReMax.
GRPO Irreducibiliteitsbewijs: Het paper levert een expliciete getuige die bewijst dat GRPO fundamenteel verschilt van DPO. Het demonstreert dat de groep-normalisatie van GRPO ervoor zorgt dat de gradiëntbijdrage van een respons-paar afhankelijk is van de specifieke samenstelling van de batch (schending van R2), waardoor de relatieve schaal van marges verandert op basis van andere aanwezige responsen.
Orthogonale Ontwerpaspecten: De auteurs identificeren vier structurele mechanismen die werkelijk verschillende doelstellingen genereren, welke orthogonaal staan aan canonieke equivalentie:
- Groep-normalisatie (bijv. GRPO).
- Paar-afhankelijke weging (bijv. KTO).
- Token-niveau structuur (bijv. RTO).
- Traject-niveau optimalisatie (bijv. PPO-RLHF).

Resultaten

Algebraïsche Equivalentie: Veel breed geciteerde methoden zijn algebraïsch identiek. Zo reduceren SPPO en Nash-MD, afgeleid van speltheoretische minimax-doelstellingen, tot exact dezelfde canonieke vorm als DPO. Het wisselen tussen hen verandert de optimalisatietarget niet, enkel de afleiding.
Structurele Onderscheidend vermogen: Methoden die de reducibiliteitsvoorwaarden schenden (specifiek R2) vertonen fundamenteel andere optimalisatielandschappen. De batch-afhankelijke normalisatie van GRPO betekent dat hetzelfde respons-paar verschillende gradiënten kan ontvangen afhankelijk van de batch, een eigenschap die onmogelijk is voor elke reduceerbare methode.
Hash-verificatie: De auteurs leveren een SHA-256 hash voor de canonieke vorm van elke reduceerbare methode, waardoor gebruikers de equivalentie programmatisch kunnen verifiëren.

Betekenis en Claims

Het paper claimt dat Opal veranderingen in representatie scheidt van veranderingen in substantie.

Verheldering van Nieuwheid: Het framework suggereert dat een groot deel van de schijnbare diversiteit in de literatuur over voorkeursoptimalisatie voortkomt uit herparameterisaties van een kleine set onderliggende doelstellingen. Echte algoritmische nieuwheid vereist het schenden van ten minste één van de reducibiliteitsveronderstellingen (R1–R3).
Praktische Begeleiding: Voor beoefenaars moet de keuze tussen equivalente methoden (bijv. DPO vs. SPPO) worden geleid door implementatiedetails, numerieke stabiliteit of impliciete bias, in plaats van de verwachting van fundamenteel ander algoritmisch gedrag.
Besluittheoretische Equivalentie: Equivalent methoden induceren dezelfde Bayes-optimale voorkeursvolgorde en komen overeen wat betreft het teken van elke marge, hoewel ze kunnen verschillen in gradiënt-magnitudes en convergentiesnelheden.

De auteurs positioneren dit werk als het eerste algoritmische framework dat in staat is om de vraag "zijn deze twee methoden hetzelfde?" te beantwoorden met een formeel bewijs in beide richtingen, waarbij zij verder gaan dan heuristische categorisering naar rigoureuze algebraïsche verificatie.