💬 NLP

When Are Two RLHF Objectives the Same?

Dieses Paper führt Opal ein, einen Kanonisierungsalgorithmus, der die algebraische Äquivalenz von RLHF-Präferenzzielen bestimmt, indem er aufzeigt, dass viele weit verbreitete Methoden tatsächlich Reparametrisierungen desselben zugrunde liegenden Ziels sind, während er gleichzeitig die spezifischen strukturellen Mechanismen identifiziert, die genuin unterschiedliche Zielsetzungen schaffen.

Ursprüngliche Autoren: Madhava Gaikwad

Veröffentlicht 2026-02-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Madhava Gaikwad

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, das Rezept für ein neues Gericht zu perfektionieren. In den letzten Jahren haben hunderte andere Köche ihre eigenen „verbesserten“ Versionen dieses Rezepts veröffentlicht. Einige sagen, sie hätten die Gewürze geändert, andere behaupten, sie hätten die Kochtemperatur angepasst, und wieder andere behaupten, sie hätten einen völlig neuen Weg erfunden, die Zutaten zu mischen.

Die große Frage lautet: Sind dies wirklich unterschiedliche Rezepte oder sind es nur dieselben Gerichte unter anderen Namen?

Dieses Paper stellt ein Werkzeug namens Opal vor (denken Sie an einen „Rezept-Übersetzer“ oder einen „Geschmacks-Fingerabdruck-Scannerer“), um genau diese Frage für KI-Trainingsmethoden bekannt als RLHF (Reinforcement Learning from Human Feedback) zu beantworten.

Hier ist die Aufschlüsselung dessen, was das Paper herausgefunden hat, unter Verwendung einfacher Analogien:

1. Das Problem: Zu viele Namen, derselbe Geschmack

In der Welt der KI haben Forscher Dutzende verschiedener Wege vorgeschlagen, um KI-Modelle dazu zu bringen, menschliche Präferenzen zu befolgen. Sie geben ihnen schicke Namen wie DPO, SPPO, SimPO und GRPO. Jedes Paper behauptet, seine Methode sei ein „Durchbruch“ oder „eindeutig besser“.

Die Autoren fragten sich: Sind dies wirklich unterschiedliche mathematische Ziele oder sind es nur dieselben Ziele, die in verschiedenen Sprachen geschrieben wurden?

2. Die Lösung: Opal (Der Übersetzer)

Die Autoren entwickelten einen Algorithmus namens Opal. Sie können sich Opal als eine Maschine vorstellen, die zwei verschiedene Rezepte (mathematische Formeln) nimmt und versucht, sie in eine einzige, standardisierte „kanonische“ Sprache zu übersetzen.

Wenn die Rezepte sich in dieselbe Standardsprache übersetzen lassen: Sagt Opal: „Diese sind gleich.“ Es gibt ihnen denselben „Fingerabdruck“ (einen Hash-Code).
Wenn sie sich nicht in dieselbe Sprache übersetzen lassen: Erzeugt Opal ein „Zeugnis“ (Witness). Dies ist wie ein konkretes Beispiel, das genau zeigt, war Warum sie unterschiedlich sind. Zum Beispiel: „In Rezept A schmeckt es salzig, wenn man Salz hinzufügt. In Rezept B macht das Hinzufügen von Salz den Geschmack, je nachdem, was sonst noch im Topf ist, süß.“

3. Die große Entdeckung: Viele „neue“ Methoden sind nur alte Verkleidungen

Als die Autoren Opal auf 33 verschiedene Methoden anwendeten, fanden sie etwas Überraschendes:

Die „DPO“-Familie: Zehn verschiedene Methoden (einschließlich SPPO und Nash-MD) erwiesen sich als algebraisch identisch mit der berühmten DPO-Methode.
- Die Analogie: Es ist, als würde jemand behaupten, er hätte einen neuen Weg erfunden, Wasser zum Kochen zu bringen, indem er es „Thermischer Phasenübergang“ nennt. Es ist dasselbe Wasser, das kocht, nur mit einem schicken Namen.
- Das Ergebnis: Der Wechsel von DPO zu SPPO ändert nicht das eigentliche Ziel, das die KI zu erreichen versucht; es ändert nur, wie die Mathematik geschrieben wird.
Die „echten“ Innovationen: Nur eine kleine Handvoll Methoden war wirklich anders.
- GRPO (Der Batch-Effekt): Diese Methode wird vom berühmten DeepSeek-R1-Modell verwendet. Opal bewies, dass sie grundlegend anders ist als DPO.
  - Die Analogie: Stellen Sie sich vor, Sie bewerten Schüler. In der Standardmethode (DPO) bewerten Sie Schüler A nur basierend auf seiner eigenen Testnote. In GRPO bewerten Sie Schüler A basierend darauf, wie er sich im Vergleich zu den anderen Schülern im Raum an diesem Tag geschlagen hat. Wenn Sie einen Genie in den Raum setzen, sieht Schüler A schlechter aus. Wenn Sie einen schwächeren Schüler in den Raum setzen, sieht Schüler A besser aus. Der „Batch“ (die Gruppe) verändert die Note. Opal bewies, dass diese „Batch-Abhängigkeit“ GRPO zu einem völlig anderen Wesen macht.
- KTO und andere: Diese Methoden behandeln „Gewinne“ und „Verluste“ unterschiedlich (wie ein Spieler, der mehr Angst vor dem Verlieren hat als Freude am Gewinnen empfindet). Diese Asymmetrie macht sie strukturell einzigartig.

4. Die vier „Geheimen Zutaten“ für echte Unterschiede

Das Paper identifiziert, dass eine Methode wirklich neu sein muss (und nicht nur eine Umformulierung), wenn sie eine der vier Regeln bricht. Wenn sie eine Regel nicht bricht, ist sie wahrscheinlich nur ein Nachschlag einer alten Methode.

Gruppen-Normalisierung (Group Normalization): Die Bewertung basierend darauf zu ändern, wer sonst noch in der Gruppe ist (wie bei GRPO).
Paar-abhängige Gewichtung (Pair-Dependent Weighting): Spezifische Paare von Antworten basierend auf ihren einzigartigen Merkmalen unterschiedlich zu behandeln (wie bei KTO).
Token-Ebene-Struktur (Token-Level Structure): Die Antwort der KI Wort für Wort statt des ganzen Satzes auf einmal zu betrachten.
Trajektorien-Ebene (Trajectory-Level): Den gesamten Pfad der Entscheidungen der KI zu betrachten, nicht nur das Endergebnis.

5. Was dies für Praktiker bedeutet

Wenn Sie ein Ingenieur sind, der versucht, eine Methode auszuwählen:

Lassen Sie sich nicht von den Namen täuschen. Wenn Sie eine neue Methode sehen, die wie DPO aussieht, aber eine schicke Herleitung hat, könnte sie nur DPO im Smoking sein.
Prüfen Sie den „Batch“. Wenn eine Methode ihr Verhalten ändert, abhängig davon, welche anderen Beispiele im Trainings-Batch sind, tut sie etwas Einzigartiges (wie GRPO).
Das Ziel ist dasselbe. Selbst wenn die Mathematik anders aussieht, wenn Opal sagt, dass sie äquivalent sind, werden sie dasselbe „perfekte“ KI-Verhalten anstreben. Sie werden diesen Weg jedoch möglicherweise mit unterschiedlichen Geschwindigkeiten oder mit unterschiedlicher Stabilität erreichen.

Zusammenfassung

Das Paper ist ein „Realitätscheck“ für das KI-Feld. Es nutzt ein mathematisches Werkzeug (Opal), um den schicken Jargon abzustreifen und zu zeigen, dass die meisten der jüngsten „neuen“ Methoden tatsächlich nur dieselben alten Ziele sind, die anders beschrieben wurden. Wahre Innovation findet nur statt, wenn man grundlegend ändert, wie die KI Antworten vergleicht (wie etwa den Blick auf die gesamte Gruppe oder den gesamten Pfad), und nicht bloß, wenn man die Algebra neu anordnet.

Technische Zusammenfassung: „Wann sind zwei RLHF-Zielsetzungen identisch?“

Problemstellung

Reinforcement Learning from Human Feedback (RLHF) ist zum Standardparadigma für die Ausrichtung von Sprachmodellen an menschlichen Präferenzen geworden. Während das ursprüngliche Pipeline-Verfahren die Ausbildung eines Belohnungsmodells (Reward Model) gefolgt von Proximal Policy Optimization (PPO) beinhaltete, haben jüngste Entwicklungen zahlreiche Varianten der Direct Preference Optimization (DPO) und spieltheoretische Formulierungen (z. B. SPPO, Nash-MD, GRPO, KTO) eingeführt. Trotz der Berichterstattung über distinkte Verbesserungen bleibt eine grundlegende Frage ungeklärt: Wann sollten zwei Präferenzoptimierungsmethoden als genuin verschieden betrachtet werden?

Es ist derzeit unklar, ob Methoden, die aus unterschiedlichen theoretischen Perspektiven abgeleitet wurden (z. B. Belohnungsmodellierung vs. Spieltheorie), unterschiedliche Zielsetzungen optimieren oder lediglich algebraische Umformungen derselben Verlustfunktion darstellen. Diese Mehrdeutigkeit erschwert die Bewertung der algorithmischen Neuartigkeit und die praktische Entscheidungsfindung bei der Methodenauswahl.

Methodik: Das Opal-Framework

Um dies zu adressieren, führen die Autoren Opal ein Kanonalisierungsalgorithmus ein, der bestimmt, ob zwei Präferenzzielsetzungen algebraisch äquivalent sind. Das Framework operiert auf der Prämisse, dass paarweise Präferenzmethoden als Transformationen einer gemeinsamen zugrunde liegenden Marge $\Delta = s(y^+) - s(y^-)$ ausgedrückt werden können, wobei $s$ eine Scoring-Funktion ist.

Opal zerlegt jede Präferenzverlustfunktion in eine Komposition aus drei primitiven Operationen:

Add[ $\phi$ ]: Fügt einen Strafterm hinzu, der von den einzelnen Antworten abhängt (z. B. KL-Regularisierung, Längen-Normalisierung).
- $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
Reweight[ $\omega$ ]: Multipliziert die Marge mit einem Gewicht (z. B. Temperatur, Gewichtung durch Bedeutung/Importance Weights).
- $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
Link[ $g$ ]: Wendet eine monotone Funktion auf die Marge an (z. B. logistische, Hinge- oder quadratische Loss-Funktionen).
- $\Delta(y, z) \mapsto g(\Delta(y, z))$

Reduzierbarkeitsbedingungen

Eine Methode gilt als reduzierbar (und ist somit in der Lage, auf eine eindeutige kanonische Form abgebildet zu werden), wenn sie drei Bedingungen erfüllt:

(R1) Transitivität: Die Marge muss als Differenz von Scores $\phi(y) - \phi(z)$ darstellbar sein. Verletzungen implizieren intransitive Präferenzen, bei denen die Marge zwischen $a$ und $c$ von mehr als nur deren individuellen Scores abhängt.
(R2) Paar-Unabhängigkeit: Gewichte müssen nur vom Prompt $x$ abhängen, nicht vom spezifischen Paar $(y, z)$ oder der Zusammensetzung des Batches.
(R3) Monotonie: Die Transformationsfunktion $g$ muss streng monoton sein, um die Präferenzordnung zu bewahren.

Kanonische Form und Zeugen (Witnesses)

Kanonische Form: Wenn eine Methode (R1)–(R3) erfüllt, reduziert Opal sie auf eine eindeutige Normalform: $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$ , wobei $\Phi$ zentriert ist ( $\sum \Phi(y) = 0$ ). Zwei Methoden sind äquivalent, wenn und nur wenn ihre kanonischen Formen (und die daraus resultierenden Hashes) übereinstimmen.
Zeugen (Witnesses): Falls eine Methode eine Bedingung verletzt, generiert Opal einen konkreten Zeugen, der die Nicht-Äquivalenz zertifiziert. Beispiele hierfür sind:
- Zyklus-Zeuge: Ein Triple $(a, b, c)$ mit einer nicht-null Zyklensumme, was die Transitivität verletzt.
- Paar-abhängiges Gewicht: Zwei Paare am selben Prompt, die unterschiedliche Gewichte erhalten.
- Gruppen-abhängiges Gewicht: Dasselbe Paar, das je nach Batch-Zusammensetzung unterschiedliche effektive Gewichte erhält.

Das Framework schließt Token-Level-Methoden (z. B. RTO) und Trajectory-Level-Methoden (z. B. PPO-RLHF) explizit aus, da diese nicht auf skalaren Margen zwischen vollständigen Antwortpaaren operieren und somit außerhalb des Geltungsbereichs der paarweisen Margenanalyse liegen.

Zentrale Beiträge

Der Opal-Algorithmus: Ein systematisches Werkzeug, das die algebraische Äquivalenz entscheidet, indem es Zielsetzungen auf eine kanonische Form reduziert oder einen verifizierbaren Zeugen der Nicht-Äquivalenz liefert.
Analyse von 33 Methoden: Die Autoren analysierten 33 Präferenzoptimierungsmethoden in paarweisen, listenbasierten, gruppenbasierten, Token-Level- und Trajectory-Level-Settings.
- Ergebnis: 25 Methoden sind reduzierbar und kollabieren in 14 distinkte kanonische Formen.
- Äquivalenz: Zehn Methoden (einschließlich DPO, SPPO, Nash-MD, INPO, DNO, APO, RSO, XPO, cDPO, rDPO) reduzieren auf dieselbe kanonische Form wie DPO.
- Irreduzierbarkeit: Acht Methoden sind nachweislich irreduzierbar, darunter GRPO, RLOO, KTO, WPO, BCO, RTO, PPO-RLHF und ReMax.
GRPO-Irreduzierbarkeitsbeweis: Die Arbeit liefert einen expliziten Zeugen, der beweist, dass GRPO fundamental anders als DPO ist. Es wird demonstriert, dass die Gruppen-Normalisierung von GRPO dazu führt, dass der Gradientenbeitrag eines Antwortpaares von der spezifischen Zusammensetzung des Batches abhängt (Verletzung von R2), wodurch die relative Skalierung der Margen basierend auf anderen anwesenden Antworten verändert wird.
Orthogonale Design-Achsen: Die Autoren identifizieren vier strukturelle Mechanismen, die genuin unterschiedliche Zielsetzungen erzeugen, welche orthogonal zur kanonischen Äquivalenz stehen:
- Gruppen-Normalisierung (z. B. GRPO).
- Paar-abhängige Gewichtung (z. B. KTO).
- Token-Level-Struktur (z. B. RTO).
- Trajectory-Level-Optimierung (z. B. PPO-RLHF).

Ergebnisse

Algebraische Äquivalenz: Viele vielzitierte Methoden sind algebraisch identisch. Beispielsweise reduzieren SPPO und Nash-MD, die aus spieltheoretischen Minimax-Zielsetzungen abgeleitet wurden, auf exakt dieselbe kanonische Form wie DPO. Der Wechsel zwischen ihnen ändert nicht das Optimierungsziel, sondern nur die Herleitung.
Strukturelle Unterscheidungen: Methoden, die die Reduzierbarkeitsbedingungen (speziell R2) verletzen, weisen fundamental unterschiedliche Optimierungslandschaften auf. Die Batch-abhängige Normalisierung von GRPO bedeutet, dass dasselbe Antwortpaar unterschiedliche Gradienten erhalten kann, abhängig vom Batch – eine Eigenschaft, die für jede reduzierbare Methode unmöglich ist.
Hash-Verifizierung: Die Autoren stellen einen SHA-256-Hash für die kanonische Form jeder reduzierbaren Methode bereit, was es Praktikern ermöglicht, die Äquivalenz programmatisch zu verifizieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass Opal zwischen Änderungen der Repräsentation und Änderungen der Substanz unterscheidet.

Klärung der Neuartigkeit: Das Framework legt nahe, dass ein Großteil der scheinbaren Diversität in der Literatur zur Präferenzoptimierung aus Reparametrisierungen eines kleinen Satzes zugrunde liegender Zielsetzungen resultiert. Wahre algorithmische Neuartigkeit erfordert die Verletzung mindestens einer der Reduzierbarkeitsannahmen (R1–R3).
Praktische Orientierung: Für Praktiker sollte die Wahl zwischen äquivalenten Methoden (z. B. DPO vs. SPPO) durch Implementierungsdetails, numerische Stabilität oder implizite Bias geleitet werden und nicht durch die Erwartung fundamental unterschiedlicher algorithmischer Verhaltensweisen.
Entscheidungstheoretische Äquivalenz: Äquivalente Methoden induzieren dieselbe Bayes-optimale Präferenzordnung und stimmen in dem Vorzeichen jeder Marge überein, auch wenn sie sich in Gradientengrößen und Konvergenzraten unterscheiden können.

Die Autoren positionieren diese Arbeit als das erste algorithmische Framework, das in der Lage ist, die Frage „Sind diese zwei Methoden gleich?“ mit einem formalen Beweis in beide Richtungen zu beantworten, und bewegt sich damit weg von heuristischer Kategorisierung hin zu rigoroser algebraischer Verifikation.