📊 statistics

Beyond RLHF: A Unified Theoretical Framework of Alignment

Dieser Artikel schlägt einen einheitlichen theoretischen Rahmen für die Ausrichtung von LLMs vor, indem er diese als Verteilungslernen aus paarweisen Präferenzen neu fasst, drei prinzipielle Zielgrößen ableitet, die starke nicht-asymptotische Konvergenzgarantien bieten, eine rigorose Begründung für RLHF liefern und die empirische Überlegenheit von On-Policy-Methoden gegenüber likelihood-basierten Ansätzen erklären.

Ursprüngliche Autoren: Jihun Yun, Juno Kim, Jongho Park, Junhyuck Kim, Jongha Jon Ryu, Jaewoong Cho, Kwang-Sung Jun

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jihun Yun, Juno Kim, Jongho Park, Junhyuck Kim, Jongha Jon Ryu, Jaewoong Cho, Kwang-Sung Jun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber leicht chaotischen Schüler (ein Large Language Model, oder LLM). Dieser Schüler kennt viele Fakten, weiß aber nicht immer, wie er hilfreich, höflich oder sicher sein soll. Sie möchten ihn zu einem „guten" Schüler erziehen.

Längere Zeit war der Standardweg, dies zu tun, RLHF (Reinforcement Learning from Human Feedback). Denken Sie daran wie an die Einstellung eines strengen Lehrers, der dem Schüler für jede Antwort eine Punktzahl (eine „Belohnung") gibt. Der Schüler versucht dann zu erraten, was der Lehrer will, und passt seine Antworten an, um die höchste Punktzahl zu erhalten.

Das Problem:
Die Autoren dieses Papiers argumentieren, dass diese „punktbasierte" Methode zwar funktioniert, aber niemand wirklich weiß, warum sie aus mathematischer Sicht funktioniert. Es ist wie einem Rezept zu folgen, das sagt „Salz hinzufügen, bis es gut schmeckt", ohne die Chemie zu kennen, warum Salz das Essen besser macht. Außerdem kann es sein, dass der Schüler, wenn Sie das Rezept zu stark verändern, entweder zu starr (langweilig) wird oder in Unsinn zusammenbricht.

Die neue Idee:
Die Autoren schlagen einen neuen Weg vor, das Problem zu betrachten. Anstatt über „Punkte" oder „Belohnungen" nachzudenken, schlagen sie vor, über das Lernen einer Präferenzkarte nachzudenken.

Stellen Sie sich einen „Perfekten Schüler" (das Zielmodell) vor, der genau weiß, wie man perfekt antwortet. Sie können diesen Perfekten Schüler nicht direkt sehen, aber Sie können seine Entscheidungen sehen, wenn er zwei Antworten vergleicht.

Szenario: Sie zeigen dem Perfekten Schüler zwei Antworten, A und B.
Beobachtung: Der Perfekte Schüler wählt A.
Die Erkenntnis des Papiers: Die Autoren gehen davon aus, dass der Perfekte Schüler A einfach deshalb wählt, weil er A mit einer höheren Wahrscheinlichkeit generiert als B. Er braucht keine „Punktzahl", um zu entscheiden; er folgt einfach seiner eigenen internen Wahrscheinlichkeit.

Indem sie diese einfache Annahme treffen, haben sie drei neue Wege zur Schulung des Schülers hergeleitet, die sie PMLE, Preference Distillation (Präferenz-Destillation) und Reverse KL nennen.

Die drei neuen Methoden (die „Rezepte")

PMLE (Die „Abstimmung"-Methode):
- Analogie: Stellen Sie sich vor, Sie versuchen, den Geist des Perfekten Schülers zu erraten, indem Sie Tausende von Stimmen betrachten. Wenn der Perfekte Schüler 90 % der Zeit für „A" statt „B" gestimmt hat, sollte Ihr Schüler lernen, 90 % der Zeit „A" zu sagen.
- Funktionsweise: Sie versucht direkt, die Wahrscheinlichkeit der Entscheidungen des Perfekten Schülers anzupassen, ohne einen vermittelnden „Punkt" zu benötigen. Es ist wie das Erlernen einer Sprache, indem man Muttersprachlern zuhört, anstatt ein von einem Roboter geschriebenes Grammatikbuch zu lesen.
Preference Distillation (Die „Übersetzer"-Methode):
- Analogie: Manchmal ist es schwierig, direkt vom Perfekten Schüler zu lernen. Also stellen Sie einen „Übersetzer" (ein kleineres, einfacheres Modell) ein, um den Geist des Perfekten Schülers zu lesen und eine Zusammenfassung dessen zu schreiben, was er bevorzugt. Dann lernt Ihr Schüler aus der Zusammenfassung des Übersetzers.
- Funktionsweise: Zuerst trainieren Sie ein kleines Modell, um die Präferenzen vorherzusagen. Dann bringen Sie Ihrem Hauptschüler bei, diese Präferenzen nachzuahmen. Dies ist schneller und oft stabiler als der Versuch, direkt aus den rohen Stimmen zu lernen.
Reverse KL (Die „Korrektur"-Methode):
- Analogie: Dies ist der große „Aha!"-Moment des Papiers. Sie haben erkannt, dass die alte „punktbasierte" Methode (RLHF) eigentlich eine leicht defekte Version dieser neuen Methode ist.
- Die Lösung: Die alte Methode hatte einen Fehler: Wenn Sie versuchten, zu viel aus den Daten zu lernen, vergaß der Schüler, wie man natürlich spricht, und wurde zu einem Roboter. Die neue Methode fügt ein „Sicherheitsnetz" (einen Entropie-Term) hinzu, das den Schüler zwingt, kreativ und natürlich zu bleiben, während er dennoch die Präferenzen lernt. Es ist wie dem Schüler zu sagen: „Tun Sie, was der Perfekte Schüler tut, aber verlieren Sie nicht Ihre eigene Persönlichkeit."

Warum das wichtig ist (die Ergebnisse)

Die Autoren haben nicht nur Gleichungen geschrieben; sie haben mathematisch bewiesen, dass diese neuen Methoden garantiert besser werden, je mehr Daten Sie ihnen geben.

Das „Konvergenz"-Versprechen: Sie bewiesen, dass sich, je mehr Beispiele Sie dem Schüler zeigen, die Antworten des Schülers mathematisch den Antworten des Perfekten Schülers annähern. Die alten Methoden hatten diese Garantie nicht; sie waren nur „hoffnungsvoll".
Das Dilemma lösen: Die alte Methode (RLHF) hatte ein Dilemma: Wenn Sie versuchten, viel zu lernen, wurde der Schüler degeneriert (unsinnig). Wenn Sie versuchten, sicher zu sein, lernte der Schüler nicht genug. Die neue „Reverse KL"-Methode behebt dies und ermöglicht es dem Schüler, tief zu lernen, ohne den Verstand zu verlieren.
Realwelt-Tests: Als sie diese Methoden zum Zusammenfassen von Texten und für Chat-Gespräche testeten, schnitten die neuen Methoden genauso gut oder besser ab als die alten „Goldstandard"-Methoden.

Das Fazit

Dieses Papier ist wie ein Mechaniker, der erkennt, dass der Motor eines berühmten Autos (RLHF) funktioniert, er aber die Physik dahinter nicht kennt. Er rekonstruiert den Motor, findet die fehlende Schraube (die probabilistische Annahme) und baut drei neue, zuverlässigere Motoren.

Sie entdeckten, dass das alte „Punkte"-System eigentlich nur ein ungeschickter Versuch war, das zu tun, was diese neuen Methoden natürlich tun: die Verteilung dessen zu lernen, was Menschen bevorzugen. Indem sie die Mathematik korrigierten, machten sie den Trainingsprozess stabiler, theoretisch fundierter und in der Praxis ebenso effektiv.

Technische Zusammenfassung: Über RLHF hinaus: Ein einheitliches theoretisches Rahmenwerk für Alignment

Problemstellung

Reinforcement Learning from Human Feedback (RLHF) hat sich zum vorherrschenden Paradigma für die Ausrichtung von Large Language Models (LLMs) an menschliche Präferenzen entwickelt. Das Papier identifiziert jedoch erhebliche theoretische Lücken im aktuellen Verständnis von RLHF und verwandten Alignment-Methoden:

Fehlende Begründung: Bestehende Theorien behandeln das RLHF-Ziel oft als Tautologie (Konvergenz zur Populationsversion des Ziels selbst), anstatt eine lerntheoretische Begründung dafür zu liefern, warum es zum Ziel-Sprachmodell konvergiert.
Inkompatible Rahmenwerke: Verschiedene Methoden (z. B. DPO, RLHF, REBEL) werden unter unterschiedlichen theoretischen Rahmenwerken analysiert, was einen direkten Vergleich ihrer Konvergenzgarantien verhindert.
Das RLHF-Dilemma: Das Standard-RLHF-Ziel steht vor einem asymptotischen Dilemma bezüglich der Regularisierungsstärke $\beta$ . Bleibt $\beta$ fixiert, unterfittet das Modell (bleibt zu nahe am Referenz-Policy); fällt $\beta$ mit zunehmenden Daten gegen Null, kann die Lösung degenerieren.
Lücke zwischen Empirie und Theorie: Empirisch übertreffen on-policy-Ziele wie RLHF oft likelihood-basierte Methoden wie Direct Preference Optimization (DPO), doch bestehende Theorien können diese Überlegenheit nicht erklären, da sie nur ad-hoc-Garantien für jede Methode einzeln bieten.

Die Autoren schlagen vor, Alignment nicht als Reward-Maximierung, sondern als Verteilungslernen aus paarweisen Präferenzen neu zu rahmen. Die Kernfrage lautet: Unter welchen Annahmen können wir Trainingsziele ableiten, die nachweislich zu einem Ziel-Sprachmodell ( $\pi^*$ ) konvergieren?

Methodik

Das Papier postuliert die Existenz eines Ziel- (Orakel-)Sprachmodells $\pi^*$ und modelliert explizit, wie Präferenz-Feedback Informationen über $\pi^*$ offenbart.

1. Das Präferenzmodell

Die Autoren gehen von einem Bradley-Terry (BT)-Modell aus, bei dem die Wahrscheinlichkeit, Antwort $a$ gegenüber $b$ bei Prompt $x$ zu bevorzugen, direkt durch die Wahrscheinlichkeiten des Zielmodells bestimmt wird und nicht durch eine externe Reward-Funktion:
$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$
Hierbei ist $\gamma > 0$ ein Hyperparameter. Diese Annahme impliziert, dass das Präferenzmodell explizit ein Sprachmodell ist, im Gegensatz zu DPO, das die „All-Policy"-Annahme nutzt, um eine Beziehung zwischen Rewards und dem LM abzuleiten.

2. Vorgeschlagene Ziele

Basierend auf dieser Perspektive des Verteilungslernens leiten die Autoren drei prinzipielle Alignment-Ziele ab:

Preference Maximum Likelihood Estimation (PMLE):
Dieses Ziel maximiert die Likelihood der beobachteten paarweisen Präferenzen unter der BT-Annahme, regularisiert durch eine KL-Divergenz zu einem Referenz-Policy $\pi_0$ .
$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$
Im Gegensatz zu DPO, das ein Likelihood-Verhältnis ohne expliziten Regularisierer minimiert (was zu degenerierten Verteilungen führen kann), enthält PMLE einen expliziten KL-Term zur Sicherstellung der Stabilität.
Preference Distillation:
Dieser Ansatz lernt zunächst ein Reward-Modell $\hat{R}$ (äquivalent zum Lernen eines Präferenz-Simulators) und destilliert dann diese Präferenzverteilung in das Sprachmodell. Anstatt quadratischen Verlust (wie bei REBEL) zu verwenden, minimiert es die KL-Divergenz zwischen den binären Präferenzverteilungen des gelernten Simulators und der Ziel-Policy:
$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$
Diese Formulierung wird explizit aus dem BT-Modell abgeleitet und vermeidet die Probleme der statistischen Begründung quadratischen Verlusts.
Reverse KL (RKL) Minimierung:
In Anerkennung, dass das Ziel Verteilungslernen ist, schlagen die Autoren vor, die Reverse-KL-Divergenz $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$ zu minimieren. Da $\pi^*$ unbekannt ist, setzen sie einen Schätzer $\hat{\pi}$ ein, der aus dem Reward-Modell abgeleitet wurde.
$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$
Dieses Ziel ähnelt RLHF, enthält jedoch einen zusätzlichen Entropie-Term ( $-\gamma H(\pi(x))$ ). Die Autoren argumentieren, dass dies als Korrektur für RLHF wirkt und das asymptotische Dilemma löst, bei dem Standard-RLHF für $n \to \infty$ nicht zum wahren $\pi^*$ konvergiert.

3. Theoretische Garantien

Das Papier liefert nicht-asymptotische $O(1/n)$ -Konvergenzgarantien für alle drei Methoden. Konkret beweisen sie, dass der Forward-KL-Fehler $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ mit einer Rate von $O(1/n)$ gegen Null konvergiert, wobei $n$ die Datengröße ist.

PMLE und Preference Distillation: Erreichen Schranken, die vom Abdeckungskoefizienten der Policy-Klasse $\Pi$ abhängen.
Reverse KL: Erreicht eine engere Schranke, die vom Abdeckungskoefizienten der durch den Reward induzierten Modellklasse $\mathcal{P}_\gamma(\mathcal{R})$ abhängt, die oft kleiner ist als die von $\Pi$ . Dies erklärt theoretisch, warum on-policy-Methoden (wie RKL/RLHF) empirisch oft likelihood-basierte Methoden (wie PMLE/DPO) übertreffen.

Wichtige Ergebnisse

Theoretische Erkenntnisse

Begründung für RLHF: Das RKL-Ziel liefert eine starke theoretische Begründung für das RLHF-Ziel und zeigt, dass es ein Spezialfall (mit $\gamma \to 0$ ) eines konsistenten Verteilungslern-Ziels ist, sofern eine Entropie-Korrektur angewendet wird.
Auflösung des Dilemmas: Theoretische Analysen und Spielzeug-Experimente (Abbildung 1) zeigen, dass Standard-RLHF aufgrund des Regularisierungs-Dilemmas bei $n \to \infty$ unter Inkonsistenz leidet (Sättigung bei nicht-null Fehler), während die vorgeschlagene RKL-Methode zum wahren Zielmodell konvergiert.
Überlegenheit von On-Policy-Methoden: Die Theorie bestätigt, dass Reverse KL (ähnlich wie RLHF) eine überlegene Konvergenzgarantie im Vergleich zu PMLE (ähnlich wie DPO) genießt, da es die geringere Komplexität der Reward-Modellklasse nutzt und nicht die der gesamten Policy-Klasse.

Empirische Erkenntnisse

Experimente wurden an zwei Aufgaben durchgeführt:

TL;DR-Zusammenfassung: Unter Verwendung der Modelle Pythia-2.8B und Pythia-6.9B.
- Gewinnraten: Die vorgeschlagenen Methoden (PMLE, Preference Distillation, Reverse KL) erzielten konsistent höhere GPT-4-Gewinnraten im Vergleich zu ihren Baselines (DPO, REBEL, RLHF).
- KL-Divergenz: PMLE erzielte eine signifikant niedrigere KL-Divergenz zum Referenzmodell im Vergleich zu DPO, was den Nutzen des expliziten Regularisierers validiert.
Allgemeiner Chat (UltraFeedback): Unter Verwendung von LLaMA-3-8B-Instruct.
- Evaluiert auf MT-Bench, AlpacaEval 2.0 und Arena Hard.
- PMLE und Preference Distillation schnitten auf den meisten Benchmarks besser ab als DPO und REBEL, wobei besonders starke Verbesserungen bei AlpacaEval 2.0 und Arena Hard zu verzeichnen waren.

Bedeutung und Behauptungen

Das Papier behauptet, den ersten einheitlichen theoretischen Rahmen für Alignment zu liefern, der das Problem als Verteilungslernen aus paarweisen Präferenzen behandelt. Seine Hauptbeiträge sind:

Einheitliche Perspektive: Es vereint bestehende Methoden (DPO, RLHF, REBEL) unter einer einzigen probabilistischen Annahme und macht deren versteckte Annahmen explizit.
Theoretische Fundierung: Es bietet rigorose, nicht-asymptotische $O(1/n)$ -Konvergenzgarantien für das Lernen einer Zielverteilung aus paarweisem Feedback, ein Ergebnis, das für dieses Setting zuvor nicht verfügbar war.
Erklärung empirischer Trends: Es liefert den ersten theoretischen Beleg für die empirische Beobachtung, dass on-policy-Ziele (RLHF) oft likelihood-basierte Ziele (DPO) übertreffen, und führt dies auf die Abdeckungseigenschaften der Reward-Modellklasse im Vergleich zur Policy-Klasse zurück.
Korrektur von RLHF: Es identifiziert eine spezifische Mängel im Standard-RLHF-Ziel (das Fehlen eines Entropie-Terms, der zu Inkonsistenz führt) und schlägt ein korrigiertes Ziel (RKL) vor, das die praktischen Vorteile von RLHF bewahrt und gleichzeitig theoretische Konsistenz sicherstellt.

Die Autoren schließen, dass ihre Methoden zwar mit starken Baselines konkurrieren, der primäre Wert jedoch im theoretischen Rahmenwerk liegt, das erklärt, warum diese Methoden funktionieren und wie sie verbessert werden können. Als zukünftige Arbeiten wird vorgeschlagen, das Suchen nach Modi (mode-seeking) versus das Abdecken von Modi (mode-covering) bei Zielen zu untersuchen und den Rahmenwerk auf alternative Divergenzen zu erweitern.