💬 NLP

Distributionally Robust Reinforcement Learning with Human Feedback

Dieses Paper führt distributionsrobuste Varianten von belohnungsbasiertem RLHF und belohnungsfreiem DPO für das Fine-Tuning großer Sprachmodelle ein und schlägt Minibatch-Gradientenabstiegsalgorithmen mit Konvergenzgarantien vor, die die Leistung bei Aufgaben außerhalb der Verteilung im Vergleich zu Standardmethoden signifikant verbessern.

Ursprüngliche Autoren: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr intelligenten Roboter-Assistenten bei, wie man E-Mails schreibt, mathematische Probleme löst oder mit Menschen chattet. Sie tun dies, indem Sie ihm tausende von Beispielen für „gute“ gegenüber „schlechten“ Antworten zeigen. Dieser Prozess wird als Reinforcement Learning from Human Feedback (RLHF) bezeichnet.

Es gibt jedoch ein Problem. Wenn Sie Ihren Roboter nur darauf trainieren, freundliche E-Mails zu schreiben, und ihn dann plötzlich bitten, einen juristischen Vertrag oder einen wissenschaftlichen Bericht zu verfassen, könnte er verwirrt sein und schlecht abschneiden. Er hat sich zu sehr auf die Trainingsdaten spezialisiert („over-specialized“) und kann mit neuen, unterschiedlichen Situationen nicht umgehen. Das ist wie ein Schüler, der die Antworten auf eine spezifische Übungsprüfung auswendig lernt, aber bei der echten Prüfung scheitert, weil die Fragen anders formuliert sind.

Dieses Paper schlägt einen neuen Weg vor, diese Roboter so zu trainieren, dass sie robust sind – das heißt, sie bleiben intelligent und hilfreich, selbst wenn sich die Fragen ändern oder die Umgebung leicht von dem abweicht, was sie während des Trainings gesehen haben.

Hier ist, wie sie es gemacht haben, unter Verwendung einiger einfacher Analogien:

1. Das Problem: Die „Echokammer“

Derzeitige Trainingsmethoden sind wie das Platzieren eines Schülers in einer Echokammer. Er hört nur eine Art von Stimme (die Trainingsdaten). Wenn die reale Welt einen anderen Akzent oder Tonfall hat, verliert sich der Schüler. Die Autoren nennen dies einen Mangel an Out-of-Distribution (OOD) Robustheit.

2. Die Lösung: Der „Worst-Case“-Coach

Die Autoren führen das Konzept der Distributionally Robust Optimization (DRO) ein.

Stellen Sie sich vor, Sie trainieren einen Marathonläufer.

Standard-Training: Sie laufen nur auf einer flachen, sonnigen Strecke.
Robustes Training: Sie sagen dem Läufer: „Ich möchte, dass du für jede Bedingung bereit bist, die sich leicht von dieser Strecke unterscheidet. Vielleicht ist es etwas windig, vielleicht ist der Boden etwas schlammig, vielleicht ist die Temperatur etwas heißer.“

Der Roboter lernt nicht nur, in der „perfekten“ Welt gut zu sein. Stattdessen lernt er, auch dann gut zu sein, wenn sich die Daten leicht in Richtung eines „Worst-Case“-Szenarios verschieben, innerhalb eines vernünftigen Rahmens. Er bereitet sich auf das Unerwartete vor.

3. Wie sie es gemacht haben (Der Zwei-Schritte-Prozess)

Das Paper konzentriert sich auf zwei Hauptphasen der Lehre des Roboters:

Schritt A: Das Lernen des „Richters“ (Reward Estimation)
Zuerst benötigt der Roboter einen „Richter“ (ein Reward Model), der ihm sagt, ob eine Antwort gut oder schlecht ist.

Der Trick: Anstatt nur die Durchschnittswerte aus den Trainingsdaten zu bilden, bringen die Autoren den Richter bei, skeptisch zu sein. Sie fragen: „Was wäre, wenn die Daten, die wir uns ansehen, leicht verzerrt oder verschoben sind? Was wäre die schlechteste mögliche Punktzahl, die wir von einer leicht anderen Version dieser Daten erhalten könnten?“
Das Ergebnis: Der Richter wird härter und zuverlässiger. Er lässt sich nicht von Eigenheiten in den Trainingsdaten täuschen. Das Paper zeigt, dass dies den Richter bei Denkaufgaben (wie Mathe oder Logik) wesentlich besser macht, wenn er mit neuen Daten getestet wird.

Schritt B: Das Lernen des „Akteurs“ (Policy Optimization)
Sobald der Richter bereit ist, versucht der Roboter (der „Akteur“), Antworten zu schreiben, um den Richter zu gefallen.

Der Trick: Die Autoren haben zwei populäre Methoden dafür aktualisiert:
1. PPO (Proximal Policy Optimization): Eine Methode, bei der der Roboter versucht, die Punktzahl des Richters zu maximieren, während er nah an seiner ursprünglichen Persönlichkeit bleibt.
2. DPO (Direct Preference Optimization): Eine Abkürzung, die den „Richter“ überspringt und direkt aus den „gut vs. schlecht“-Beispielen lernt.
Die Innovation: Sie haben dasselbe „Worst-Case“-Denken auf diese Schritte angewendet. Der Roboter lernt, auch dann gut zu performen, wenn sich die Verteilung der Prompts (die Fragen, die er erhält) leicht verschiebt.

4. Die Ergebnisse: „Super-Reasoning“

Das Team testete ihre neuen „robusten“ Roboter gegen Standard-Roboter unter Verwendung von zwei verschiedenen Modellen (einem kleinen Modell mit 2 Milliarden Parametern und einem größeren mit 7 Milliarden Parametern).

Der Test: Sie trainierten die Roboter auf einem massiven Datensatz namens „Unified-Feedback“, testeten sie dann aber auf völlig anderen Datensätzen (wie „HHH-Alignment“ oder „MT-Bench“), die die Roboter zuvor noch nie gesehen hatten.
Das Ergebnis:
- Die robusten Roboter schnitten bei diesen neuen, ungesehenen Aufgaben besser ab als die Standard-Roboter.
- Die größte Verbesserung lag im Bereich Reasoning (Schlussfolgerndes Denken). Genau wie ein Schüler, der die Prinzipien der Mathematik lernt, anstatt nur Antworten auswendig zu lernen, wurde der robuste Roboter signifikant besser in Logik- und Denkaufgaben, wenn sich die Fragen änderten.
- Sie fanden einen „Sweet Spot“ dafür, wie viel „Worst-Case“-Denken eingesetzt werden sollte (ein Parameter namens $\rho$ ). Wenn sie den Roboter zu sehr dazu brachten, sich über Worst-Case-Szenarien Sorgen zu machen, wurde er verwirrt. Aber mit dem richtigen Maß wurde er ein Champion darin, neue Situationen zu bewältigen.

Zusammenfassung

Kurz gesagt lehrt dieses Paper KI-Modelle, nicht nur die Trainingsdaten auswendig zu lernen, sondern die zugrunde liegenden Regeln zu verstehen. Indem sie darauf trainiert werden, leichte Änderungen in den Daten zu erwarten und zu bewältigen (durch eine „Worst-Case“-Strategie), werden die Modelle viel zuverlässiger und intelligenter, wenn sie auf reale Aufgaben treffen, die sich von ihrem Training unterscheiden.

Wichtigste Erkenntnis: Sie wollen nicht nur einen Roboter, der die Antworten auf die Übungsprüfung kennt; Sie wollen einen Roboten, der die echte Prüfung bestehen kann, selbst wenn die Fragen in einem anderen Stil geschrieben sind. Dieses Paper zeigt, wie man einen solchen Roboter baut.

Technisches Resümee: Distributionsrobustes Reinforcement Learning mit menschlichem Feedback

Problemstellung

Reinforcement Learning from Human Feedback (RLHF) hat sich zu einer Standardtechnik zur Ausrichtung von Large Language Models (LLMs) an menschliche Intentionen entwickelt. Bestehende RLHF-Pipelines leiden jedoch unter einem Mangel an Robustheit. Wenn die Verteilung der während der Inferenz (Downstream-Aufgaben) auftretenden Prompts signifikant von der Verteilung des Präferenzdatensatzes während des Fine-Tunings abweicht, verschlechtert sich die Leistung des Modells oft. Dieses Problem wird durch Phänomene wie Überoptimierung verschärft, bei der Policies die Proxy-Belohnungen auf Kosten der wahren Belohnungsfunktionen verbessern, sowie durch Distributionsverschiebungen, die durch sich ändernde Umgebungen oder driftende menschliche Präferenzen verursacht werden. Zuvorige Ansätze zur Robustheit konzentrierten sich auf spezifische adversarielle Korruptionsmodelle, Verschiebungen der Präferenzmodelle oder heuristische Methoden wie Model Merging, welche jedoch bei moderaten Distributionsverschiebungen oft versagen.

Methodik

Die Autoren schlagen ein Framework der distributionsrobusten Optimierung (Distributionally Robust Optimization, DRO) für RLHF vor. Das Kernziel besteht darin, sicherzustellen, dass feinabgestimmte Modelle (sowohl Belohnungsmodelle als sie Policies) auch dann eine stabile Leistung beibehalten, wenn die Prompt-Distribution innerhalb eines beschränkten Abstands von der Trainingsdistribution variiert. Die Autoren formulieren dies durch die Einführung eines Minimax-Optimierungsproblems, bei dem der Lernende den Verlust gegen die Worst-Case-Distribution innerhalb einer $\phi$ -Divergenz-Kugel (speziell der Total Variation Distanz) um die empirische Trainingsdistribution minimiert.

Das Paper entwickelt robuste Varianten für zwei primäre RLHF-Pipelines:

Robuste Belohnungsschätzung (Robust Reward Estimation):
- Formulierung: Das Belohnungsmodell $r$ wird trainiert, um den Worst-Case-erwarteten Verlust über Verteilungen $D$ zu minimieren, für die gilt: $d_{TV}(D, D_{src}) \leq \rho$ .
- Algorithmus: Ein Minibatch-Gradientenabstiegsalgorithmus (Algorithmus 1) wird vorgeschlagen. In jeder Iteration sampelt der Algorithmus ein Minibatch und berechnet die optimalen Gewichte $q^*_t$ , die der Worst-Case-Distributionsverschiebung innerhalb der Distanz $\rho$ entsprechen. Der Gradient wird anschließend durch diese optimalen Gewichte vor dem Update der Belohnungsparameter umgewichtet.
- Konvergenz: Unter der Annahme einer linearen Belohnungsklassenstruktur beweisen die Autoren, dass der Algorithmus zu einer $\epsilon$ -optimalen Lösung mit $T = O(1/\epsilon^2)$ Iterationen und $n = \tilde{O}(1/\epsilon^2)$ Samples pro Iteration konvergiert.
Robuste Policy-Optimierung (Robust Policy Optimization):
- Formulierung: Die Policy $\pi$ wird optimiert, um die Worst-Case-KL-regularisierte Value-Funktion zu maximieren.
- Algorithmus: Die Autoren schlagen eine robuste Natural Policy Gradient (NPG) Methode (Algorithmus 2) vor. Ähnlich wie bei der Belohnungsschätzung werden hierfür die Worst-Case-Gewichte für das Minibatch berechnet. Entscheidend ist, dass die Policy unter Verwendung einer gewichteten Fisher-Informationsmatrix aktualisiert wird, die aus diesen Worst-Case-Gewichten abgeleitet ist, anstatt der Standard-Empirical-Fisher-Matrix.
- Konvergenz: Unter Annahme einer log-linearen Policy-Klasse und Standard-Konzentrationsbedingungen erreicht die Methode eine lineare Konvergenzrate ( $T = O(\log(1/\epsilon))$ ), erfordert jedoch eine höhere Sample-Komplexität von $n = \tilde{O}(1/\epsilon^4)$ pro Iteration, um eine Last-Iterate-Konvergenz zu gewährleisten.
Robustes Direct Preference Optimization (DPO):
- Formulierung: Eine distributionsrobuste Version von DPO wird formuliert, die die Policy direkt optimiert, ohne ein explizites Belohnungsmodell zu verwenden.
- Algorithmus: Algorithmus 3 wendet Minibatch-Stochastischen Gradientenabstieg mit umgewichteten Gradienten basierend auf der Worst-Case-Distributionsverschiebung an.
- Konvergenz: Die Analyse zeigt eine Iterationskomplexität von $T = O(1/\epsilon^2)$ und eine Sample-Komplexität von $n = \tilde{O}(1/\epsilon^2)$ , ähnlich der Phase der robusten Belohnungsschätzung.

Zentrale Beiträge

Theoretischer Rahmen: Das Paper etabliert die ersten distributionsrobusten Formulierungen sowohl für die Phase der Belohnungsschätzung als auch für die Policy-Optimierung von RLHF sowie für DPO.
Algorithmen: Es führt praktische, Minibatch-basierte Algorithmen für die robuste Belohnungsschätzung, das robuste NPG und das robuste DPO ein. Diese Algorithmen sind so konzipiert, dass sie bestehende Pipelines nur minimal invasiv beeinflussen, indem sie lediglich die Berechnung der Umgewichtungsfaktoren (gelöst via konvexer Optimierung) und die Gradienten-Umgewichtung erfordern.
Konvergenzgarantien: Die Autoren liefern theoretische Beweise für die Konvergenz dieser Algorithmen. Sie stellen Schranken für die Sample- und Iterationskomplexität für lineare Belohnungsmodelle und log-lineare Policies auf und demonstrieren, dass Robustheit mit nachweisbaren Garantien erreicht werden kann.
Empirische Validierung: Die Methoden werden auf Out-of-Distribution (OOD) Aufgaben unter Verwendung des Unified-Feedback-Datensatzes für das Training sowie RewardBench, HHH-Alignment und MT-Bench für die Evaluierung getestet.

Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methoden mit den Basismodellen Gemma-2B-it und Mistral-7B-Instruct-v0.2.

Belohnungsmodelle: Im RewardBench-Benchmark zeigten die distributionsrobusten Belohnungsmodelle (DR RM) eine verbesserte durchschnittliche Genauigkeit im Vergleich zu Standard-Bradley-Terry (BTL) Modellen, insbesondere wenn der Robustheitsparameter $\rho$ auf 0,1 oder 0,2 gesetzt wurde. Bemerkenswert ist, dass die Leistung im Teilbereich Reasoning (Schlussfolgerung) signifikant stieg (z. B. +23,4 % in einem Teilbereich bei $\rho=0,1$ ). Allerdings sank die Leistung, wenn $\rho$ zu hoch gewählt wurde (z. B. $\rho \geq 0,6$ ), was auf einen Trade-off zwischen Robustheit und der Anpassung an die Trainingsdistribution hindeutet.
Policy-Optimierung (PPO): Beim Einsatz der robusten Belohnungsmodelle zur Training der Policies via PPO erreichten die robusten Varianten (DR PPO) im Allgemeinen eine Leistung, die der von Standard-PPO auf sowohl In-Distribution (Unified-Feedback) als auch OOD-Datensätzen (HHH-Alignment, MT-Bench) entsprach oder diese übertraf. Eine deutliche Verbesserung wurde bei Reasoning-Aufgaben beobachtet, mit einer Steigerung der Genauigkeit um +10,0 % für $\rho=0,1$ .
Direct Preference Optimization (DPO): Das robuste DPO (DR DPO) verbesserte die Leistung auf OOD-Datensätzen konsistent gegenüber dem Standard-DPO. Für HHH-Alignment wurde die beste Leistung bei $\rho=0,8$ und für MT-Bench bei $\rho=0,5$ erzielt. DR DPO übertraf im Allgemeinen DR PPO bei OOD-Aufgaben.

Bedeutung und Behauptungen

Das Paper behauptet, dass die distributionsrobuste Optimierung einen fundierten Ansatz bietet, um die Generalisierungsfähigkeit von LLMs auf ungesehene Aufgaben und Distributionsverschiebungen zu verbessern. Die Autoren betonen, dass ihre Methoden nur minimale Änderungen an bestehenden effizienten RLHF-Pipelines (z. B. solche, die Hugging Face Bibliotheken nutzen) erfordern, während sie gleichzeitig theoretische Konvergenzgarantien bieten.

Ein zentrales Ergebnis, das von den Autoren hervorgehoben wird, ist die unerwartete Verbesserung der Reasoning-Fähigkeiten auf OOD-Datensätzen durch das Erzwingen von Distributionsrobustheit. Die Autoren merken an, dass nicht unmittelbar klar ist, warum DRO das Reasoning positiv beeinflussen sollte, und schlagen vor, dass dieses Phänomen weitere Untersuchungen zum Zusammenhang zwischen Reasoning und Distributionsrobustheit erfordert.

Die Arbeit positioniert sich als Schritt hin zu einer wahrhaftigen Ausrichtung von LLMs an menschlichen Intentionen in dynamischen realen Umgebungen, in denen Datenverteilungen nicht statisch sind, und geht damit über die Limitationen des Standard-RLHF hinaus, welches oft die Fähierung über die spezifischen während des Trainings gesehenen Präferenzbeispiele hinaus einschränkt.