🤖 machine learning

Value-Free Policy Optimization via Reward Partitioning

Dieses Paper führt Reward Partition Optimization (RPO) ein, eine einfache und skalierbare Single-Trajectory-Preference-Learning-Methode, die die Notwendigkeit der Wertfunktionsschätzung durch die Normalisierung von Belohnungen über Prompt-Ebene-Verteilungen eliminiert und dadurch eine überlegene Ausrichtung, Diversität und Stabilität im Vergleich zu bestehenden Baselines wie DRO und KTO erreicht.

Ursprüngliche Autoren: Bilal Faye, Hanane Azzag, Mustapha Lebbah

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bilal Faye, Hanane Azzag, Mustapha Lebbah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter-Koch bei, wie man das perfekte Gericht zubereitet. In der Vergangenheit gab es zwei Hauptwege, dies zu tun, und beide hatten erhebliche Probleme.

Die alten Wege: Der „Geschmackstest“ und der „Gourmet-Richter“

Der „Geschmackstest“ (Paarweise Präferenzen):
Traditionell würde man dem Koch zwei verschiedene Gerichte für dieselbe Bestellung geben (z. B. zwei verschiedene Lasagnen) und einen Menschen fragen: „Welches ist besser?“ Der Roboter lernt durch den Vergleich der beiden.

Das Problem: Wenn der Roboter besser wird, wird es für Menschen unglaublich schwierig, zwischen zwei guten Lasagnen zu unterscheiden. Es ist, als würde man einen Food-Kritiker bitten, zwischen zwei 5-Sterne-Menüs zu wählen; es ist anstrengend, teuer und langsam.

Der „Gourmet-Richter“ (Belohnungsmodelle + Reinforcement Learning):
Ein anderer Weg besteht darin, einen „Gourmet-Richter“ (eine separate KI) einzustellen, der das Essen probiert und ihm eine Punktzahl von 1 bis 10 gibt. Der Roboter versucht dann, Gerichte zu kochen, die beim Richter die höchste Punktzahl erhalten.

Das Problem: Der Richter kann falsch liegen, oder der Robot könnte versuchen, den Richter zu „überlisten“, indem er seltsame, toxische oder unsinnige Gerichte erstellt, nur um eine hohe Punktzahl zu bekommen. Es ist auch sehr rechenintensiv und instabil, wie der Versuch, ein Kartenhaus im Sturm zu balancieren.

Die neue Methode: RPO (Reward Partitioning Optimization)

Die Autoren dieser Arbeit stellen eine neue, einfachere Methode namens RPO vor. Anstatt zwei Gerichte miteinander zu vergleichen oder einen separaten „Gourmet-Richter“ einzustellen, betrachtet RPO alle Gerichte, die der Roboter jemals für eine bestimmte Bestellung zubereitet hat, und ermittelt die „durchschnittliche Qualität“ dieser spezifischen Bestellung.

So funktioniert RPO, unter Verwendung einer einfachen Analogie:

Die Analogie der „Klassenarbeit“

Stellen Sie sich vor, ein Lehrer (der Roboter) bewertet Aufsätze.

Der alte Weg (DRO): Der Lehrer versucht, die „perfekte Punktzahl“ für jeden einzelnen Aufsatz zu erraten, noch bevor er ihn überhaupt fertig geschrieben hat. Er muss diese „perfekte Punktzahl“ erraten, während er gleichzeitig den Aufsatz schreibt. Das ist verwirrend und führt zu Fehlern.
Der RPO-Weg: Der Lehrer betrachtet alle Aufsätze, die für ein bestimmtes Thema geschrieben wurden (z. B. „Schreibe eine Geschichte über eine Katze“).
- Einige Aufsätze sind schrecklich (Punktzahl 2).
- Einige sind okay (Punktzahl 5).
- Einige sind fantastisch (Punktzahl 9).
- RPO berechnet die durchschnittliche Qualität aller dieser Katzengeschichten.
- Wenn der Roboter eine Geschichte schreibt, die besser als der Durchschnitt für diesen Prompt ist, bekommt er ein „Daumen hoch“ und lernt, dies wieder zu tun.
- Wenn er eine Geschichte schreibt, die schlechter als der Durchschnitt ist, bekommt er ein „Daumen runter“ und lernt, sich zu ändern.

Der magische Trick: RPO benötigt keine separate „Richter“-KI, um ihm zu sagen, was der Durchschnitt ist. Es nutzt einfach die Daten, die es bereits hat (den Prompt, die Antwort und die Punktzahl), und führt eine schnelle mathematische Berechnung durch, um diesen Durchschnitt zu finden. Dies macht den Trainingsprozess viel schneller, stabender und weniger anfällig dafür, „durchzudrehen“.

Was haben sie herausgefunden?

Die Forscher haben diese neue Methode an vielen verschiedenen KI-Modellen getestet (sowohl an solchen, die lesen und schreiben können, als auch an solchen, die nur schreiben können). Das passierte:

Bessere Ergebnisse: Die mit RPO trainierten Roboter schrieben Antworten, die hilfreicher, vielfältiger (weniger repetitiv) und sicherer (weniger toxisch) waren als die der Roboter, die mit den alten Methoden trainiert wurden.
Stabilität: Während die alten Methoden dazu führten, dass das Verhalten des Roboters manchmal wild schwankte (wie ein Auto, das die Kontrolle verliert), hielt RPO den Roboter auf einem glatten, stetigen Pfad.
Geschwindigkeit: Das Training der Roboter mit RPO dauerte weniger Zeit.
Robustheit: Selbst wenn die vergebenen Punktzahlen (Rewards) etwas „verrauscht“ oder unvollkommen waren (wie ein menschlicher Korrektor, der einen schlechten Tag hat), funktionierte RPO dennoch gut. Es ist nicht zusammengebrochen.

Die Kehrseite (Einschränkungen)

Das Paper ist ehrlich darüber, wo RPO Schwierigkeiten haben könnte:

Man braucht eine Menge: Um den „Durchschnitt“ zu berechnen, muss man mehrere verschiedene Antworten für denselben Prompt sehen. Wenn man nur eine einzige Antwort für einen Prompt hat, kann RPO seine magische Mathematik nicht anwenden.
„Garbage In, Garbage Out“: Wenn die Punktzahlen (Rewards) völlig falsch oder korrumpiert sind, wird auch die Methode Schwierigkeiten haben, obwohl sie kleine Fehler besser handhabt als die alten Wege.

Das Fazente

Das Paper schlägt RPO als eine intelligentere, einfachere Art vor, KI dabei zu helfen, hilfreich zu sein. Anstatt Menschen zu bitten, zwei Optionen zu vergleichen, oder ein komplexes System zu bauen, um „perfekte Punktzahlen“ zu erraten, schaut RPO einfach auf die gesamte Gruppe der Antworten zu einer Frage, findet den Durchschnitt und lehrt die KI, über diesen Durchschnitt hinaus zu streben. Es ist ein stabilerer, effizienterer und effektiverer Weg, um KI an menschliche Präferenzen anzupassen.

Technisches Resümee: Wertfreie Richtlinienoptimierung mittels Reward-Partitionierung

Problemstellung

Die Ausrichtung von Large Language Models (LLMs) an menschlichen Präferenzen stützt sich typischerweise auf Reinforcement Learning from Human Feedback (RLHF) oder Direct Preference Optimization (DPO). Diese Paradigmen stehen jedoch vor erheblichen Skalierbarkeits- und Stabilitätsproblemen:

RLHF erfordert die kostspielige menschliche Annotation von paarweisen Präferenzen, das Training eines separaten Reward-Modells (RM) und instabile Reinforcement-Learning-Schleifen (z. B. PPO), die sampeleffizient schwach und sensitiv gegenüber Hyperparametern sind.
Direct Preference Optimization (DPO-Stil)-Methoden eliminieren das explizite RM und den RL-Loop, benötigen jedoch kuratierte paarweise Präferenzdaten. Da sich Modelle verbessern, wird es zunehmend schwieriger, zwischen qualitativ hochwertigen Antworten zu unterscheiden, was die Annotationskosten in die Höhe treibt.
Single-Trajectory Learning bietet eine praktische Alternative unter Verwendung von $(Prompt, Response, Scalar\_Reward)$ -Tupeln, die einfacher zu annotieren sind (z. B. Daumen hoch/runter). Bestehende Methoden für dieses Setting, wie etwa Direct Reward Optimization (DRO), verlassen sich jedoch auf das gemeinsame Lernen einer Policy und einer Value-Funktion. Diese gemeinsame Optimierung führt zu Varianz, Instabilität und Sensitivität gegenüber Off-Policy-Daten, da Fehler in der Value-Schätzung das Training der Policy verzerren können.

Das Kernproblem ist die Notwendigkeit einer stabilen, skalierbaren und einfachen Methode zur Optimierung von Policies direkt aus skalaren Reward-Daten, ohne die Komplexität und Instabilität des Lernens einer Hilfs-Value-Funktion.

Methodik: Reward Partitioning Optimization (RPO)

Die Autoren schlagen die Reward Partitioning Optimization (RPO) vor, eine wertfreie Zielgröße, die die analytische Form der optimalen Policy unter KL-Regularisierung nutzt, um die Notwendigkeit einer gelernten Value-Funktion zu eliminieren.

Theoretische Grundlage

Ausgehend von der optimalen Policy-Formulierung in der KL-regularisierten Reward-Maximierung:
$\pi^*(y|x) = \pi_{ref}(y|x) \exp\left(\frac{1}{\tau} (r(x, y) - V^*(x))\right)$
wobei $V^*(x)$ die weiche Value-Funktion ist, die als Partitionsfunktion zur Normalisierung der Rewards dient. Traditionelle Methoden wie DRO approximieren $V^*(x)$ mithilfe eines separaten neuronalen Netzwerks, was zu einer gekoppelten Optimierung von Policy ( $\pi_\theta$ ) und Value ( $V_\phi$ ) führt.

RPO umgeht dies, indem es die Partitionsfunktion direkt aus den Daten empirisch schätzt. Für einen gegebenen Prompt $x$ aggregiert die Methode alle verfügbaren Antworten $y_j$ im Datensatz, um eine empirische Partitionsfunktion $\hat{Z}(x)$ zu berechnen:
$\hat{Z}(x) = \sum_{j \in I_x} \pi_{ref}(y_j|x) \exp\left(\frac{1}{\tau} r(x, y_j)\right)$
wobei $I_x$ die Menge der Indizes für Samples mit dem Prompt $x$ ist. Der empirische Wert ist dann $\hat{V}(x) = \tau \log \hat{Z}(x)$ .

Optimierungsziel

RPO formuliert die Lernaufgabe als direkte Regression auf das Log-Verhältnis zwischen der gelernten Policy und der Referenz-Policy. Die Verlustfunktion minimiert den quadratischen Fehler zwischen dem vorhergesagten Log-Verhältnis und dem zentrierten, skalierten Reward:
$\mathcal{L}_{RPO}(\theta) = \frac{1}{2} \mathbb{E}_{(x,y,r) \sim D} \left[ \left( \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - \frac{1}{\tau}(r(x, y) - \hat{V}(x)) \right)^2 \right]$

Zu den Schlüsselmerkmalen der Methode gehören:

Wertfrei (Value-Free): Es wird kein zusätzliches Value-Netzwerk trainiert; $\hat{V}(x)$ wird On-the-fly aus der Referenz-Policy und den beobachteten Rewards berechnet.
Stabile Gradienten: Das Gradienten-Update hängt nur von den Policy-Parametern ab und vermeidet die Backpropagation durch einen gelernten Value-Estimator.
Offline-Kompatibilität: Die Methode ist vollständig offline und skaliert auf große Datensätze, ohne dass Online-RL-Schleifen erforderlich sind.

Wichtigste Beiträge

Vorschlag von RPO: Eine neue Single-Trajectory-Policy-Optimierungsmethode, die die Value-Schätzung durch empirische Reward-Normalisierung ersetzt.
Analyse von DRO: Eine theoretische und praktische Kritik an der Direct Reward Optimization, die deren Instabilität aufgrund der gemeinsamen Policy-Value-Optimierung hervorhebt.
Formale Herleitung: Ein Beweis, der zeigt, dass RPO die optimale Policy-Struktur approximiert, indem es die Partitionsfunktionen-Formulierung nutzt.
Umfangreiche Evaluierung: Umfassende Experimente über Encoder-Decoder- (Flan-T5) und Decoder-only-Architekturen (Mistral, LLaMA, Qwen) hinweg, die eine konsistente Überlegenheit gegenüber SFT, KTO und DRO demonstrieren.

Experimentelle Ergebnisse

Die Autoren evaluierten RPO auf dem UltraFeedback-Datensatz und über mehrere Benchmarks (AlpacaEval, MT-Bench, IFEval, GSM8K) hinweg.

In-Domain-Performance (UltraFeedback)

Metriken: RPO übertraf SFT, KTO und DRO konsistent bei automatischen Metriken (BERTScore, ROUGE-L, Distinct-2) und Sicherheit (Toxizität).
LLM-as-a-Judge: RPO erreichte höhere Gewinnraten gegen Baselines, wenn es durch GPT-4o und Claude-3.5 evaluiert wurde.
Stabilität: Die KL-Divergenz-Analyse zeigte, dass RPO glatte, kontrollierte Trajektorien beibehält, während DRO ein starkes Divergenzwachstum aufwies (besonders bei Decoder-only Modellen) und KTO Oszillationen zeigte.
Effizienz: RPO demonstrierte eine schnellere Konvergenz und geringere Trainingszeit im Vergleich zu DRO und KTO über alle Modellskalen hinweg.

Out-of-Distribution (OOD) Generalisierung

RPO zeigte robuste, aber aufgabenabhängige Verbesserungen. Die Gewinne waren am deutlichsten in Benchmarks zur Befolgung von Instruktionen (AlpacaEval, IFEval).
Die Leistung bei Reasoning-Aufgaben (GSM8K) und Multi-Turn-Konversationen (MT-Bench) zeigte konsistente, aber moderatere Verbesserungen, die je nach Modellfamilie variierten.

Ablationsstudien

Temperatur ( $\tau$ ): Die Methode ist robust gegenüber moderater Glättung ( $\tau=5.0$ ), leidet aber unter signifikanter Leistungsdegradation bei sehr scharfer Skalierung ( $\tau=0.1$ ), was zu instabiler Optimierung führt.
Empirische Normalisierung ( $\hat{V}(x)$ ): Das Entfernen der Prompt-Level-Reward-Normalisierung verursachte eine konsistente Verschlechterung der semantischen Ähnlichkeit, Diversität und Sicherheit, was die entscheidende Rolle bei der Stabilisierung der Reward-Skalen bestätigt.
Datendichte: Die Leistung sinkt, wenn die Anzahl der Completions pro Prompt abnimmt, wobei eine Dichte von 25 % zu erheblichen Qualitätsverlusten führt. Dies unterstreicht die Abhängigkeit der Methode von diversen Reward-Verteilungen pro Prompt für eine genaue Partitionsschätzung.
Rauschrobustheit: RPO bleibt unter moderatem Reward-Rauschen ( $\sigma=0.left, 0.5$ ) stabil, aber die Leistung sinkt mit zunehmender Rauschintensität, bricht jedoch selbst unter starker Korruption ( $\sigma=1.0$ ) nicht zusammen.

Bedeutung und Limitationen

Das Paper behauptet, dass RPO eine einfache, skalierbare und stabile Alternative zu bestehenden Alignment-Methoden bietet. Durch die Eliminierung der Notwendigkeit der Value-Funktions-Lernens reduziert es die Optimierungskomplexität und Varianz und bietet gleichzeitig eine absolute Reward-Supervision. Die Autoren positionieren RPO als vielversprechenden Weg für skalierbare Präferenzoptimierung, insbesondere in Szenarien, in denen paarweise Daten knapp, aber skalare Rückmeldungen verfügbar sind.

Von den Autoren anerkannte Limitationen:

Datenanforderungen: RPO verlässt sich auf gruppierte Daten, in denen mehrere Completions pro Prompt existieren, um die Partitionsfunktion effektiv zu schätzen. Die Leistung sinkt, wenn die Diversität auf Prompt-Ebene unzureichend ist.
Reward-Qualität: Obwohl robust gegenüber moderatem Rauschen, bleibt die Methode abhängig von der Qualität der Reward-Annotationen; starke Korruption wirkt sich negativ auf das Alignment aus.
Evaluationsumfang: Die aktuelle Evaluierung konzentriert sich primär auf Instruction-Following und Alignment-Benchmarks. Die Autoren merken an, dass breitere Domänen, mehrsprachige Settings und Long-Horizon-Reasoning-Aufgaben weitere Studien erfordern, um die Generalisierung vollständig zu bewerten.