🤖 AI

A Regret Minimization Framework on Preference Learning in Large Language Models

Dieses Paper stellt die Regret-based Preference Optimization (RePO) vor, ein neuartiges Framework, das Reinforcement Learning from Human Feedback durch die Minimierung von Bedauern (Regret Minimization) neu formuliert, um die prospektive und kontrafaktische Natur menschlicher Präferenzen besser zu erfassen, was zu konsistenten Leistungssteigerungen bei Reasoning- und Präferenz-Benchmarks führt.

Ursprüngliche Autoren: Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein mathematisches Problem zu lösen oder eine hilfreiche E-Mail zu schreiben. Sie möchten möchten, dass der Roboter aus menschlichem Feedback lernt, aber Menschen sagen normalerweise nicht: „Dieser Satz ist genau 7,5 Punkte wert.“ Stattdessen sagen wir: „Ich bevorzuge diese Antwort gegenüber jener.“

Lange Zeit haben Informatiker Roboter darauf trainiert, durch das Maximieren eines Scores zu lernen. Sie behandelten jeden Schritt, den der Roboter machte, so, als würde er sofort Punkte sammeln, wie beim Sammeln von Münzen in einem Videospiel. Wenn der Roboter einen Schritt „richtig“ machte, bekam er eine Münze. Wenn er ihn „falsch“ machte, verlor er eine Münze. Das Ziel des Roboters war es schlichtweg, so viele Münzen wie möglich einzusammeln.

Das Problem mit dem „Münzensammler“-Ansatz
Das Paper argumentiert, dass diese „Münzensammler“-Mentalität eigentlich eine schlechte Art und Weise ist, um zu verstehen, wie Menschen denken. Menschen schauen nicht nur auf den unmittelbaren Schritt; wir schauen voraus und wir blicken zurück auf das, was hätte passieren können.

Die Autoren verwenden eine großartige Analogie: Das „Was-wäre-wenn“-Spiel.

Stellen Sie sich vor, Sie beobachten einen Schachspieler bei einem Zug.

Der alte Weg (Reward Maximization): Sie betrachten diesen einzelnen Zug. Hat er ein Stück geschlagen? Wenn ja, gut! Wenn nein, schlecht. Sie bewerten den Zug isoliert.
Der neue Weg (Regret Minimization): Sie betrachten den Zug und fragen: „Wenn er hier einen anderen Zug gemacht hätte, wäre das Spiel besser verlaufen?“ Oder: „Wenn er so weiterspielt, wird er in 10 Zügen gewinnen?“

Menschen sind schlecht darin, einen Schritt isoliert zu beurteilen. Wir beurteilen ihn basierend auf prospektiver Antizipation (was wir als Nächstes erwarten) und kontrafaktischem Vergleich (was sie stattdessen hätten tun können).

Die Lösung der Autoren: „Regret-Based Preference Optimization“ (RePO)
Die Autoren führen eine neue Methode namens RePO ein. Anstatt zu versuchen, Punkte zu maximieren, lehrt RePO den Roboter, Reue (Regret) zu minimieren.

Stellen Sie sich „Reue“ wie das Gefühl vor, wenn Sie sagen: „Ich hätte die andere Straße nehmen sollen; ich hätte den Verkehr vermieden.“

Beim alten Verfahren kümmert sich der Roboter nur darum, ob die Straße, die er genommen hat, jetzt gerade glatt ist.
Beim neuen Verfahren (RePO) fragt der Roboter: „Im Vergleich zu der besten Straße, die ich hätte nehmen können, wie sehr habe ich mich vermasselt?“

Wie es in einfachem Deutsch funktioniert

Vorausschauen: Wenn ein Mensch eine Teilantwort sieht (wie die erste Hälfte einer mathematischen Lösung), vervollständigt er das Problem gedanklich. Wenn er denkt: „Oh, dieser Pfad führt am Ende zu einer falschen Antwort“, dann mag er die erste Hälfte nicht, selbst wenn die erste Hälfte okay aussieht. RePO ahmt dies nach, indem es die Zukunft simuliert, um zu sehen, ob dieser Schritt in eine Sackgasse führt.
Alternativen vergleichen: Menschen beurteilen eine Handlung oft, indem sie sie mit einer „besseren“ Version vergleichen, die nicht stattgefunden hat. RePO berechnet die „Distanz“ zwischen dem, was der Roboter getan hat, und dem, was der „perfekte“ Roboter getan hätte. Es versucht, diese Lücke zu schließen.
Der „Reue“-Score: Anstatt eines positiven Scores für „gut zu sein“, berechnet RePO einen „Reue“-Score. Das Ziel ist es, diese Reue so nah wie möglich an Null zu bringen. Wenn die Reue hoch ist, bedeutet das, dass der Roboter eine Wahl getroffen hat, die zu einem schlechteren Ergebnis führte, als er hätte tun können.

Warum das wichtig ist (laut dem Paper)
Die Forscher haben dies bei mathematischen Problemen und allgemeinen Konversationsaufgaben getestet. Sie fanden heraus, dass Roboter, die mit RePO trainiert wurden, besser darin waren:

Mathematik zu lösen: Sie verstanden, dass ein Schritt nur dann „gut“ ist, wenn er zum korrekten Endergebnis führt, und nicht nur, wenn der Schritt selbst logisch erscheint.
Den menschlichen Geschmack zu treffen: Sie passten sich besser an menschliche Präferenzen an, weil sie aufhörten, das System für sofortige Punkte zu „überlisten“, und anfingen, über die gesamte Reise nachzudenken, genau wie Menschen es tun.

Der „Zaubertrick“ (Sample Efficiency)
Eine der coolsten Erkenntnisse ist, dass RePO „schlauer“ beim Lernen ist.

Alte Methode (DPO): Wenn man dem Roboter ein mathematisches Problem zeigt, bei dem die Antwort maskiert (verborgen) ist, wird der Robot verwirrt und schneidet schlecht ab. Er muss die vollständige, korrekte Antwort viele Male gesehen haben, um das Muster zu lernen.
Neue Methode (RePO): Da RePO auf der Idee der „Reue“ (das Nachdenken darüber, was hätte passieren können) basiert, versteht es von Natur aus, dass eine verborgene Antwort verdächtig ist. Es benötigt nicht so viel zusätzliches Training, um zu begreifen, dass unvollständige Pfade schlecht sind. Es hat die Lektion „verinnerlicht“, dass „wenn man das Ziel nicht sehen kann, ist man wahrscheinlich auf einen falschen Weg geraten“.

Zusammenfassend
Das Paper sagt: Hören Sie auf, Roboter zu gierigen Münzensammlern zu erziehen, denen nur der nächste Schritt wichtig ist. Bringen Sie sie stattdin zu reflektierenden Reisenden, die fragen: „War ich auf dem bestmöglichen Weg, und wie sehr bereue ich meine Entscheidungen im Vergleich zu dem Weg, den ich nicht genommen habe?“ Durch dies werden die Roboter besser im Schlussfolgern und passen sich besser der Art und Weise an, wie Menschen tatsächlich denken.

Technisches Resümee: Ein Framework zur Regret-Minimierung bei der Präferenzlernprozessen in Large Language Models

Problemstellung

Während Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) durch die Nutzung automatisierter Korrektsignale signifikante Fortschritte bei reasoning-intensiven Aufgaben wie Mathematik und Codegenerierung vorangetrieben hat, fehlt es vielen realistischen Sprachaufgaben (z. B. sicherheitskritische Entscheidungen, Kundenservice, pädagogisches Reasoning) an zuverlässigen Verifizierern. Infolgedessen stützt sich das Feld stark auf Reinforcement Learning from Human Feedback (RLHF).

Das adressierte Kernproblem ist die Interpretation von menschlichem Feedback innerhalb von RLHF. Bestehende präferenzbasierte Methoden (z. B. DPO, IPO) interpretieren menschliche Präferenzen typischerweise durch die Linse der Belohnungsmaximierung (Reward Maximization) und behandeln Präferenzen als Proxys für unmittelbaren oder akkumulierten Nutzen, der den beobachteten Trajektoriensegmenten zugewiesen wird. Die Autoren argumentieren, dass diese Interpretation fundamental nicht mit der menschlichen Kognition im Einklang steht. Menschliches Urteilsvermögen ist inhärent prospektiv (zukünftige Ergebnisse antizipierend) und kontrafaktisch (Vergleich realisierter Ergebnisse mit plausiblen Alternativen). Derzeitige belohnungsbasierte Frameworks bewerten Zwischenschritte myopisch (kurzsichtig) und ignorieren dabei, dass menschliche Präferenzen über partielle Trajektorien durch die antizipierte Fortsetzung dieser Trajektorien und den Vergleich mit dem, was hätte sein können, geformt werden, statt durch absoluten, ausgangsunabhängigen Nutzen.

Methodik: Regret-based Preference Optimization (RePO)

Das Paper führt die Regret-based Preference Optimization (RePO) ein, ein Framework, das das Präferenzlernen durch Regret-Minimierung (Minimierung des Bedauerns) anstatt durch Belohnungsmaximierung neu definiert.

Theoretische Grundlage

Regret als das Zielobjekt: Anstatt unmittelbare Belohnungen zu maximieren, modelliert RePO menschliches Feedback als eine relative Bewertung der Suboptimalität. Regret (Bedauern) wird als die Differenz zwischen dem Wert der optimalen Policy ( $V^{\pi^*}$ ) und dem Q-Wert der Verhaltens-Policy ( $Q^\mu$ ) bei einem gegebenen Kontext definiert.
KL-regularisiertes RL-Framework: Die Autoren formalisieren dies innerhalb eines schrittweisen KL-regularisierten RL-Frameworks. Sie leiten einen geschlossenen Ausdruck für die Q-Funktion im Zusammenhang mit einer Verhaltens-Policy $\mu$ ab.
Zerlegung von Regret: Ein wesentlicher theoretischer Beitrag (Theorem 5.4 und Lemma 5.5) etabliert, dass der durch eine Verhaltens-Policy $\mu$ im Verhältnis zu einer optimalen Policy $\pi^*$ verursachte Regret in zwei Komponenten zerlegt werden kann:
- Ein lokaler Präferenzterm: $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$ , welcher mit dem Standard-DPO-Zielobjektiv übereinstimmt.
- Ein Langzeit-Term (Long-horizon term): Eine sequentielle Vorwärts-KL-Divergenz ( $\bar{D}_{KL}$ ), welche die kumulative Abweichung der Verhaltens-Policy $\mu$ von der optimalen Policy $\pi^*$ entlang zukünftiger Rollouts misst.
Diese Zerlegung zeigt, dass die Minimierung von Regret explizit verhaltensabhängige Abweichungen und die Konsistenz zukünftiger Trajektorien berücksichtigt, wodurch die Probleme der „Likelihood-Mismatch“ adressiert werden, die in Off-Policy-Settings auftreten, in denen DPO On-Policy-Daten annimmt.

Praktische Implementierung

RePO: Der Standardalgorithmus nutzt den abgeleiteten geschlossenen Update-Ausdruck unter Einbeziehung des sequentiellen KL-Divergenz-Terms. Er erfordert die Kenntnis der Verhaltens-Policy $\mu$ , die die Daten generiert hat.
RePO_det: Um Szenarien zu handhaben, in denen die Verhaltens-Policy unbekannt oder der Zugriff darauf rechentechnisch zu aufwendig ist (häufig bei Offline-Datensätzen), schlagen die Autoren RePO_det vor. Diese Variante approximiert die Verhaltens-Policy als deterministische Verteilung (Dirac-Delta), die auf den beobachteten Output konzentriert ist. Sie ersetzt den sequentiellen KL-Term durch einen sampling-basierten Schätzer, der die Log-Wahrscheinlichkeitsverhältnisse über die beobachtete Trajektorie mittelt, wodurch das beobachtete Segment effektiv als eine einzige Rollout behandelt wird.

Zentrale Beiträge

Neukonzeptionierung von menschlichem Feedback: Das Paper argumentiert, dass menschliches Feedback natürlicher als relative Urteile verstanden werden kann, die auf antizipierten Ergebnissen und impliziten Alternativen (Regret) konditioniert sind, anstatt als Signale für die Maximierung von Belohnungen.
Closed-Form Policy Update: Die Autoren formalisieren diese Perspektive innerhalb eines KL-regularisierten RL-Frameworks und leiten ein Closed-Form-Policy-Update (RePO) ab, das mit Direct Preference Optimization kompatibel ist, aber explizit die verhaltensabhängige Abweichung modelliert.
Internalisierung des Induktionsbias: Die theoretische Analyse (Lemma 6.1) legt nahe, dass die Regret-Minimierung strukturell einen Induktionsbias internalisiert, der im menschlichen Feedback vorhanden ist: Unvollständige oder teilweise beobachtete erfolgreiche Trajektorien werden aufgrund der Unsicherheit über den zukünftigen Abschluss pessimistisch bewertet. Dies ermöglicht es RePO, effektiv zu lernen, ohne dass eine explizite Datenausweitung erforderlich ist, um solche Präferenzen zu erzwingen.
Robustheit gegenüber der Verhaltens-Policy: Die Einführung von RePO_det zeigt, dass das Framework auch dann effektiv bleibt, wenn Informationen über die Verhaltens-Policy nicht verfügbar sind, was die Anwendbarkeit auf heterogene Offline-Datensätze ermöglicht.

Experimentelle Ergebnisse

Die Autoren evaluierten RePO auf Benchmarks für mathematisches Reasoning (GSM8K, MATH, MATH500, AMC23, Minerva) sowie auf Aufgaben zur Ausrichtung menschlicher Präferenzen (AlpacaEval 2, Arena-Hard, MT-Bench) unter Verwendung von Qwen3 (1.7B/4B) und LLaMA3 Modellen.

Leistungssteigerungen: RePO übertraf konsistent bestehende Baselines (DPO, IPO, RPO, KTO, TDPO) über verschiedene Modellskalen und Aufgabentypen hinweg. Beispielsweise erreichte das 4B-Modell eine Win-Rate von 55,08 % auf AlpacaEval 2 (gegenüber 32,89 % bei DPO) und 65,54 % auf GSM8K (wobei RePO generell starke Zuwächse in Reasoning-Aufgaben zeigte).
Offline-Anwendbarkeit: RePO_det erreichte eine vergleichbare Leistung wie RePO innerhalb der Qwen-Familie und übertraf Baselines in Cross-Model-Settings (z. B. Training von LLaMA-Modellen auf Daten, die von Qwen-Modellen generiert wurden) signifikant, was die Robustheit des Sampling-basierten Regret-Schätzers unterstreicht.
Sampeleffizienz: In Ablationsstudien mit maskierten Datenausweitungen (bei denen erfolgreiche Trajektorien teilweise verborgen wurden, um die Fähigkeit des Modells zu testen, unvollständige Pfade zu beurteilen) benötigte DPO zusätzliche augmentierte Daten, um die Leistung zu verbessern, während die Leistung von RePO stabil blieb und dominierte. Dies stützt die Behauptung, dass RePO den Induktionsbias des menschlichen Urteils bezüglich unvollständiger Trajektorien strukturell kodiert, was zu einer höheren Sampeleffizienz führt.

Bedeutung und Ansprüche

Das Paper behauptet, dass RePO eine getreue Abstraktion des menschlichen Feedbacks bietet, indem es das Lernziel mit der prospektiven und kontrafaktischen Natur des menschlichen Urteils in Einklang bringt. Durch den Wechsel von der Belohnungsmaximierung zur Regret-Minimierung bietet das Framework eine fundierte Interpretation von Präferenzen über heterogene Trajektorien.

Die Autoren kommen zu dem Schluss, dass die Minimierung von Regret eine vielversprechende Grundlage für das menschliche Alignment im Post-Training von Large Language Models darstellt. Die Ergebnisse legen nahe, dass die korrekte Modellierung der Beziehung zwischen Verhaltens-Policies, zukünftigen Rollouts und kontrafaktischen Alternativen entscheidend für effektives Präferenzlernen ist, insbesondere in Settings, in denen explizite Belohnungssignale fehlen oder Daten aus diversen Quellen stammen. Die Arbeit beansprucht nicht, alle Alignment-Probleme zu lösen, sondern positioniert die Regret-Minimierung als eine notwendige Verfeinerung des aktuellen, belohnungszentrierten Paradigmas im RLHF.