🤖 AI

Reward Learning through Ranking Mean Squared Error

Dieses Paper führt Ranked Return Regression for RL (R4) ein, eine neuartige Methode zum Erlernen von Belohnungen, die einen Ranking Mean Squared Error Loss nutzt, um Belohnungsfunktionen aus menschlichen Trajektorienbewertungen abzuleiten, wobei es formale Garantien für Minimalität und Vollständigkeit bietet und bestehende präferenzbasierte Ansätze in robotischen Benchmarks empirisch übertrifft.

Ursprüngliche Autoren: Chaitanya Kharyal, Calarina Muslimani, Matthew E. Taylor

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chaitanya Kharyal, Calarina Muslimani, Matthew E. Taylor

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, zu gehen, zu rennen oder eine Tasse aufzuheben. In der Welt der Künstlichen Intelligenz (speziell des Reinforcement Learning) lernt der Roboter durch Ausprobieren und das Sammeln von Punkten (Belohnungen) für gute Leistungen. Aber hier ist der Haken: Das Design des perfekten Punktesystems ist unglaublich schwierig.

Wenn Sie dem Roboter sagen: „Hol Punkte für die Vorwärtsbewegung“, könnte er einen Weg finden, mit den Beinen auf dem Boden zu wackeln, um Punkte zu sammeln, ohne tatsächlich zu gehen. Dies wird als „Reward Misspecification“ (Fehlspezifikation der Belohnung) bezeichnet, und es ist so, als würde man einem Schüler einen Test geben, bei dem er die Antwort durch Auswendiglernen des Lösungsschlüssels erschleichen kann, an anstatt das Fach wirklich zu lernen.

Der alte Weg: „Besser oder schlechter?“

Um dies zu beheben, begannen Forscher, die Hilfe von Menschen in Anspruch zu nehmen. Anstatt Code zu schreiben, beobachteten Menschen den Roboter und sagten: „Dieser Gang war besser als jener.“ Dies wird als Preference-Based Learning (präferenzbasiertes Lernen) bezeichnet.

Denken Sie an einen Blindverkostungstest. Sie geben einem Richter zwei Tassen Kaffee und fragen: „Welche ist besser?“ Der Richter wählt eine aus.

Das Problem: Dies liefert Ihnen nur eine winzige Information (ein „Ja“ oder „Nein“). Es sagt Ihnen nicht, wie viel besser der Kaffee war. Außerdem, wenn beide Tassen schrecklich sind, kann der Richter nur sagen: „Sie sind gleichermaßen schlecht“, aber er kann nicht ausdrücken, dass beide absolut furchtbar sind. Es ist viel Arbeit für den Menschen, ständig Dinge zu vergleichen, und es erfasst nicht das vollständige Bild.

Der neue Weg: „Bewerte den Kaffee“

Eine neuere Idee ist das Rating-Based Learning (bewertungsbasiertes Lernen). Anstatt zwei Dinge zu vergleichen, zeigen Sie dem Menschen einfach eine Sache und bitten ihn, ihr eine Punktzahl zu geben, wie zum Beispiel 1 bis 5 Sterne.

Der Vorteil: Dies ist für Menschen einfacher (geringerer mentaler Aufwand) und liefert reichhaltigere Informationen. Eine 1-Sterne-Bewertung sagt Ihnen, dass der Kaffee schrecklich ist, während eine 5-Sterne-Bewertung zeigt, dass er großartig ist. Es erfasst die absolute Qualität, nicht nur die relative.

Erleben Sie R4: Der „Ranking-Score“-Coach

Das Paper stellt eine neue Methode namens R4 (Ranked Return Regression for RL) vor. Betrachten Sie R4 als einen klugen Coach, der ein spezielles Bewertungssystem nutzt, um aus diesen Sterne-Bewertungen zu lernen.

So funktioniert R4, anhand einer einfachen Analogie:

Das Setup: Stellen Sie sich einen Stapel Roboter-Gänge vor. Ein Mensch hat sie bewertet: „Schlecht“, „Okay“ und „Gut“.
Die alte Methode (RbRL): Frühere Methoden versuchten, den internen Score des Roboters exakt auf die Mitte des „Gut“-Eimers zu zwingen. Es war so, als würde man sagen: „Wenn du als 'Gut' bewertet wirst, muss dein Score exakt 75 sein.“ Dies ignorierte die Tatsache, dass manche „Gute“ Gänge gerade eben noch gut waren, während andere fantastisch waren. Es zwang alle „Guten“ Gänge dazu, gleich auszusehen.
Die R4-Methode: R4 verwendet einen cleveren Trick namens Ranking Mean Squared Error (rMSE).
- Anstatt Scores zu erzwingen, einen bestimmten Wert zu treffen, fragt R4: „Wenn ich einen 'Schlechten' Gang, einen 'Okay'-Gang und einen 'Guten' Gang nehme, kannst du sie in der richtigen Reihenfolge ranken?“
- Es verwendet ein spezielles mathematisches Werkzeug (einen „Soft Sorter“), der von einem Computer angepasst werden kann. Es betrachtet die vorhergesagten Scores des Roboters für diese drei Gänge und fragt: „Hast du den 'Guten' höher gerankt als den 'Schlechten'?“
- Wenn der Roboter die Reihenfolge falsch eingeordnet hat, gibt das System dem Gehirn des Roboters einen sanften Anstoß, um das Ranking zu korrigieren.

Warum ist das besser?

Keine willkürlichen Linien: Sie müssen nicht entscheiden, wo genau „Okay“ endet und „Gut“ beginnt. Sie sagen einfach: „Dies ist besser als das.“
Bewahrt Vielfalt: Es erlaubt einem „Guten“ Gang, eine 90 oder eine 95 zu sein. Es zwingt sie nicht alle dazu, exakt 85 zu sein. Dies bewahrt die natürlichen Unterschiede zwischen guten Leistungen.
Flexibel: Wenn ein Mensch eine neue Kategorie wie „Super Gut“ hinzufügen möchte, kann das System dies handhaben, ohne zu brechen.

Der Beweis: Theorie und Realität

Die Autoren haben nicht nur vermutet, dass dies funktionieren würde; sie haben es mathematisch bewiesen.

Die Garantie: Sie zeigten, dass, wenn die Bewertungen des Menschen Sinn ergeben (d. h. ein „Guter“ Gang ist wirklich besser als ein „Schlechter“), R4 garantiert das bestmögliche Belohnungssystem findet, das zu diesen Bewertungen passt. Es ist der effizienteste Weg, das Rätsel zu lösen, ohne gültige Lösungen auszuschließen.

Die Experimente: Roboter und Menschen

Das Team testete R4 auf zwei Arten:

Simulierte Menschen: Sie verwendeten Computerprogramme, die vorgaben, Menschen zu sein, die Roboter-Gänge bewerten. R4 lehrte Roboter konsistent, sich besser und schneller zu bewegen als die alten Methoden.
Echte Menschen: Sie engagierten 8 echte Menschen, die Roboter-Gänge auf einem Bildschirm bewerteten.
- Das Ergebnis: Obwohl die Menschen sehr unterschiedlich waren (einige nutzten 4 Sterne, andere 12; einige waren streng, andere nachsichtig), lehrte R4 die Roboter immer noch besser zu agieren als die alten Methoden.
- Das Gefühl: Die Menschen berichteten, dass das Bewerten der Roboter sehr einfach war und sich nicht nach harter Arbeit anfühlte (geringe kognitive Last).

Das Fazzeit

Das Paper argumentiert, dass R4 eine intelligentere, flexiblere und mathematisch bewiesene Methode ist, um Roboter mithilfe von menschlichen Bewertungen zu lehren. Anstatt Menschen dazu zu zwingen, „dies ist besser als das“ zu spielen, lassen wir sie einfache Bewertungen abgeben, und R4 nutzt einen speziellen Ranking-Trick, um diese Bewertungen in einen perfekten Lehrer für den Roboter zu verwandeln. Es funktioniert besser als bisherige Methoden, kommt gut mit menschlichen Eigenheiten zurecht und ist für Menschen leicht zu nutzen.

Technisches Resümee: Reward Learning durch Ranking Mean Squared Error (R4)

Problemstellung
Die Anwendung von Reinforcement Learning (RL) auf reale Probleme wird häufig durch die Schwierigkeit des Reward-Designs (Belohnungsdesign) gebremst. Manuelles Reward-Engineering ist oft ein fehleranfälliger Prozess durch Versuch und Irrtum, der zu einer Fehlspezifikation der Belohnung führen kann, wobei Agenten unbeabsichtigte Verhaltensweisen erlernen. Während Reward Learning (das Ableiten von Belohnungen aus menschlichem Feedback) eine Alternative bietet, weisen bestehende Methoden Einschränkungen auf. Preference-based RL (PbRL), das auf binären Vergleichen basiert, ist sampeleffizient ungenügend und liefert nur relative Informationen ohne Bewertung der absoluten Qualität. Im Gegensatz dazu ermöglichen neuere Rating-basierte RL-Ansätze (RbRL) den Menschen, diskrete, multiklassenbasierte Bewertungen (z. B. „schlecht“, „neutral“, „gut“) vorzunehmen, was reichhaltigeres Feedback bietet. Bestehende RbRL-Methoden, wie etwa solche, die Cross-Entropy-Verlustfunktionen verwenden, legen jedoch starre Beschränkungen für die Reward-Modellierung fest, wie etwa die Anforderung expliziter Klassengrenzen und die Erzwingung, dass Trajektorien innerhalb derselben Bewertungsklasse identische vorhergesagte Erträge haben müssen, wodurch die Intra-Klassen-Diversität ignoriert wird.

Methodik: Ranked Return Regression for RL (R4)
Die Autoren schlagen R4 vor, einen neuartigen Rating-basierten RL-Algorithmus, der Belohnungsfunktionen aus Trajektorie-Bewertungs-Paaren unter Verwendung eines Ranking Mean Squared Error (rMSE) Verlusts lernt.

Kernmechanismus: R4 behandelt vom Menschen bereitgestellte diskrete Bewertungen als ordinale Ziele. Während des Trainings sampelt der Algorithmus eine Trajektorie aus jeder Bewertungsklasse. Er berechnet die vorhergesagten diskontierten Erträge für diese Trajektorien unter dem aktuellen Belohnungsmodell ( $\hat{r}_\theta$ ).
Differenzierbares Ranking: Anstatt Bewertungen als unabhängige Klassifikationslabels zu behandeln, verwendet R4 einen differenzierbaren Sortieroperator (speziell Soft-Ranks nach Blondel et al., 2020), um die vorhergesagten Erträge zu ranken. Dies erzeugt einen Vektor von Soft-Ranks ( $\hat{R}$ ), der den gesampelten Trajektorien entspricht.
Verlustfunktion: Das Ziel ist die Minimierung des Mean Squared Error zwischen den Soft-Ranks der vorhergesagten Erträge und den vom Menschen bereitgestellten Bewertungsklassen ( $c$ ):
$L_{rMSE} = \frac{1}{n} \sum_{i=0}^{n-1} (\hat{R}(\tau_i) - c(\tau_i))^2$
Dieser Ansatz ermöglicht es, dass Gradienten durch die Ranking-Operation propagiert werden, wodurch das Belohnungsmodell angepasst werden kann, sodass die relative Ordnung der vorhergesagten Erträge mit den ordinalen menschlichen Bewertungen übereinstimmt.

Wesentliche Beiträge

Algorithmische Innovation: Die Einführung von R4, das einen neuartigen rMSE-Verlust verwendet, um Belohnungsfunktionen aus ordinalen Bewertungen zu trainieren, ohne dass explizit definierte Klassengrenzen erforderlich sind.
Theoretische Garantien: Die Autoren stellen unter milden Annahmen (deterministische menschliche Belohnung, Hypothesenklassen-Abdeckung und differenzierbares Ranking, das harte Ranks approximiert) fest, dass die Lösungsmenge des rMSE-Ziels sowohl minimal als auch vollständig ist. Das bedeutet, dass die Menge der Belohnungsfunktionen, die den rMSE-Verlust erfüllen, äquivalent zur Menge der Belohnungsfunktionen ist, die die durch den Menschen auferlegten ordinalen Beschränkungen perfekt erfüllen. Im Gegensatz dazu beweisen die Autoren, dass die wahre Belohnungsfunktion des Menschen nicht garantiert in der Lösungsmenge früherer RbRL-Zielsetzungen enthalten ist.
Empirische Validierung: R4 wird sowohl in Offline- als auch in Online-Settings mittels simulierter Bewertungen und einer Human-User-Studie validiert. Es übertrifft konsistent bestehende rating-basierte (RbRL) und preference-basierte (PEBBLE, SURF, QPA) Methoden in robotischen Benchmarks (OpenAI Gym und DeepMind Control Suite).
Human Study: Eine ethisch geprüfte Studie mit 8 Teilnehmern zeigte, dass R4 trotz erheblicher inter-partizipatorischer Variabilität im Bewertungsverhalten besser abschneidet als RbRL. Die Teilnehmer berichteten von einer geringen kognitiven Arbeitsbelastung (mittlerer NASA TLX-Score von 2,05/7), was die Machbarkeit von Rating-basiertem Feedback unterstützt.

Ergebnisse

Offline-Setting: In OpenAI Gym Domänen (Reacher, Inverted Double Pendulum, Half Cheetah) führten mit R4 trainierte Belohnungsfunktionen bei der Verwendung zur Ausbildung eines Soft Actor-Critic (SAC) Agenten zu statistisch schnellerem Lernen und höheren finalen Erträgen im Vergleich zu RbRL.
Online-Setting: In sechs DeepMind Control Suite Umgebungen lernten mit R4 trainierte Agenten in drei Umgebungen signifikant schneller als alle Baselines und erzielten in vier Umgebungen höhere finale Erträge.
Menschliches Feedback: In der Nutzerstudie erreichte R4 in den Aufgaben Reacher und Hopper signifikant schnelleres Lernen und höhere Erträge als RbRL, selbst wenn die Teilnehmer eine variierende Anzahl an Bewertungsklassen verwendeten und Klassen-Imbalancen aufwiesen.
Ablation: Die Studie bestätigte, dass R4 über verschiedene Zahlen von Bewertungs-Bins hinweg stabil bleibt, während die Leistung von RbRL abnimmt, wenn die Anzahl der Bins vom optimalen Bereich abweicht.

Bedeutung
Das Paper behauptet, dass R4 einen bedeutenden Schritt vorwärts im Reward Learning darstellt, indem es eine Methode bereitstellt, die sowohl theoretisch fundiert als auch praktisch effektiv ist. Durch die Nutzung der ordinalen Natur menschlicher Bewertungen mittels eines ranking-basierten Verlusts vermeidet R4 die restriktiven Annahmen früherer rating-basierter Methoden (wie feste Grenzen und Intra-Klassen-Homogenität). Der theoretische Beweis der Minimalität und Vollständigkeit bietet eine rigorose Rechtfertigung für das Design des Algorithmus, während die empirischen Ergebnisse, einschließlich der Human-Studie, dessen Robustheit gegenüber der Variabilität realweltlichen Feedbacks und seine Fähigkeit zur Reduzierung der kognitiven Belastung für menschliche Rater im Vergleich zu preference-basierten Alternativen demonstrieren.