💻 computer science

Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning

Dieses Paper führt die Feedback Manipulation Regularization (FMR) ein, eine algorithmenunabhängige Methode, welche evaluatives Feedback als Korrektursignal nutzt, um die Ausrichtung von Imitationslern-Policies in Offline-Umgebungen mit vollsequenzieller Entscheidungsfindung signifikant zu verbessern und dabei selbst bei spärlichen oder verrauschten Demonstrationsdaten eine Reduktion der Fehlausrichtung um bis zu 98 % zu erreichen.

Ursprüngliche Autoren: Benjamin Poole, Minwoo Lee

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benjamin Poole, Minwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Gehen durch ein Labyrinth oder das Laufen eines Rennens beizubringen. Sie haben zwei Möglichkeiten, ihm dabei zu helfen: Entweder zeigen Sie ihm ein Video eines perfekten Laufs (eine Demonstration), oder Sie rufen „Gut gemacht!“ oder „Nein, stopp!“, während er es versucht (Feedback).

Lange Zeit versuchten Forscher, dies zu kombinieren, indem sie einen komplizierten, mehrstufigen Prozess verwendeten, der für Text hervorragend funktionierte, aber bei realen Bewegungen Schwierigkeiten hatte. Sie dachten: „Wenn wir einfach zwei Pfade vergleichen und sagen: ‚Pfad A ist besser als Pfad B‘, wird der Roboter lernen.“ Die Autoren dieser Arbeit argumentieren jedoch, dass diese „Vergleichsmethode“ so ist, als würde man versuchen, jemandem das Autofahren beizubringen, indem man lediglich fragt: „Ist dieses Auto besser als das andere?“, ohne jemals zu sagen: „Du fährst gleich gegen einen Baum!“ Das ist zu vage. Wenn beide Autos abstürzen, könnte der Roboter einfach dasjenige wählen, das weniger schlimm abstürzt, und das bereits als Sieg werten.

Die große Idee: Der „Temperatur“-Trick
Die Autoren, Benjamin D. Poole und Minwoo Lee, schlagen eine neue Methode namens Feedback Manipulation Regularization (FMR) vor. Denken Sie an FMR als einen magischen Thermostat für das Gehirn des Roboters.

Anstatt nur Pfade zu vergleichen, hört FMR auf Ihre „Gut“ oder „Schlecht“-Rufe und passt sofort die „Temperatur“ des Roboters an.

Wenn Sie „Schlecht!“ (negatives Feedback) über einen bestimmten Zug sagen, erhöht FMR die Temperatur für diesen Zug. Im Gehirn des Roboters bewirkt dies, dass diese Aktion sich „heiß“ anfühlt und unwahrscheinlich ist, erneut zu passieren. Es verteilt die Wahrscheinlichkeit auf andere, sicherere Optionen.
Wenn Sie „Gut!“ (positives Feedback) sagen, kühlt FMR die Temperatur für diesen Zug ab, wodurch er sich „kalt“ anfühlt und sehr wahrscheinlich wieder gewählt wird.

Dies geschieht in einem einzigen Schritt, offline (das heißt, der Roboter lernt aus einem Stapel alter Daten, nicht indem er Dinge in Echtzeit ausprobiert). Es funktioniert mit fast jedem Lernalgorithmus und fungiert wie ein menschlich gesteuerter „Entropie-Regulator“, der den Roboter von schlechten Gewohnheiten weg und hin zu guten lenkt.

Der Beweis: Das Safety Gym
Um dies zu testen, bauten die Autoren einen digitalen Spielplatz namens Safety Gymnasium auf. Sie kreierten zwei Arten von Herausforderungen:

Navigation: Eine rote Kugel muss eine grüne Würfel erreichen. Einige Pfade sind sicher, aber versteckte „Gefahren“ (wie unsichtbare Wwalls oder rutschige Böden) kosten den Roboter Punkte, wenn er sie berührt.
Velocity (Geschwindigkeit): Roboter (wie ein hüpfender Frosch oder eine schwimmende Schlange) müssen sich bewegen, dürfen aber eine bestimmte Geschwindigkeitsgrenze nicht überschreiten. Zu schnell zu bewegen ist eine „Fehlausrichtung“ (Misalignment).

Sie fütterten die Roboter mit einer Mischung aus Daten: einer kleinen Menge perfekter, Experten-Demonstrationen (sagen wir 10 oder 25 Videos) und einer großen Menge unordentlicher, unvollkommener Demonstrationen (50 Videos, in denen der Roboter ziellos umherwandert oder abstürzt).

Was passierte?
Die Ergebnisse waren überraschend stark.

Das Problem der Baseline: Ohne FMR wurden Standard-Lernalgorithmen (wie BC, IQL, DemoDICE und ReCOIL) durch die unordentlichen Daten verwirrt. Wenn die Menge an perfekten Daten schrumpfte, stieg ihre „Fehlausrichtung“ (wie oft sie Hindernisse berührten oder Geschwindigkeitslimits brachen) an.
Der FMR-Sieg: Als die Autoren FMR hinzufügten, wurden die Roboter viel klüger. In den Navigationsaufgaben reduzierte FMR die Fehlausrichtung um bis zu 92 % für den am besten abschneidenden Algorithmus (ReCOIL+FMR) bei der Aufgabe „PathM“ und um 67 % bei der Aufgabe „PathBB“.
Der Geschwindigkeitstest: Bei den Velocity-Aufgaben war FMR noch dramatischer. Bei der Aufgabe „SlowSwim“ reduzierte FMR die Fehlausrichtung um bis zu 98 %. Selbst wenn die unordentlichen Daten weitgehend nutzlos waren, half FMR den Robotern, auf dem richtigen Kurs zu bleiben.

Was FMR NICHT ist
Die Autoren schließen explizit einige andere Ideen aus.

Es sind nicht nur „Belohnungen“: Sie versuchten, das „Gut/Schlecht“-Feedback als einfachen Score (wie einen Spielpunkt) zu behandeln und in ein Standard-Belohnungssystem (genannt DVL) einzuspeisen. Dies funktionierte nicht gut. Die Autoren fanden heraus, dass die Behandlung von Feedback als rohe Belohnung ineffektiv ist, da das Feedback dazu dient, das Verhalten zu korrigieren, und nicht nur Punkte hinzuzufügen.
Es ist nicht nur „Vergleichen“: Sie testeten auch eine Methode namens Contrastive Preference Learning (CPL), die versucht, Präferenzen durch den Vergleich von Pfad-Paaren zu ermitteln. Auch dies konnte die Leistung von FMR nicht erreichen, insbesondere wenn die Daten unordentlich waren. Die Autoren legen nahe, dass das bloße Vergleichen zweier schlechter Pfade dem Roboter nicht genügend klare Richtung gibt, um seine Fehler zu korrigieren.

Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich bei diesen Ergebnissen, da sie die Simulationen 5 Mal mit verschiedenen Zufallssamen (Random Seeds) durchführten und die letzten 10 Evaluationen von 1 Million Trainings-Batches im Durchschnitt bildeten. Sie haben nicht nur geraten; sie haben die „Fehlausrichtung“ (das Verhältnis der Schritte, die Kosten verursachten) und die „Erfolgsrate“ (wie oft der Roboter das Ziel erreichte) gemessen.

Sie testeten auch, wie gut FMR funktioniert, wenn man sehr wenig perfekte Daten hat (ein Verhältnis von 10 zu 50 gut zu schlecht). Selbst in diesen schwierigen „begrenzten Daten“-Regimen hielt FMR stand, während andere Methoden scheiterten.

Der Haken
Das Papier räumt jedoch eine Einschränkung ein: FMR setzt voraus, dass die unordentlichen Daten eine gewisse Verbindung zum richtigen Verhalten haben. Wenn die unordentlichen Daten völlig irrelevant sind (wie ein Roboter, der im Kreis spinnt, während das Ziel darin besteht, vorwärts zu gehen), kann FMR dies nicht magisch reparieren. Die „verrauschten“ Daten müssen mindestens ein paar korrekte Bewegungen enthalten, an denen sich das Feedback festhalten kann.

Kurz gesagt: FMR ist eine clevere Methode, um einfaches „Gut/Schlecht“-Feedback zu nutzen, um die Entscheidungstemperatur eines Roboters anzupassen, was ihm hilft, viel besser aus unordentlichen Daten zu lernen als bisher, ohne komplexe, mehrstufige Trainingspipelines zu benötigen. Es legt nahe, dass manchmal ein einfacher Anstoß besser ist als ein komplizierter Vergleich.

Technisches Resümee: Feedback Manipulation Regularization (FMR)

Problemstellung

Reinforcement Learning (RL) steht vor einer dualen Herausforderung: Aptitude (Lernen, eine Aufgabe zu lösen) und Alignment (Lernen, diese Aufgabe im Einklang mit menschlichen Werten zu lösen). Während menschliche Demonstrationen und Feedback entscheidend für das Alignment sind, verlassen sich bestehende Ansätze überwiegend auf mehrstufige Pipelines, die für das Kontextbanditen-Framing der Sprachgenerierung konzipiert sind (z. B. RLHF). Diese Methoden lassen sich nur schwer auf vollsequenzielle Entscheidungsfindungsumgebungen übertragen.

Darüber hinaus leiden aktuelle Methoden des präferenzbasierten Lernens unter fundamentalen Einschränkungen in sequenziellen Settings:

Relationale Ambiguität: Präferenzen sind relativ („welches ist besser?“) statt absolut („ist dies gut?“). Ein bevorzugtes Verhalten ist nicht zwangsläufig ein ausgerichtetes Verhalten, insbesondere wenn beide Optionen eines Vergleichspaares nicht im Einklang stehen.
Sampling-Limitierungen: Zufällig ausgewählte Vergleichspaare erschweren es, gezielt bestimmte Verhaltensweisen zu adressieren, ohne explizite Kuration.
Datenknappheit: In Offline-Settings mit begrenzten Daten, insbesondere wenn Experten-Demonstrationen spärlich sind und unvollkommene Demonstrationen verrauschte oder nicht ausgerichtete Verhaltensweisen enthalten, versagen bestehende Algorithmen oft bei der Aufrechterhaltung des Alignments.

Das Paper adressiert die Notwendigkeit einer einstufigen, Offline-Methode, die Demonstrationen und evaluatives Feedback effektiv kombiniert, um Policies in vollsequenziellen Umgebungen auszurichten, selbst unter Bedingungen begrenzter Datenmengen.

Methodik: Feedback Manipulation Regularization (FMR)

Die Autoren schlagen die Feedback Manipulation Regularization (FMR) vor, ein algorithmus-agnostisches Framework, das evaluatives Feedback in das Imitationslernen integriert. Im Gegensatz zu Methoden, die Feedback als Belohnungssignal oder Präferenzwert behandeln, nutzt FMR Feedback, um die Wahrscheinlichkeitsverteilung der Policy direkt zu manipulieren.

Kernmechanismus

FMR operiert, indem es menschliches Feedback $h(s, a) \in \{-1, 0, 1\}$ als korrigierendes Signal behandelt, das die gelernte Policy $\pi_\theta$ in Richtung einer latenten, menschlich ausgerichteten Policy $\pi_h$ umgestaltet.

Feedback-adaptive Temperatur:
Die Methode führt einen Temperaturparameter $\tau(s, a)$ ein, der aus dem Feedback abgeleitet wird.
- Negatives Feedback ( $h < 0$ ) impliziert $\tau > 1$ , was die gewählte Aktion abschreckt.
- Positives Feedback ( $h > 0$ ) impliziert $\tau < 1$ für nicht-gewählte Aktionen (was die gewählte Aktion im Verhältnis zu anderen effektiv fördert).
- Kein Feedback ( $h = 0$ ) führt zu $\tau = 1$ und hat somit keine Auswirkung.
  Die Temperatur wird über eine Exponentialabbildung berechnet: $\tau_j = \beta^{-h}$ (für negatives Feedback auf die gewählte Aktion) oder $\beta^h$ (für positives Feedback auf nicht-gewählte Aktionen), wobei $\beta > 1$ .
Policy-Reshaping:
Die menschlich ausgerichtete Policy wird approximiert, indem eine Temperaturskalierung auf die aktuelle Policy im Wahrscheinlichkeitsraum angewendet wird:
$\pi_\tau(a_j | s) := \frac{\pi_\theta(a_j | s) \tau_j^{-1}}{Z_\theta(s)}$
wobei $Z_\theta(s)$ die Normierungskonstante ist. Diese Operation verteilt die Wahrscheinlichkeitsmasse neu, unterdrückt nicht ausgerichtete Verhaltensweisen und fördert ausgerichtete Verhaltensweisen, ohne dass ein explizites Reward-Modellierung erforderlich ist.
Regularisierungs-Ziel:
FMR formuliert Alignment als Verteilungsgleichheitsproblem unter Verwendung der reversen Kullback-Leibler-Divergenz zwischen der gelernten Policy $\pi_\theta$ und der Feedback-temperierten Surrogat-Policy $\pi_\tau$ . Dies ergibt einen Regularisierungsterm:
$R_{FMR}(\theta) := \mathbb{E}_{s \sim D_U} \mathbb{E}_{a \sim \pi_\theta(\cdot|s)} [\log \tau(s, a)]$
Das finale Ziel kombiniert den Standard-Imitationslern-Loss ( $L_{IL}$ ) mit diesem Regularisierer:
$L(\theta) = L_{IL}(\theta) + \alpha R_{FMR}(\theta)$
wobei $\alpha$ die Stärke des Alignments steuert.

Datenhandhabung

Die Methode ist für das Learning from Noisy Demonstrations (LfND) konzipiert und verarbeitet Datensätze $D_U = D_E \cup D_I$ , wobei $D_E$ aus ausgerichteten Experten-Daten besteht und $D_I$ unvollkommene (verrauschte) Daten enthält. FMR nutzt evaluatives Feedback, um nicht ausgerichtete Teil-Trajektorien innerhalb von $D_I$ zu identifizieren und zu unterdrücken.

Wichtigste Beiträge

Algorithmus-agnostisches Framework: FMR kann als Regularisierungsterm auf jeden Imitationslern-Algorithmus (z. B. Behavioral Cloning, IQL, DemoDICE, ReCOIL) angewendet werden.
Einstufiges Offline-Training: Im Gegensatz zu mehrstufigen RLHF-Pipelines operiert FMR in einem einzigen Schritt, was es für vollsequenzielle Entscheidungsfindungsumgebungen geeignet macht, in denen der Zugriff auf die Umgebung eingeschränkt ist.
Robustheit bei begrenzten Daten: Die Methode zeigt Robustheit selbst dann, wenn das Verhältnis von Experten- zu unvollkommenen Daten gering ist (z. B. 1:50) und wenn die unvollkommenen Daten kaum hilfreiches Verhalten enthalten.
Prinzipienbasierte Evaluierung: Die Autoren passen die Safety Gymnasium-Umgebungen an, um als Testfeld zu dienen, wobei sie Kosten-Signale verwenden, um ein prinzipielles Maß für Misalignment zu liefern, das sich vom Gesamtertrag unterscheidet.

Experimentelle Ergebnisse

Die Autoren evaluierten FMR über 3D-Navigations- und geschwindigkeitsbeschränkte Lokomotionsaufgaben (Hopper, Swimmer, Walker2D) unter Verwendung verschiedener Imitationslern-Baselines.

Verbesserung des Alignments: FMR reduzierte das Misalignment konsistent über alle getesteten Algorithmen hinweg. In der PathM-Navigationsaufgabe erreichte FMR eine Reduktion des Misalignments um bis zu 92 % für ReCOIL. In Geschwindigkeitsaufgaben wurden Reduktionen von bis zu 98 % beobachtet.
Erhalt der Aptitude: Entscheidend ist, dass die Reduktion des Misalignments nicht zu Lasten der Aufgabenleistung (Aptitude) ging. FMR hielt die Erfolgsraten und die normalisierten Erträge im Vergleich zu den Baselines aufrecht oder verbesserte sie sogar.
Vergleich mit Alternativen:
- vs. DVL (Dual Value Learning): DVL, das Feedback anstelle von Belohnung einsetzt, schnitt schlecht ab, was bestätigt, dass die naive Interpretation von Feedback als Belohnungssignal ineffektiv ist.
- vs. CPL (Contrastive Preference Learning): CPL, das Feedback für paarweise Bewertungen nutzt, verschlechterte sich signifikant, wenn die Datenverhältnisse abnahmen, während FMR stabil blieb.
Daten-Überlappung: FMR performte am besten, wenn unvollkommene Demonstrationen einige relevante Teil-Trajektorien enthielten (hoher Überlapp). Dennoch lieferte es signifikante Verbesserungen in Szenarien mit geringem Überlapp, in denen Baselines vollständig versagten.
Effizienz des Feedbacks: Experimente zeigten, dass FMR effektiv aus negativem Feedback allein lernt, welches den primären Treiber für die Korrektur von Abweichungen darstellt.

Bedeutung und Behauptungen

Das Paper behauptet, dass FMR einen bedeutenden Schritt vorwärts im Offline-Agent-Alignment darstellt, indem es:

Modalitäten überbrückt: Es integriert evaluatives Feedback und Demonstrationen erfolgreich als miteinander verknüpftes Signal für die sequenzielle Entscheidungsfindung und geht damit über die Limitationen präferenzbasierter relativer Urteile hinaus.
Den „Alignment-Aptitude“-Trade-off adressiert: Es demonstriert, dass es möglich ist, das Misalignment drastisch zu reduzieren (um bis zu 98 %), ohne die Fähigkeit des Agenten zu beeinträchtigen, die Aufgabe zu lösen.
Datenknappheit bewältigt: Es bietet eine praktikable Lösung für Szenarien, in denen qualitativ hochwertige ausgerichtete Daten knapp und verrauschte Daten reichlich vorhanden sind – eine häufige reale Einschränkung.
Modularität bietet: Es bietet einen Plug-and-Play-Regularisierungsterm, der bestehende Imitationslern-Algorithmen verbessert, ohne architektonische Änderungen oder mehrstufige Trainings-Pipelines zu erfordern.

Die Autoren kommen zu dem Schluss, dass FMR die Informationsdichte des Feedbacks effektiv nutzt, um die Policy-Entropie zu modulieren, unerwünschte Aktionen abzuschrecken und bevorzugte Verhaltensweisen zu verstärken, wodurch ein robusteres und besser ausgerichtetes Offline-Lernen ermöglicht wird.