🤖 machine learning

RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences

Das Paper schlägt RENEW vor, ein Framework, das menschliche Präferenzen über imaginierte Rollouts nutzt, um Modellausbeutung in Offline-Reinforcement-Learning-Weltmodellen direkt zu reparieren, indem es epistemische Unsicherheit zur Steuerung eines effizienten Fine-Tunings verwendet, wodurch die Stichproben-Effizienz und Generalisierung verbessert werden, ohne dass zusätzliche Experten-Demonstrationen erforderlich sind.

Ursprüngliche Autoren: Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

Veröffentlicht 2026-07-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen, aber Sie dürfen die echte Spielkonsole nicht berühren. Stattdessen geben Sie ihm einen Stapel alter Videoaufzeichnungen und bitten ihn, eine „Traummaschine“ zu bauen – eine mentale Simulation dessen, wie das Spiel funktioniert. Dies ist die Welt des Offline-Reinforcement-Learnings, bei dem eine KI ausschließlich aus einem festen Datensatz lernt, ohne jemals mit der realen Welt zu interagieren. Das Ziel ist es, ein Weltmodell zu bauen, eine Art inneres Kristallkugel, das vorhersagt, was als Nächstes passieren wird, wenn der Roboter eine bestimmte Aktion ausführt.

Doch es gibt einen gefährlichen Fehler in dieser Traummaschine. Da der Roboter nur aus einer begrenzten Menge alter Aufnahmen gelernt hat, hat seine Kristallkugel blinde Flecken. Wenn der Roboter versucht, einen Zug zu planen, der durch einen „blinden Fleck“ führt, könnte das Modell eine Halluzination eines Abkürzungs pflegen – wie eine Wand, die eigentlich nicht da ist, oder ein Boden, der sich in ein Trampolin verwandelt. Der Roboter, ein cleverer Optimierer, wird diesen künstlichen Shortcut entdecken und ihn ausnutzen, um im Spiel zu gewinnen, nur um in der Realität abzustürzen. Dies nennt man Modell-Exploitation (Modellausbeutung). Traditionell versuchen Wissenschaftler dies zu beheben, indem sie entweder mehr Echtzeit-Daten sammeln (was teuer und langsam ist) oder indem sie den Roboter anweisen, vor allem Angst zu haben, was er jedoch zu zaghaft beim Lernen macht.

Dieses Paper stellt einen cleveren neuen Weg vor, um die Traummaschine des Roboters zu flicken, ohne weitere Videoaufnahmen aus der realen Welt zu benötigen. Die Autoren Logan Bhamidipaty, Mykel Kochenderfer und Subramanian Ramamoorthy schlagen vor, dass wir die menschliche Intuition als Reparaturwerkzeug nutzen können. Sie erkannten, dass es zwar ein PhD erfordert, um den besten Weg zu kennen, ein Spiel zu spielen, aber fast jeder erkennen kann, wenn die Physik kaputt ist. Wenn ein Roboter in einer Simulation durch eine feste Wand geht oder ein Auto schweben lässt, kann ein Mensch sofort sagen: „Das ist fake!“ Das Paper schlägt vor, diese einfachen „echt vs. fake“-Urteile zu nutzen, um den Weltmodell des Roboters zu lehren, wie er Halluzinationen vermeidet.

Das „Dream Repair“-Projekt

Die Forscher nennen ihren neuen Rahmen RENEW (Repairing ExploitatioN with Elicited World-model preferences). So funktioniert es, Schritt für Schritt, unter Verwendung einer einfachen Analogie:

Stellen Sie sich vor, das Weltmodell des Roboters ist ein Schüler, der versucht, die Regeln eines Brettspiels zu lernen, indem er einige Seiten eines Regelbuchs liest. Der Schüler ist selbstbewusst, aber an einigen Stellen falsch.

Der alte Weg (Naives DLHF): Man könnte einen Menschen bitten, sich zwei verschiedene Spielzüge anzusehen, die sich der Schüler vorgestellt hat, und fragen: „Welcher sieht realistischer aus?“ Wenn man dies zufällig abfragt, verbringt der Mensch Stunden damit, Züge zu korrigieren, die der Schüler bereits richtig verstanden hat, während er die verrückten, unmöglichen Züge übersieht, bei denen der Schüler am meisten verwirrt ist. Dies nennt man naives Dynamics Learning from Human Feedback (DLHF). Das Paper zeigt, dass dies zwar funktioniert, aber unglaublich ineffizient ist. Um die gleiche Genauigkeit wie nur 1.000 echte Beispiele zu erreichen, benötigte die naive Methode 1 Million menschliche Präferenz-Labels. Das ist so, als würde man einen Menschen bitten, eine Million Aufsätze zu bewerten, nur um ein paar Tippfehler zu korrigieren.
Der RENEW-Weg: Anstatt zufällig zu fragen, agiert RENEW wie ein kluger Tutor. Es prüft zuerst den „Unsicherheitsmesser“ des Schülers. Es fragt: „Wo ist der Schüler am meisten verwirrt?“ Dann bittet es den Menschen, die Züge genau in diesen spezifischen, verwirrenden Bereichen zu vergleichen. Es lenkt die Aufmerksamkeit des Menschen exakt dorthin, wo der Roboter am wahrscheinlichsten einen gefährlichen Fehler machen wird.

Was sie herausgefunden haben

Das Team testete diese Idee in mehreren digitalen Umgebungen, darunter ein Labyrinth, ein Schieberätsel (wie das 15-Puzzle) und ein Kisten-Schiebespiel namens Sokoban. Sie nutzten ein Computerprogramm, um als „perfekter Mensch“ zu fungieren, um die Präferenz-Labels zu generieren, was simulierte, was passieren würde, wenn echte Menschen die Urteile fällen würden.

Hier sind die wichtigsten Erkenntnisse aus ihren Experimenten:

Präferenzen können Physik direkt lehren: Sie bewiesen, dass man ein Weltmodell die Regeln der Physik lehren kann, indem man lediglich fragt: „Welcher dieser beiden Pfade sieht real aus?“ Man muss dem Roboter nicht die richtige Antwort zeigen oder ihm das Ziel erklären. Nur das „echt vs. fake“-Signal reicht aus, um das Modell zu reparieren.
Intelligentes Targeting spart Zeit: Als sie die „zufällige“ Methode (naives DLHF) mit der „smart gezielten“ Methode (RENEW) verglichen, waren die Ergebnisse eindeutig. Bei einem 3x3 Schieberätsel senkte RENEW die Fehlerrate im Vergleich zur Zufallsmethode um die Hälfte, und das bei exakt gleicher Anzahl an menschlichen Labels.
Das „Amnesie“-Problem beheben: Eine überraschende Entdeckung war, dass die Zufallsmethode manchmal die Dinge verschlimmerte. Im Sokoban-Spiel verursachte der naive Ansatz tatsächlich, dass der Roboter „vergaß“, wie man Kisten korrekt bewegt – ein Problem, das als katastrophales Vergessen (catastrophic forgetting) bekannt ist. RENEW vermied dies vollständig, da es nur die Teile des Modells anpasste, die tatsächlich defekt waren, und die korrekten Teile unberührt ließ.
Reale Potenzial: In einer Labyrinth-Umgebung fanden sie heraus, dass RENEW mit nur 1.600 Präferenz-Labels ein vortrainiertes Modell, das zu Exploitation neigte, signifikant verbessern konnte und die Fehlerrate erheblich senkte. Die naive Methode hinterließ selbst mit demselben Budget viele Fehler und Unsicherheiten.

Das Fazit

Das Paper legt nahe, dass wir keine Experten sein müssen, um KI-Modelle zu reparieren; wir müssen nur gut darin sein, Unsinn zu erkennen. Indem wir Menschen bitten, einfach darauf hinzuweisen, wenn die Vorstellung eines Roboters gegen die Gesetze der Physik verstößt, können wir die „Traummaschine“ des Roboters effizient reparieren.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies noch eine frühe Forschungsphase ist. Ihre Experimente verwendeten computergenerierte „perfekte“ Labels und kleine, einfache Grid-World-Spiele. Sie haben dies noch nicht mit echten, ermüdeten Menschen getestet, die Fehler machen könnten, oder in komplexen, hochdimensionalen Welten wie dem Fahren eines echten Autos. Aber die Ergebnisse deuten auf einen vielversprechenden neuen Weg hin: Anstatt Roboter zu zwingen, Angst vor dem Unbekannten zu haben, können wir unseren eigenen gesunden Menschenverstand nutzen, um sie sanft zurück in die Realität zu führen, was sie sicherer und zuverlässiger macht, ohne endlose Mengen an teuren Daten zu benötigen.

Technisches Resümee: RENEW: Hin zu dem Erlernen von Weltmodellen und der Reparatur von Modell-Exploitation aus Präferenzen

Problemstellung

Modellbasiertes Reinforcement Learning (RL) stützt sich auf gelernte Weltmodelle (Dynamikmodelle), um die Stichproben-Effizienz durch das Generieren synthetischer Erfahrung zu verbessern. In Offline-Szenarien, in denen Agenten aus festen Datensätzen lernen, leiden diese Modelle jedoch unter Modell-Exploitation (Modellausbeutung). Wenn eine Policy gegen ein unvollkommenes Weltmodell optimiert wird, kann sie inkorrekte Übergänge ausnutzen (z. B. durch Wände teleportieren), um künstlich hohe Erträge zu erzielen, die sich nicht auf die reale Umgebung übertragen lassen.

Bestehende Lösungen fallen typischerweise in zwei Kategorien, die beide erhebliche Einschränkungen aufweisen:

Mehr Daten sammeln: Das Sammeln zusätzlicher Expertendemonstrationen in Regionen des Modellversagens ist oft teuer, unsicher oder unmöglich (z. B. seltene Fehlermodi in der Robotik oder beim autonomen Fahren).
Konservative Algorithmen: Die Bestrafung von Besuchen in unsicheren Zuständen oder die Beschränkung von Policies auf die Verhaltensverteilung tauscht Exploration und Generalisierung gegen Robustheit ein, was den Nutzen modellbasierter Methoden einschränkt.

Die Autoren stellen eine neue Frage: Können wir ein Weltmodell der Dynamik korrigieren, ohne mehr Demonstrationen zu sammeln? Sie beobachten, dass das Demonstrieren korrekten Verhaltens zwar Domänenexpertise erfordert, das Identifizieren inkorrekter Dynamiken (Verletzungen intuitiver Physik wie Festigkeit oder Objektpermanenz) für Menschen jedoch oft trivial ist.

Methodik

Das Paper führt zwei Kernkomponenten ein: ein neues Lernframework und einen Algorithmus zur Optimierung desselben.

1. Dynamics Learning from Human Feedback (DLHF)

Die Autoren formalisieren DLHF, ein Framework, das das Belohnungsmodell in Standard-Reinforcement Learning from Human Feedback (RLHF) durch ein Dynamikmodell ersetzt.

Kernidee: Anstatt Menschen zu bitten, Trajektorien basierend auf dem Erfolg einer Aufgabe zu vergleichen (was die Exploitation verstärken könnte, z. B. die Bevorzugung einer Trajektorie, die durch eine Wand teleportiert, weil sie schneller ist), werden Menschen gebeten, Trajektoriensegmente basierend auf der physikalischen Plausibilität zu vergleichen.
Formalisierung:
- Sei $\hat{T}_\theta$ das gelernte Dynamikmodell.
- Die Log-Likelihood eines Trajektoriensegments $\sigma$ unter dem Modell ist definiert als $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$ .
- In dem Bradley-Terry-Präferenzmodell wird die Wahrscheinlichkeit, dass Segment $\sigma_0$ gegenüber $\sigma_1$ bevorzugt wird, als folgt modelliert:
  $P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$
- Die Modellparameter $\theta$ werden aktualisiert, indem der Cross-Entropy-Loss gegen menschliche Präferenzlabels minimiert wird. Dies ermöglicht es dem Dynamikmodell, direkt durch binäre Präferenzen unter Supervision zu lernen, ohne dass Belohnungs-Labels, Expertendemonstrationen oder Interaktionen mit der Umgebung erforderlich sind.

2. RENEW (Repairing ExploitatioN with Elicited World-model preferences)

Die Autoren stellen fest, dass naives DLHF stichproben-ineffizient ist, da das uniforme Sampling von Trajektorienpaaren das Budget für Übergänge verschwendet, die das Modell bereits gut vorhersagt. RENEW adresset dies durch die Nutzung von epistemischer Unsicherheit, um Präferenzabfragen zu steuern.

Aktives Abfragen (Active Querying): RENEW identifiziert Zustands-Aktions-Paare, bei denen das Modell eine hohe epistemische Unsicherheit aufweist (z. B. durch Ensemble-Disagreement).
Gezieltes Sampling: Es generiert Trajektoriensegment-Paare, die in diesen Regionen mit hoher Unsicherheit starten.
Iterative Feinabstimmung: Der Prozess iteriert:
1. Berechne die epistemische Unsicherheit $u$ unter dem aktuellen Modell.
2. Sample Segmentpaare proportional zu $u$ .
3. Erfrage menschliche (oder Oracle-) Präferenzen für diese Paare.
4. Finetune das Modell unter Verwendung des DLHF-Loss.
5. Berechne die Unsicherheit neu und wiederhole den Vorgang.
Ziel: Dies konzentriert das Präferenzbudget auf die spezifischen Regionen, in denen das Modell am anfälligsten für Exploitation ist, was die Stichproben-Effizienz verbessert und das katastrophale Vergessen zuvor gelernter korrekter Dynamiken verhindert.

Wichtigste Beiträge

DLHF-Framework: Ein neuartiges Framework zum direkten Lernen von Übergangsdynamiken aus menschlichen Präferenzen, welches das Aufsichtssignal von der Aufgaben-Erfolg (Belohnung) zur physikalischen Realität (Dynamik) verschiebt.
RENEW-Algorithmus: Ein aktiver Lernalgorithmus, der epistemische Unsicherheit nutzt, um das präferenzbasierte Lernen der Dynamik stichproben-effizient zu gestalten und gezielt Regionen anzusprechen, die anfällig für Modell-Exploitation sind.
Empirische Validierung: Demonstration, dass binäre Präferenzen Weltmodelle von Grund auf lernen und vortrainierte Modelle ohne zusätzliche Demonstrationen oder Interaktion mit der Umgebung reparieren können.

Experimentelle Ergebnisse

Die Autoren evaluierten ihren Ansatz in Jumanji (diskrete Grid-Welten wie Maze, Sliding Tile, Sokoban) und Classic Control (MountainCar, Acrobot) Umgebungen.

Machbarkeit von DLHF: Naives DLHF kann einfache Weltmodelle von Grund auf allein durch Präferenzen lernen, benötigt jedoch ein massives Budget (ca. 1 Mio. Präferenz-Labels), um die Leistung von 1k überwachten Übergängen zu erreichen.
Stichproben-Effizienz von RENEW:
- Unter identischen Präferenzbudgets übertrifft RENEW naives DLHF signifikant. Beispielsweise halbierte RENEW im Fall der Sliding Tile 3x3 Umgebung den finalen Fehler im Vergleich zum uniformen Sampling etwa.
- Katastrophales Vergessen: Im Sokoban-Environment verschlechterte naives DLHF die Leistung eines vortrainierten Modells, während RENEW es verbesserte. Dies deutet darauf hin, dass aktives Abfragen verhindert, dass korrekte Dynamiken durch Updates aus ungenauen imaginären Übergängen überschrieben werden.
Reparatur von Exploitation: In Finetuning-Experimenten in Maze-Umgebungen (5x5 bis 20x20) mit einem festen Budget von 1.600 Labels reduzierte RENEW sowohl den Vorhersagefehler als auch die epistemische Unsicherheit effektiver als naives Finetuning. Es erreichte eine höhere Übergangsgenauigkeit (z. B. 97,2 % vs. 93,2 % auf 10x10 Maze) und engere Konfidenzintervalle.
Kontinuierliche Steuerung: Obwohl das Lernen kontinuierlicher Dynamiken aus Präferenzen schwieriger ist (aufgrund weniger distinkter Präferenzsignale), erreichte DLHF eine nahezu paritätische Leistung mit überwachten Baselines in MountainCar und Acrobot. RENEW zeigte Vorteile in der Stichproben-Effizienz, wenn die Gradientenschritte begrenzt waren (z. B. bei $K=8$ Kandidaten).

Bedeutung und Behauptungen

Das Paper behauptet, erste Belege dafür zu liefern, dass Präferenzen die Dynamik von Weltmodellen direkt steuern können. Die Bedeutung liegt in:

Direkte Dynamik-Supervision: Im Gegensatz zu bisheriger Arbeit, die Präferenzen nutzt, um Belohnungsfunktionen zu lernen oder Policies auszurichten, nutzt diese Arbeit sie, um das Übergangsmodell selbst zu lernen.
Keine Experten-Daten erforderlich: Der Ansatz benötigt keine Expertendemonstrationen, keine Belohnungs-Labels und keine Interaktion mit der Umgebung, was einen Hauptengpass im Offline Model-Based RL adressiert.
Praktischer Reparaturmechanismus: RENEW bietet eine pragmatische Alternative zum Sammeln von mehr Daten oder zur Einschränkung der Exploration, was die Reparatur von Modell-Exploitation in vortrainierten Modellen mit einem begrenzten Budget an Präferenzabfragen ermöglicht.

Die Autoren bleiben bescheiden hinsichtlich des aktuellen Umfangs und merken an, dass die Experimente synthetische Oracles statt echter menschlicher Annotatoren verwendeten und auf kleine diskrete sowie niedrigdimensionale kontinuierliche Umgebungen beschränkt waren. Sie identifizieren die Validierung mit verrauschten menschlichen Labels und die Skalierung auf hochdimensionale Beobachtungsräume als kritische nächste Schritte.