🤖 machine learning

Inverting the Bellman Equation: From $Q$ -Values to World Models

Diese Arbeit stellt die traditionelle Trennung zwischen modellbasiertem und modellfreiem Reinforcement Learning infrage, indem sie beweist, dass wertbasierte Agenten, die auf diversen Belohnungsfunktionen trainiert wurden, implizit ein einzigartiges Weltmodell kodieren, welches über eine neue Methode namens $P$ -Learning explizit extrahiert werden kann, um eine starke Generalisierung bei Aufgaben außerhalb der Verteilung zu erreichen.

Ursprüngliche Autoren: Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man durch ein Labyrinth navigiert. Traditionell gibt es zwei Wege, dies zu tun:

Der Kartenzeichner (Modellbasiert): Sie geben dem Roboter ein leeres Blatt Papier und bitten ihn, eine Karte des Labyrinths zu zeichnen, indem er genau lernt, wo Wände sind und wohin Türen führen.
Der Muskelgedächtnis-Lerner (Modellfrei): Sie fragen ihn nicht nach einer Karte. Sie sagen dem Roboter stattdessen nur: „Wenn du hier nach links gehst, bekommst du einen Keks. Wenn du nach rechts gehst, bekommst du einen Schlag.“ Der Roboter lernt eine Liste von „guten Zügen“ für bestimmte Situationen, versteht aber nicht unbedingt, warum diese Züge funktionieren oder wie das Labyrinth aufgebaut ist.

Lange Zeit glaubten Wissenschaftler, dass diese beiden Ansätze völlig getrennt seien. Sie glaubten, dass der „Muskelgedächtnis-Lerner“ nur wusste, was zu tun ist, um eine Belohnung zu erhalten, aber nicht wirklich die Regeln der Welt verstand, in der er lebte.

Die große Entdeckung
Dieses Paper sagt: Tatsächlich kennt der Muskelgedächtnis-Lerner die Karte. Er versteckt sie nur.

Die Autoren fanden heraus, dass, wenn man einen Roboter auf eine große Vielfalt an verschiedenen Zielen trainiert (nicht nur „gehe zum Ausgang“, sondern auch „gehe zum roten Punkt“, „gehe zum blauen Punkt“, „gehe in die Ecke“ usw.), das interne Gehirn des Roboters (seine „Q-Werte“) heimlich eine perfekte, genaue Karte der gesamten Welt kodiert. Er weiß genau, wohin jede Aktion führt, selbst wenn er nie explizit darum gebeten wurde, eine Karte zu zeichnen.

Der Zaubertrick: „P-Learning“
Das Paper führt eine neue Methode namens P-Learning ein (was für „Probability Learning“ oder „World Model Learning“ steht). Denken Sie an ein Reverse-Engineering-Werkzeug.

Standard-Lernen (Q-Learning): Sie haben eine Karte (die Welt) und versuchen, die besten Züge (die Q-Werte) zu finden.
P-Learning: Sie haben die besten Züge (die Q-Werte) und versuchen, die Karte (die Welt) zu finden.

Die Autoren zeigen, dass man einen Roboter, der bereits gelernt hat, viele verschiedene Aufgaben zu lösen, nehmen kann, sich seine interne „To-Do-Liste“ der Werte ansieht und die Gleichungen mathematisch „invertieren“ kann, um die verborgene Karte zu extrahieren, die er die ganze Zeit über genutzt hat. Es ist, als würde man das perfekt zubereitete Essen eines Küchenchefs betrachten und daraus das exakte Rezept und die verwendeten Zutaten ableiten können, selbst wenn der Koch das Rezept nie aufgeschrieben hat.

Das Rätsel um „Ein Ziel“ vs. „Viele Ziele“
Das Paper beantwortet auch eine knifflige Frage: Wie viele verschiedene Ziele muss der Roboter sehen, um die vollständige Karte zu lernen?

In einer einfachen, vorhersehbaren Welt (Deterministisch): Der Robot benötigt nur ein einziges Ziel, um die ganze Karte zu verstehen. Es ist, als würde man ein Puzzle lernen, bei dem jedes Teil nur an einen einzigen Platz passt; sobald man das Bild sieht, weiß man, wo alles hingehört.
In einer chaotischen, unvorhersehbaren Welt (Stochastisch): Der Roboter muss viele verschiedene Ziele sehen (ungefähr so viele, wie es Räume im Labyrinth gibt), um sicher zu sein, was die Karte betrifft. Es ist, als würde man versuchen, die Regeln eines Spiels zu lernen, bei dem Würfel geworfen werden; man muss viele verschiedene Ergebnisse sehen, um die Wahrscheinlichkeiten zu verstehen.

Die Überraschung: Verborgene Superkräfte
Der überraschendste Teil der Experimente ist das, was passiert, wenn man diese „herausgeholte Karte“ verwendet, um neue Probleme zu lösen, die der Roboter zuvor noch nie gesehen hat.

In einem Experiment trainierten sie einen Roboterarm nur darauf, bestimmte Positionen zu erreichen (wie „berühre den roten Punkt“). Dann nutzten sie P-Learning, um die verborgene Karte des Roboters zu extrahieren. Als sie den Roboter dann baten, diese Karte zu nutzen, um eine bestimmte Geschwindigkeit zu erreichen (ein Ziel, für das er nie trainiert wurde), war er erfolgreich!

Dies deutet darauf hin, dass der Roboter die zugrunde liegende Physik des Arms (wie Gelenke sich bewegen, um Geschwindigkeit zu erzeugen) gelernt hatte, obwohl ihm nur gesagt wurde, dass er auf die Position achten soll. Es ist, als hätte man jemandem das Autofahren beigebracht, indem man nur sagte: „Bleib in der Spur“, und diese Person könnte plötzlich perfekt auf einer Rennstrecke fahren, weil sie im Stillen schon immer verstanden hat, wie der Motor und die Lenkung eines Autos funktionieren.

Zusammenfassend

Alte Idee: Modellfreie Agenten (die nur Belohnungen lernen) kennen die Welt nicht; sie wissen nur, was zu tun ist.
Neue Idee: Wenn man sie auf genügend verschiedene Ziele trainiert, bauen sie in ihren Köpfen heimlich ein perfektes Modell der Welt auf.
Das Werkzeug: P-Learning ist ein Weg, dieses verborgene Modell aus einem Agenten „auszulesen“.
Das Ergebnis: Dieses verborgene Modell ist so genau, dass es dem Agenten ermöglicht, völlig neue, fremdartige Probleme zu lösen, was beweist, dass „modellfreies“ und „modellbasiertes“ Lernen eigentlich zwei Seiten derselben Medaille sind.

Technisches Resümee: Invertierung der Bellman-Gleichung: Von Q-Werten zu Weltmodellen

Problemstellung

Reinforcement Learning (RL) wird traditionell in modellfreie und modellbasierte Paradigmen unterteilt. Modellfreie Agenten schätzen Wertfunktionen ( $Q$ ), die an spezifische Policys und Belohnungsfunktionen gebunden sind, und umgehen dabei die explizite Erlernung der Umgebungsdynamik (den Übergangskern $P$ ). Ein grundlegendes theoretisches Hindernis in diesem Bereich ist das Wertäquivalenzproblem: Unterschiedliche Weltmodelle können identische Wertfunktionen und optimale Policys hervorbringen, was impliziert, dass modellfreie Agenten die Umgebung, in der sie sich befinden, nicht eindeutig kodieren.

Während Agenten zunehmend auf vielfältige Ziele mittels Goal-Conditioned RL (GCRL) trainiert werden, bleibt unklar, ob die Sammlung der über diese Ziele gelernten Wertfunktionen implizit ein eindeutiges, akkurates Weltmodell kodiert. Diese Arbeit adresst die Kernfrage: Wann kodieren modellfreie Agenten implizit ein akkurates Modell ihrer Umgebung?

Methodik: P-Learning

Die Autoren führen P-Learning ein, ein inverses Analogon zum Q-Learning, das darauf ausgelegt ist, ein implizites Weltmodell aus einem trainierten Agenten zu extrahieren.

Konzept: Während Q-Learning iterativ eine Wertfunktion $Q$ aktualisiert, um die Bellman-Gleichung $T^\star(Q) = Q$ für ein festes Environment $P$ zu erfüllen, behandelt P-Learning die Wertfunktion $Q$ (und die zugehörige Policy $\pi$ sowie die Belohnung $r$ ) als fixiert. Es aktualisiert daraufhin ein Kandidaten-Weltmodell $P_\phi$ , um das Bellman-Residuum zu minimieren:
$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$
wobei $T^\pi_\phi$ der durch das Weltmodell $P_\phi$ parametrisierte Bellman-Operator ist.
Mechanismus: P-Learning sampelt aus den $Q$ -Werten, Policies und Belohnungen des Agenten, um das interne Modell zu dekodieren. Im tabellarischen Setting beweisen die Autoren, dass P-Learning zu einer Lösung konvergiert, die die Moore-Penrose-Pseudoinverse einer Matrix $M$ beinhaltet, die aus den Belohnungen und Wertfunktionen abgeleitet ist. Speziell, falls $M$ vollen Rang besitzt, ist das extrahierte Modell eindeutig und gegeben durch $P_\infty = M^+ Q$ .
Differenzierbarkeit: Für kontinuierliche oder deterministische Settings nutzt die Methode Gradienten-basierte Optimierung (oder Reparametrisierungs-Tricks), um die Parameter des Weltmodells zu aktualisieren, was effektiv die Bellman-Gleichung "invertiert".

Zentrale theoretische Beiträge

Die Arbeit etabliert hinreichende Bedingungen, unter denen der Übergangskern $P$ aus einer Menge ziel-konditionierter Q-Werte $(Q_g, \pi_g, r_g)_{g \in G}$ eindeutig identifizierbar ist, wodurch die Wertäquivalenz durchbrochen wird.

Endliche MDPs:
- Deterministisch: Ein einziges generisches Ziel ist ausreichend, um $P$ eindeutig zu identifizieren (Theorem 2). Die Eindeutigkeit gilt für fast alle Belohnungsfunktionen, vorausgesetzt die resultierende Matrix $M$ ist spalteninjektiv.
- Stochastisch: Ziele müssen den Zustandsraum abdecken (d. h. der Rang der Belohnungsmatrix muss der Anzahl der Zustände entsprechen), um sicherzustellen, dass $P$ eindeutig identifizierbar ist (Theorem 3). Dies gilt für generische Belohnungsfunktionen oder Policies.
- Approximation: Die Autoren liefern enge Fehlerschranken, die zeigen, dass der Fehler des extrahierten Modells bei $\epsilon$ -approximierten Q-Werten linear mit $\epsilon$ skaliert.
Kontinuierliche MDPs:
- Deterministisch: Eine endliche Anzahl von Zielen kann unter spezifischen Bedingungen ausreichen (z. B. Gaußsche Belohnungen mit Terminierung). Für Indikator-Belohnungen ist eine Zielmenge erforderlich, die den Zustandsraum mit einem spezifischen Radius abdeckt (Theorem 4).
- Stochastisch: Die Identifizierbarkeit wird durch die Abdeckung (Coverage) der Zielmenge getrieben, nicht durch deren Anzahl. Für Gaußsche Belohnungen genügt eine Zielmenge mit einem leeren Inneren; für Indikator-Belohnungen muss die Menge den Zustandsraum erweitert um den Belohnungsradius abdecken (Theorem 6 und 7).
Lokale MDPs: Die Arbeit erweitert die Ergebnisse auf $N$ -lokale MDPs (bei denen Übergänge auf eine Nachbarschaft beschränkt sind) und zeigt, dass weniger Ziele benötigt werden, wenn der Support des Übergangskerns bekannt ist.

Empirische Ergebnisse

Die Autoren validieren ihre Theorie und Methode über mehrere Umgebungen hinweg und demonstrieren, dass P-Learning hochakkurate Weltmodelle extrahieren kann, selbst wenn theoretische Garantien (z. B. unendliche Ziele) nicht erfüllt sind.

FourRooms (Endliche MDPs):
- Deterministisch: Exakte Rekonstruktion von $P$ mit $|G|=1$ .
- Windy (Lokale stochastische MDP): Quasi-perfekte Rekonstruktion mit $|G|=4$ .
- Teleporting (Vollständig stochastische MDP): Quasi-optimale Planung mit $|G|=20$ , was signifikant weniger ist als die theoretische Worst-Case-Schranke von $|S|=68$ .
Reacher (Kontinuierlich, Deterministisch):
- Trainiert auf lediglich $|G|=4$ positionsbasierten Zielen, erreichte das extrahierte Weltmodell eine hohe Fidelität (NMSE $1.2 \times 10^{-4}$ ), trotz unperfekter Q-Werte.
- Zero-Shot Generalisierung: Policies, die ausschließlich innerhalb des extrahierten impliziten Weltmodells trainiert wurden, erreichten eine nahezu optimale Performance bei Out-of-Distribution Zielen (z. B. Erreichen spezifischer Winkelgeschwindigkeiten oder Gelenkkonfigurationen), die während des Trainings nie explizit gesehen wurden. Dies deutet darauf hin, dass der Agent Dynamiken für Variablen (Geschwindigkeit, Winkel) kodiert hat, für die er nie explizit belohnt wurde.
MountainCar (Kontinuierlich, Deterministisch):
- Agenten, die auf positionsbasierten Zielen trainiert wurden, und Agenten, die auf geschwindigkeitsbasierten Zielen trainiert wurden, konvergierten zu nahezu identischen impliziten Weltmodellen.
- Die Planung innerhalb dieser Modelle ermöglichte einen erfolgreichen Zero-Shot-Transfer auf Aufgaben, die die ungetrainierte Variable involvieren (z. B. ein positions-trainierter Agent, der ein geschwindigkeitsbasiertes Ziel löst).

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass Goal-Conditioned RL als implizite hybride Methode fungiert, welche die Lücke zwischen modellfreien und modellbasierten Ansätzen schließt.

Implizite Weltmodelle: Modellfreie Agenten, die auf einer ausreichend reichen Menge an Zielen trainiert wurden, kodieren implizit ein eindeutiges und akkurates Weltmodell, selbst in stochastischen und kontinuierlichen Umgebungen.
Verborgene Generalisierung: Diese impliziten Modelle enthalten "verborgene Generalisierungsfähigkeiten", die es Agenten ermöglichen, Aufgaben zu lösen, die auf Variablen definiert sind, die orthogonal zu ihren Trainingsbelohnungen liegen (z. B. das Erlernen von Geschwindigkeitsdynamiken aus Positionsbelohnungen).
Leistungs-Korrelation: Es besteht eine starke Korrelation ( $\rho = 0.98$ ) zwischen der Performance eines Agenten und der Genauigkeit seines internalisierten Weltmodells, was darauf hindeutet, dass leistungsstarke GCRL-Agenten natürlich bessere Weltrepräsentationen entwickeln.
Nutzen von P-Learning: Der vorgeschlagene P-Learning-Algorithmus bietet ein praktisches Werkzeug, um diese internen Modelle zu extrahieren, was die Wiederverwendung modellfreier Agenten für neue Aufgaben ohne zusätzliche Interaktion mit der Umgebung ermöglicht.

Die Autoren kommen zu dem Schluss, dass P-Learning kein Ersatz für explizites modellbasiertes RL ist, aber eine fundamentale Verbindung aufzeigt: Vielfältiges, belohnungsreiches Training erlaubt es modellfreien Agenten, "alles" über die Dynamik der Umgebung zu lernen und somit effektiv ein Weltmodell in ihren Wertfunktionen zu kodieren.