🤖 AI

Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

Die Arbeit stellt Regularized Latent Dynamics Prediction (RLDP) als einfache, aber leistungsstarke Basismethode für verhaltensbasierte Fundamentmodelle vor, die durch eine Orthogonalitätsregularisierung die Notwendigkeit komplexer Lernziele für das Zero-Shot-Reinforcement-Learning überflüssig macht und dabei auch in Szenarien mit geringer Datendichte besser abschneidet als bisherige Ansätze.

Ursprüngliche Autoren: Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

Veröffentlicht 2026-03-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ziel: Der „Allzweck-Roboter"

Stell dir vor, du möchtest einen Roboter bauen, der nicht nur für eine Aufgabe trainiert ist (wie nur Geschirr spülen), sondern ein echter „Allrounder" wird. Er soll in der Lage sein, jede neue Aufgabe zu erledigen, die du ihm gibst, ohne dass du ihn jedes Mal von vorne trainieren musst.

In der KI-Welt nennt man das Behavioral Foundation Models (BFM) oder „Verhaltens-Fundamentmodelle". Das Problem bisher war: Um so einen Roboter zu bauen, mussten die Forscher sehr komplizierte und fehleranfällige mathische Tricks anwenden, damit der Roboter die Welt richtig „versteht".

Das Problem: Der „Einheitsbrei"-Effekt

Die Forscher stellten fest: Wenn man versucht, einem Roboter beizubringen, wie sich die Welt verändert (z. B. „Wenn ich den Hebel nach links ziehe, bewegt sich der Arm nach links"), neigt das Gehirn des Roboters dazu, alles gleich zu machen.

Die Analogie:
Stell dir vor, du hast einen riesigen Farbkasten mit 1000 verschiedenen Farben. Wenn du dem Roboter beibringst, die Welt zu beschreiben, neigt er dazu, alle 1000 Farben in ein langweiliges, graues „Einheitsgrau" zu verwandeln.

Warum ist das schlecht? Wenn alles grau ist, kann der Roboter nicht mehr unterscheiden, wo der Tisch ist und wo der Stuhl. Er kann keine neuen Aufgaben lernen, weil er die Unterschiede zwischen den Situationen nicht mehr sieht. Das nennt man im Papier „Feature Collapse" (Zusammenbruch der Merkmale).

Die Lösung: RLDP – Der „Ordnungs-Regler"

Die Autoren des Papiers haben eine neue, einfachere Methode namens RLDP (Regularized Latent Dynamics Prediction) entwickelt.

Die Metapher:
Stell dir vor, du lehrst einen Schüler, eine Stadt zu navigieren.

Die alte, komplizierte Methode: Du sagst dem Schüler: „Lerne die Route für jeden einzelnen Busfahrer, den es je gegeben hat, und berechne dabei ständig die Wahrscheinlichkeit, dass er einen Unfall baut." Das ist extrem schwer, verwirrend und führt dazu, dass der Schüler am Ende gar nichts mehr versteht.
Die neue Methode (RLDP): Du sagst dem Schüler einfach: „Schau dir an, was passiert, wenn du einen Schritt machst. Wenn du nach links gehst, siehst du den Baum. Wenn du nach rechts gehst, siehst du das Haus."

Aber hier kommt der Clou: Damit der Schüler nicht beginnt, den Baum und das Haus als „etwas Braunes" zu bezeichnen (das graue Einheitsgrau), fügst du eine einfache Regel hinzu: Die Regel der Vielfalt.

Du sagst: „Achte darauf, dass deine Beschreibung des Baumes sich deutlich von der Beschreibung des Hauses unterscheidet. Halte deine Farben bunt!"

In der KI heißt diese Regel Orthogonalitäts-Regularisierung. Sie zwingt das System, die verschiedenen Situationen in der Welt so darzustellen, dass sie sich wie rechtwinklige Linien verhalten – sie überschneiden sich nicht und vermischen sich nicht. Jeder Zustand behält seine eigene, klare Identität.

Warum ist das genial?

Einfachheit: Statt komplizierte Mathematik zu nutzen, um vorherzusagen, was ein „perfekter" Roboter tun würde, nutzen sie nur die einfache Logik von „Ursache und Wirkung" (Ich tue X, dann passiert Y).
Robustheit: Die alten Methoden scheiterten oft, wenn der Roboter nicht genug Erfahrung hatte (z. B. wenn er nur wenige Daten über eine bestimmte Situation hatte). Die neue Methode funktioniert auch dann noch gut, wenn die Datenlage dünn ist. Sie ist wie ein erfahrener Wanderer, der auch dann den Weg findet, wenn der Pfad nicht gut markiert ist, weil er die Landschaft selbst versteht.
Leistung: In Tests hat sich gezeigt, dass diese einfache Methode genauso gut oder sogar besser ist als die hochkomplexen Methoden der Konkurrenz.

Fazit

Die Forscher haben im Grunde gesagt: „Wir müssen nicht alles kompliziert machen, um einen universellen KI-Agenten zu bauen. Wenn wir dem System einfach beibringen, die Welt vorherzusagen und gleichzeitig darauf achten, dass es die Unterschiede zwischen den Dingen nicht vergisst, erhalten wir einen starken, flexiblen Roboter."

Es ist der Unterschied zwischen einem Schüler, der auswendig lernt, wie jeder einzelne Busfahrer fährt (und dabei den Überblick verliert), und einem Schüler, der einfach lernt, wie die Stadt funktioniert, und dabei darauf achtet, dass er jeden Ort eindeutig benennen kann.

1. Problemstellung und Motivation

Hintergrund:
Behavioral Foundation Models (BFMs) sind ein vielversprechender Ansatz für das Zero-Shot Reinforcement Learning (RL). Das Ziel ist es, einen Agenten zu trainieren, der nach einer vortrainierten Phase (ohne spezifische Belohnungssignale) beliebige neue Aufgaben lösen kann, indem er eine optimale Politik für eine gegebene Belohnungsfunktion ableitet. Dies geschieht typischerweise durch das Lernen einer Zustandsrepräsentation $\phi(s)$ , die es ermöglicht, Belohnungsfunktionen als lineare Kombination dieser Merkmale zu approximieren ( $r(s) \approx \phi(s)^\top z$ ).

Das Kernproblem:
Die Leistung von BFMs hängt entscheidend von der Qualität der gelernten Zustandsrepräsentation ab. Der aktuelle State-of-the-Art (z. B. Forward-Backward, PSM, HILP) nutzt komplexe Lernziele, die auf der Schätzung von Nachfolgermaßen (Successor Measures) basieren. Diese Methoden erfordern oft iterative Bellman-Updates oder Bellman-Optimalitäts-Backups.

Nachteile der bestehenden Methoden: Diese Ansätze sind anfällig für Verzerrungen (Bias), Instabilitäten durch Bootstrapping und führen in Szenarien mit geringer Datendeckung (Low-Coverage) oft zu schlechter Generalisierung, da sie auf Strategien angewiesen sind, die möglicherweise Out-of-Distribution-Aktionen wählen.
Die Forschungsfrage: Sind diese komplexen Repräsentationslern-Ziele für Zero-Shot RL wirklich notwendig? Kann ein einfacherer Ansatz, wie die Vorhersage zukünftiger Zustände (Latent Dynamics), ausreichen?

2. Methodik: Regularized Latent Dynamics Prediction (RLDP)

Die Autoren schlagen RLDP vor, einen vereinfachten Ansatz, der auf der Vorhersage latenter Dynamiken basiert, jedoch ein entscheidendes Problem der reinen Vorhersage adressiert.

A. Latente Dynamik-Vorhersage (Latent Dynamics Prediction)
Anstatt komplexe Nachfolgermaße zu schätzen, lernt RLDP einen Encoder $\phi: S \to \mathbb{R}^d$ und ein Dynamikmodell $g$ , sodass die latente Zukunft $\phi(s')$ aus dem aktuellen latenten Zustand und der Aktion vorhergesagt werden kann:
$\phi(s') \approx g(\phi(s), a)^\top w$
Der Verlustfunktion $L_d$ minimiert den Fehler dieser Vorhersage über Trajektorien aus einem Offline-Datensatz. Dieser Ansatz ist politik-unabhängig und vermeidet somit die Probleme von Bellman-Backups und Out-of-Distribution-Aktionen.

B. Das Problem des „Feature Collapse"
Die Autoren identifizieren, dass die reine Latent-Dynamics-Vorhersage zu einer milden Form des Feature-Collapses führt. Während des Trainings neigen die gelernten Zustandsrepräsentationen unterschiedlicher Zustände dazu, sich im Vektorraum anzunähern (die kosinussimilarity steigt). Dies reduziert den „Span" (die Abdeckung) der möglichen Belohnungsfunktionen, für die der Agent optimale Politiken lernen kann, und verschlechtert die Zero-Shot-Leistung.

C. Orthogonalitäts-Regularisierung
Um diesen Collapse zu verhindern, führen die Autoren eine einfache Orthogonalitäts-Regularisierung $L_r$ ein. Diese bestraft die Ähnlichkeit zwischen den Repräsentationen verschiedener Zustände.

Alle Zustandsrepräsentationen werden auf eine Hypersphäre projiziert ( $S^{d-1}$ ).
Der Regularisierungsverlust minimiert die kosinussimilarity zwischen Paaren von Zuständen:
$L_r(\phi) = \mathbb{E}_{s,s' \sim \rho} [\phi(s)^\top \phi(s')]$
Die Gesamtverlustfunktion ist eine gewichtete Summe:
$L_{RLDP} = L_d + \lambda L_r$

D. Zero-Shot RL Pipeline

Repräsentationslernen: Training von $\phi$ und $g$ auf reinen Offline-Daten (ohne Belohnungssignal) unter Verwendung von $L_{RLDP}$ .
BFM-Training: Die gelernten Repräsentationen werden eingefroren. Ein BFM wird trainiert, um Nachfolgermaße basierend auf diesen fixierten Merkmalen zu schätzen und eine politikbedingte Strategie $\pi_z$ zu lernen.
Inferenz: Für eine neue Aufgabe wird der Vektor $z$ durch lineare Regression auf die neue Belohnungsfunktion geschätzt, und die optimale Politik wird abgeleitet.

3. Wichtige Beiträge

Einfacheres Lernziel: RLDP ersetzt komplexe Nachfolgermaß-Schätzungen durch regulierte latente Dynamikvorhersage. Dies eliminiert die Notwendigkeit von Bellman-Backups für das Repräsentationslernen.
Identifikation und Lösung von Feature Collapse: Die Arbeit zeigt auf, dass latente Dynamikvorhersage ohne Regularisierung zu einer Reduktion der Merkmalsvielfalt führt, und schlägt eine effektive Orthogonalitäts-Regularisierung als Lösung vor.
Robustheit in Low-Coverage-Szenarien: RLDP ist besonders robust in Datensätzen mit geringer Abdeckung, da es keine Annahmen über die Politik trifft, die den Datensatz generiert hat (im Gegensatz zu Methoden, die Bellman-Backups nutzen).
Skalierbarkeit: Die Methode skaliert gut auf hochdimensionale Zustands- und Aktionsräume (z. B. Humanoid-Robotik).

4. Ergebnisse

Die Autoren evaluieren RLDP umfassend in verschiedenen Umgebungen und Szenarien:

Offline Zero-Shot RL (DeepMind Control Suite):
- RLDP erreicht eine Leistung, die mit State-of-the-Art-Methoden wie PSM und Forward-Backward (FB) vergleichbar ist und diese in vielen Fällen (z. B. Quadruped, Pointmass) sogar übertrifft.
- Im Vergleich zu zufälligen Features (Random Features) zeigt sich die enorme Bedeutung des Repräsentationslernens.
Online Zero-Shot RL (SMPL Humanoid):
- In einer komplexen 3D-Humanoid-Umgebung (358 Beobachtungsdimensionen, 69 Aktionsdimensionen) zeigt RLDP eine wettbewerbsfähige Leistung gegenüber FB und PSM, auch wenn die Repräsentationen offline gelernt wurden.
- In bestimmten Aufgaben (z. B. „raisearms") übertrifft RLDP sogar die Oracle-Leistung.
Low-Coverage Szenarien (D4RL Benchmark):
- Dies ist der stärkste Beleg für die Methode. In Datensätzen mit geringer Abdeckung (Medium und Medium-Expert), wo andere Methoden oft scheitern, weil Bellman-Backups zu falschen Generalisierungen führen, übertrifft RLDP alle Baselines (FB, PSM, HILP) in 5 von 6 Aufgaben signifikant.
- Die Ergebnisse belegen, dass RLDP eine zuverlässige Wahl für Feature-Learning ist, wenn die Datendeckung begrenzt ist.
Ablationsstudien:
- Orthogonalitäts-Regularisierung: Ohne Regularisierung ( $\lambda=0$ ) steigt die Ähnlichkeit der Features an und die Leistung sinkt. Schon kleine Werte ( $\lambda=0.01$ oder $1.0$) verhindern den Collapse und verbessern die Leistung signifikant.
- Sphärische Normalisierung: Die Projektion auf die Hypersphäre ist entscheidend für die Stabilität und Leistung.

5. Bedeutung und Fazit

Das Paper demonstriert, dass für das Training von Behavioral Foundation Models keine extrem komplexen Repräsentationslern-Ziele notwendig sind. Der vorgeschlagene Ansatz RLDP ist:

Einfacher: Er basiert auf einer direkten Vorhersage latenter Zustände plus einer einfachen Regularisierung.
Effizient: Er vermeidet die numerische Instabilität von Bellman-Backups.
Robust: Er funktioniert hervorragend in Szenarien mit geringer Datendeckung, wo andere Methoden versagen.

Die Arbeit legt den Grundstein für einfachere, aber dennoch leistungsstarke Methoden zur Entwicklung von Zero-Shot-Politiken in BFMs und zeigt, dass die Aufrechterhaltung der Diversität der Repräsentationen (durch Orthogonalität) ein kritischer Faktor für den Erfolg ist. Dies macht RLDP zu einem praktischen und skalierbaren Ansatz für unsupervised RL in realen Anwendungen wie der Robotik.