DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration

Das Paper stellt DreamSAC vor, ein Framework, das durch eine unsupervisierte Symmetrie-Exploration mit Hamilton-basiertem Neugier-Anreiz und einem Hamilton-basierten Weltmodell physikalische Invarianzen lernt, um die Extrapolationsfähigkeit von Agenten in 3D-Physiksimulationen signifikant zu verbessern.

Das Wesentliche

DreamSAC: Wie Roboter die Physik verstehen, statt nur Bilder zu raten

Stell dir vor, du möchtest einem Roboter beibringen, wie die Welt funktioniert. Bisher haben die besten KI-Modelle wie ein Seher gearbeitet: Sie haben Millionen von Videos geschaut und gelernt, dass „wenn hier ein roter Ball ist, dann rollt er meistens nach rechts". Das funktioniert super, solange die Situation ähnlich ist wie im Video.

Aber was passiert, wenn der Roboter auf einen schwereren Ball trifft oder die Schwerkraft plötzlich stärker ist? Dann scheitern diese alten Modelle oft. Sie haben nämlich nur die Statistik gelernt (die Muster), nicht aber die Gesetze dahinter (die Physik). Es ist, als würde jemand nur die Fahrtrouten auswendig lernen, aber nicht verstehen, wie ein Motor oder Bremsen funktionieren.

DreamSAC ist ein neuer Ansatz, der dieses Problem löst. Hier ist die Idee, einfach erklärt:

1. Der passive Beobachter vs. der neugierige Entdecker

Die alten Modelle waren wie passive Zuschauer im Kino. Sie sahen nur zu und hofften, genug zu lernen. Das Problem: Im Kino sieht alles schön aus, aber wenn die Physik im echten Leben anders ist (z. B. mehr Reibung), wissen sie nicht, wie sie reagieren sollen.

DreamSAC hingegen ist wie ein kleines Kind, das alles anfassen will. Es ist nicht zufrieden damit, nur zuzusehen. Es will wissen: „Was passiert, wenn ich hier drücke? Was, wenn ich das fallen lasse?"

2. Die „Hamiltonianische Neugier" (Der Energie-Test)

Das Herzstück von DreamSAC ist eine spezielle Art von Neugier, die wir „Symmetrie-Erkundung" nennen.

Stell dir vor, der Roboter hat ein unsichtbares Energie-Messgerät im Kopf.

• Wenn er nur zufällig herumstolpert, passiert nichts Besonderes.
• Aber DreamSAC ist darauf programmiert, genau die Momente zu suchen, in denen viel Arbeit geleistet wird. Es sucht nach Situationen, in denen es die Energie des Systems stark verändert.

Die Analogie: Stell dir vor, du bist in einem dunklen Raum mit einer mysteriösen Maschine.

• Ein normaler Roboter würde nur die Wand berühren und hoffen, dass er etwas lernt.
• Der DreamSAC-Roboter würde versuchen, die Maschine so stark zu schütteln, dass sie quietscht, vibriert oder sich bewegt. Warum? Weil genau in diesen Momenten, in denen die Maschine „widersteht" oder sich stark verändert, er am besten versteht, wie sie wirklich funktioniert. Er lernt die inneren Gesetze, indem er sie aktiv herausfordert.

3. Der „Spiegel-Trick" (Unabhängig vom Blickwinkel)

Ein großes Problem für Roboter ist: Wenn sie einen Ball von links sehen, sieht er anders aus als von rechts. Ein normaler KI-Modell denkt dann oft: „Das ist ein neuer Ball!"

DreamSAC nutzt einen cleveren Trick namens kontrastives Lernen.

• Die Analogie: Stell dir vor, du hast einen Gegenstand in der Hand. Du drehst ihn, hältst ihn vor eine Lampe, nimmst eine Brille auf. Für das menschliche Gehirn ist es immer noch derselbe Gegenstand.
• DreamSAC wird trainiert, diese „Verkleidungen" (Licht, Winkel, Perspektive) zu ignorieren. Es lernt, den wahren Kern des Objekts zu sehen – also seine Masse, Geschwindigkeit und Energie – egal wie es gerade aussieht. Es filtert das „Rauschen" der Kamera heraus und behält nur die echte Physik.

4. Das Ergebnis: Schnelle Anpassung

Dank dieser Methode lernt DreamSAC nicht nur, wie Dinge aussehen, sondern wie sie sich verhalten.

• Das alte Modell: Wenn die Schwerkraft plötzlich 1,5-mal stärker wird, denkt es: „Oh nein, das war nicht im Training!" und fällt hin.
• Das DreamSAC-Modell: Es denkt: „Okay, die Energie wird schneller umgewandelt. Ich muss meine Berechnungen anpassen." Es passt sich fast sofort an neue Situationen an, weil es die Regeln der Physik verstanden hat, nicht nur die Beispiele.

Zusammenfassung in einem Satz

Während andere KIs versuchen, die Welt durch bloßes Starren zu verstehen, tastet DreamSAC die Welt aktiv ab, indem es gezielt „Störungen" verursacht, um die unsichtbaren Gesetze der Physik (wie Energieerhaltung) zu entdecken und zu meistern.

Es ist der Unterschied zwischen jemandem, der ein Kochbuch auswendig lernt, und jemandem, der in die Küche geht, Zutaten probiert, verbrennt und so wirklich versteht, wie Kochen funktioniert.

Technische Zusammenfassung

1. Problemstellung

Herkömmliche Weltmodelle (World Models) im Reinforcement Learning (RL) zeichnen sich durch eine starke interpolative Generalisierung aus, d. h., sie können Szenarien vorhersagen, die den Trainingsdaten ähneln. Sie versagen jedoch häufig bei der extrapolativen Generalisierung, insbesondere wenn es um neue physikalische Eigenschaften (z. B. veränderte Reibung, Gravitation oder Massenverhältnisse) geht.

Der Hauptgrund für dieses Versagen liegt darin, dass diese Modelle primär statistische Korrelationen auf Pixelebene lernen, anstatt die zugrunde liegenden generativen Regeln (physikalische Gesetze, Invarianzen und Erhaltungssätze) zu erfassen. Da sie oft auf passiv gesammelten Daten trainiert werden, die visuell vielfältig, aber physikalisch redundant sein können, lernen sie "spurious correlations" (irreführende statistische Muster) statt der wahren physikalischen Dynamik. Dies führt dazu, dass Agenten in unbekannten Umgebungen oder bei veränderten physikalischen Parametern nicht robust agieren können.

2. Methodik: DreamSAC Framework

Das vorgeschlagene Framework DreamSAC (Dream with Symmetry-Aware Curiosity) adressiert dieses Problem, indem es das Lernen von Weltmodellen als einen aktiven, interaktionsbasierten Prozess neu definiert. Es kombiniert zwei Kernkomponenten:

A. Hamiltonian World Model (Physikalisch fundiertes Weltmodell)

Das Herzstück ist ein Weltmodell, das auf der Hamiltonschen Mechanik basiert und physikalische Symmetrien explizit erzwingt.

• Struktur: Der latente Zustand $Z_t$ wird in generalisierte Koordinaten $q_t$ (Position) und kanonische Impulse $p_t$ zerlegt.
• Invarianz: Das interne Hamiltonian $H_\phi(Z_t)$ ist so konstruiert, dass es invariant gegenüber Transformationen der physikalischen Symmetriegruppe $G$ (z. B. SE(3) für 3D-Rotationen und Translationen) ist. Dies wird durch die Verwendung einer Lie Transformer-Architektur erreicht.
• Viewpoint-Robustheit: Ein zentrales Problem ist der Konflikt zwischen der Rekonstruktion von Pixeln (die kameraabhängig sind) und der Notwendigkeit eines kameraunabhängigen physikalischen Zustands. DreamSAC löst dies durch einen selbstüberwachten kontrastiven Lernverlust (Viewpoint-Robustness Loss, $L_{vr}$). Dieser zwingt den Encoder, visuelle Störfaktoren (Kameraperspektive, Beleuchtung) herauszufiltern, während die physikalischen Dynamiken erhalten bleiben.
• Dynamik: Die Zustandsübergänge werden durch eine symplektische Integration der Hamiltonschen Gleichungen berechnet, was die Erhaltung der Energie (in Abwesenheit externer Kräfte) strukturell garantiert.

B. Symmetry Exploration (Symmetrie-Exploration)

Anstatt passiv Daten zu sammeln, nutzt der Agent eine intrinsische Motivation, um gezielt physikalisch informative Daten zu sammeln.

• Physikalische Neugier: Die intrinsische Belohnung $r_{sym}$ basiert auf der Arbeit, die der Agent am System verrichtet, was äquivalent zur Änderung des Hamiltonians ist: $r_{sym} \approx |\Delta H_\phi|$.
• Ziel: Der Agent wird motiviert, Interaktionen zu suchen, die den größten Energieaustausch verursachen (z. B. Kollisionen, Beschleunigung). Dies "bricht" die Symmetrie des geschlossenen Systems und zwingt das Modell, die Struktur des Hamiltonians (z. B. Steifigkeit, Potentiale) aktiv zu erkunden.
• Annealing-Strategie: Da das Hamiltonian-Modell am Anfang zufällig initialisiert ist und $r_{sym}$ daher verrauscht ist, wird die Exploration zunächst durch einen stabilen RND-Bonus (Random Network Distillation) gesteuert und annealing-basiert schrittweise auf den physikalischen $r_{sym}$-Bonus umgestellt.

3. Schlüsselbeiträge

1. Symmetry Exploration: Eine neue, unüberwachte Explorationsstrategie, die Agenten durch einen Hamiltonian-basierten Neugier-Bonus antreibt, physikalisch informative Daten zu sammeln, anstatt nur statistisch neue Zustände zu besuchen.
2. Hamiltonian World Model mit kontrastivem Lernen: Ein Weltmodell, das physikalische Invarianzen (Symmetrien) durch eine spezielle Architektur (Lie Transformer) und einen kontrastiven Verlust (für perspektivenunabhängige Repräsentationen) direkt aus Pixeldaten lernt.
3. Differentiated Fine-Tuning: Ein Adaptionsmechanismus für Downstream-Aufgaben, bei dem der Encoder eingefroren bleibt und nur die physikalischen Parameter des Hamiltonians feinabgestimmt werden. Dies ermöglicht eine extrem schnelle Anpassung an neue physikalische Umgebungen (OOD).

4. Ergebnisse

Die Evaluation erfolgte in 3D-Physik-Simulationen (DeepMind Control Suite und GymFetch).

• Vorhersagegenauigkeit: DreamSAC übertrifft State-of-the-Art-Basenlinien (wie DreamerV3) signifikant in der Bildvorhersage (niedrigerer MSE), was auf ein genaueres Verständnis der zugrunde liegenden Dynamik hindeutet.
• Extrapolative Generalisierung (OOD):
  • Bei strukturellen OOD-Aufgaben (neue Kameraperspektiven, neue Objektanzahlen, neue Ziele) erreicht DreamSAC deutlich höhere Erfolgsraten als Baselines.
  • Bei parametrischen OOD-Aufgaben (ungesehene Gravitation, Reibung, Massen) zeigt das Modell eine überlegene Anpassungsfähigkeit. Es passt sich neuen physikalischen Parametern schneller und effektiver an als Modelle ohne physikalische Induktionsverzerrungen.
• Ablationsstudien: Das Entfernen des kontrastiven Verlusts ($L_{vr}$) oder des Hamiltonian-Modells führt zu einem drastischen Leistungsabfall, was die Notwendigkeit beider Komponenten für robuste Extrapolation bestätigt.
• Qualitative Analyse: Visualisierungen zeigen, dass das gelernte Hamiltonian während freier Rollouts (ohne Aktionen) konstant bleibt (Energieerhaltung), was beweist, dass das Modell die physikalischen Invarianzen tatsächlich gelernt hat.

5. Bedeutung und Fazit

DreamSAC stellt einen Paradigmenwechsel dar: Weg von passivem, statistischem Lernen hin zu aktivem, physikalischem Entdecken.

• Robustheit: Durch das explizite Lernen von physikalischen Invarianzen (Symmetrien) und Erhaltungssätzen sind die Modelle wesentlich robuster gegenüber Veränderungen in der Umgebung, die für rein datengetriebene Modelle katastrophal wären.
• Effizienz: Die Fähigkeit, physikalische Parameter durch gezielte Exploration und differenziertes Fine-Tuning schnell zu identifizieren, reduziert den Bedarf an massiven Mengen an Trainingsdaten für neue Szenarien.
• Zukunft: Die Arbeit legt den Grundstein für Agenten, die in der realen, unvorhersehbaren Welt operieren können, indem sie nicht nur Muster erkennen, sondern die zugrunde liegenden Gesetze der Physik verstehen und anwenden.

Zusammenfassend demonstriert DreamSAC, dass die Integration von physikalischen Prinzipien (Hamiltonian-Dynamik) und aktiver Exploration (Symmetry-Exploration) der Schlüssel zur Lösung des Problems der extrapolativen Generalisierung in Reinforcement Learning ist.