🤖 AI

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

HaM-World führt ein strukturiertes Weltmodell ein, das Mamba-basierte selektive Erinnerung mit einem dekomponierten Soft-Hamiltonschen latenten Raum integriert, um die Planung über lange Horizonte zu stabilisieren und die Robustheit gegenüber Verteilungsverschiebungen außerhalb der Trainingsdaten erheblich zu verbessern.

Ursprüngliche Autoren: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein komplexes Spiel zu spielen, wie etwa Jonglieren oder das Balancieren eines Stabes. Um dies gut zu bewerkstelligen, benötigt der Roboter ein „Weltmodell" – eine interne Simulation, die es ihm ermöglicht, sich vorzustellen, was passieren wird, wenn er eine bestimmte Aktion ausführt, bevor er sie tatsächlich durchführt.

Die Arbeit stellt HaM-World vor, ein neues Typ von Weltmodell, das entwickelt wurde, um diese mentalen Simulationen stabiler und genauer zu machen, insbesondere über längere Zeiträume oder wenn sich die Regeln des Spiels leicht ändern.

Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte und Analogien:

1. Das Problem: Der „Tagtraum" wird neblig

Aktuelle Weltmodelle sind wie ein Schüler, der versucht, eine Geschichte auswendig zu lernen, indem er sie Satz für Satz liest. Wenn die Geschichte kurz ist, erinnert er sich perfekt daran. Aber wenn er versucht, sich die Geschichte 100 Schritte in die Zukunft vorzustellen, werden die Details verschwommen, und die Geschichte fällt auseinander.

Das Problem: Je weiter der Roboter plant, desto instabiler werden seine Vorhersagen. Er hat auch Schwierigkeiten, wenn sich die Umgebung ändert (z. B. wenn der Boden rutschig wird oder der Arm des Roboters schwerer wird).
Die Ursache: Die Arbeit argumentiert, dass bestehende Modelle zu viele Dinge in ihrem „Gehirn" durcheinanderbringen. Sie verwechseln die Position des Roboters (wo er sich befindet), seinen Impuls (wie schnell er sich bewegt) und den Kontext (was das Ziel ist oder ob der Boden nass ist). Diese Vermischung führt dazu, dass sich Fehler schnell aufsummieren.

2. Die Lösung: Ein spezialisiertes „Gehirn" mit drei Räumen

HaM-World löst dieses Problem, indem es den internen Zustand des Roboters in drei verschiedene „Räume" oder Fächer organisiert, anstatt einen großen, unordentlichen Raum zu nutzen:

Raum A: Die Physik-Engine (q und p)
Dieser Raum behandelt die reine Physik: Position ( $q$ ) und Impuls ( $p$ ). Die Autoren verwenden hier ein mathematisches Konzept namens Hamiltonsche Dynamik.
- Die Analogie: Stellen Sie sich dies als Billardtisch vor. Auf einem Billardtisch bleibt die Energie erhalten; die Bälle prallen auf vorhersehbare Weise voneinander ab. HaM-World versucht, das Verhalten von Position und Impuls des Roboters wie Billardkugeln zu gestalten. Dies schafft ein stabiles „Rückgrat" für die Simulation und verhindert, dass der Roboter unmögliche Physik vorstellt (wie etwa einen Ball, der plötzlich ohne Grund schneller wird).
- Die „weiche" Wendung: Das echte Leben ist kein perfekter Billardtisch; es gibt Reibung, und der Roboter hat Motoren. Daher verwendet HaM-World einen „Soft-Hamiltonian"-Ansatz. Er behält die stabile Billardtisch-Struktur bei, erlaubt aber eine „Residual"-Schicht, die den chaotischen, realweltlichen Dingen wie Reibung und Motorsteuerung nachgeht.
Raum B: Der Kontext-Raum (c)
Dieser Raum enthält Informationen, die nicht den Billardtisch-Regeln folgen.
- Die Analogie: Dies ist das Notizbuch des Roboters. Es notiert Dinge wie „das Ziel ist es, den Finger zu drehen", „der Boden ist rutschig" oder „ich muss vorsichtig sein". Dies sind semantische Details, die nicht in die reine Physik von Position und Geschwindigkeit passen, aber entscheidend sind, um zu wissen, was zu tun ist.
Raum C: Der Speicher-Raum (Mamba)
Dies ist das Kurzzeitgedächtnis des Roboters.
- Die Analogie: Manchmal kann der Roboter nicht alles sehen (teilweise Beobachtbarkeit), oder es gibt eine Verzögerung zwischen dem Moment, in dem er sich entscheidet zu bewegen, und dem Moment, in dem er sich tatsächlich bewegt. Ein Standardmodell könnte vergessen, was vor 5 Sekunden passiert ist. HaM-World verwendet ein spezielles Speichersystem namens Mamba, das wie ein selektiver Filter wirkt. Es erinnert sich an die wichtigen Teile der Vergangenheit, die benötigt werden, um jetzt eine Entscheidung zu treffen, und stellt sicher, dass der Roboter in seinem eigenen Tagtraum nicht „verloren" geht.

3. Wie es zusammenarbeitet

Wenn der Roboter einen Zug plant, rät er nicht einfach. Er führt eine Simulation (ein „Rollout") in seinem Kopf durch:

Er betrachtet den aktuellen Zustand.
Er nutzt den Speicher-Raum, um fehlende Details aus der Vergangenheit zu ergänzen.
Er aktualisiert den Physik-Raum unter Verwendung der stabilen Billardtisch-Regeln, angepasst durch die Motorsteuerung.
Er aktualisiert den Kontext-Raum mit neuen Informationen über das Ziel oder die Umgebung.
Er wiederholt dies für viele Schritte in die Zukunft, um zu sehen, welche Aktion zum besten Ergebnis führt.

Da der physikalische Teil so stabil ist (wie der Billardtisch) und der Speicher-Teil so gut darin ist, Lücken zu füllen, bleibt der „Tagtraum" des Roboters auch bei langen Planungshorizonten klar und genau.

4. Die Ergebnisse: Besser in allem

Die Autoren haben HaM-World an vier Standard-Roboter-Aufgaben getestet (wie etwa ein Gepard, der läuft, oder ein Finger, der ein Objekt dreht).

Genauigkeit: Es machte weit weniger Fehler beim Vorstellen der Zukunft im Vergleich zu anderen führenden Modellen. Tatsächlich waren seine langfristigen Vorhersagefehler weniger als die Hälfte der des zweitbesten Modells.
Robustheit: Als die Forscher die Regeln des Spiels änderten (z. B. den Roboter schwerer machten, seine Aktionen verlangsamten oder Teile seines Sichtfelds verdeckten), blieb HaM-World leistungsfähig. Es war das einzige Modell, das in jedem einzelnen schwierigen Testbedingungen die höchste Punktzahl beibehielt.
Effizienz: Es lernte, die Roboter schneller und mit weniger Trainingsversuchen zu steuern als andere Methoden.

Zusammenfassung

HaM-World ist wie die Verleihung einer besseren internen Karte an einen Roboter. Anstatt einer verschwommenen, durcheinandergebrachten Skizze erhält der Roboter eine strukturierte Karte mit einem stabilen physikalischen Fundament (dem Billardtisch), einem Ort für wichtige Notizen (dem Kontext) und einem zuverlässigen Gedächtnis (dem Filter). Dies ermöglicht es dem Roboter, komplexe, langfristige Aktionen zu planen, ohne verwirrt zu werden oder den Weg zu verlieren, selbst wenn sich die Welt um ihn herum ändert.

Technische Zusammenfassung: HaM-World

1. Problemstellung

Weltmodelle ermöglichen modellbasierte Planung, indem sie latente Dynamiken erlernen, um imaginierte Rollouts durchzuführen. Wenn sich der Planungshorizont jedoch verlängert oder sich die Umgebungs dynamiken verschieben, werden diese imaginierten Rollouts häufig instabil. Die Autoren argumentieren, dass diese Instabilität auf zwei fehlende strukturelle Komponenten in den latenten Repräsentationen für Planer zurückzuführen ist:

Approximative Markov-Vollständigkeit: Teilweise Beobachtbarkeit und Aktionsverzögerungen machen einzelne Frame-Latents als Markov-Zustände unzureichend, doch bestehenden Modellen fehlt oft ein historisch konditioniertes Gedächtnis, um dies zu adressieren.
Geometrische Organisation: Monolithische latente Repräsentationen verflechten Konfiguration, Impuls und Aufgaben-Semantik. Diese Verflechtung führt dazu, dass Mehrschritt-Vorhersagefehler ohne strukturelle Zwänge anwachsen, was zu einer schlechten Extrapolation der physikalischen Struktur unter gestörten Kontrollregimen führt.

Aktuelle Ansätze erfassen primär statistische Korrelationen statt der zugrunde liegenden generativen Struktur (z. B. Invarianzen und Erhaltungssätze), was zu Planern führt, die Schwierigkeiten mit der Konsistenz über lange Horizonte und der Generalisierung außerhalb der Verteilung (OOD) haben.

2. Methodik: HaM-World

Die Autoren schlagen HaM-World (HMW) vor, ein strukturiertes Weltmodell, das den latenten Zustand in eine einheitliche Schnittstelle zerlegt, die über die Dynamikvorhersage, die Schätzung von Belohnung/Wert, imaginierte Rollouts und die CEM-Aktionsuche (Cross-Entropy Method) hinweg gemeinsam genutzt wird. Die Architektur besteht aus drei Kernkomponenten:

A. Latente Faktorisierung ( $q, p, c$ )

Der latente Zustand $z_t$ wird explizit aufgeteilt in:

Kanonischer Unterraum $(q, p)$ : Repräsentiert Konfiguration und Impuls. Dieser Unterraum wird durch eine Soft-Hamiltonsche Prior-Verteilung gesteuert.
Kontext-Unterraum $c$ : Erfasst semantische, dissipative und nicht-konservative Faktoren (z. B. Kontaktumschaltungen, Reibung, Aufgaben-Semantik), die der Energieerhaltung nicht strikt unterliegen.

B. Soft-Hamiltonsche Dynamik

Anstatt eine strikte Energieerhaltung durchzusetzen (was für gesteuerte Systeme mit Reibung und Kontakt zu einschränkend ist), verwendet HaM-World ein „Soft-Hamiltonsches" Update für das $(q, p)$ -Paar:
$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$
$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$

$H_\phi(q, p)$ : Ein lernbares Energiefeld.
$\alpha$ : Ein Mischkoeffizient, der datengesteuerte Netzwerk-Updates mit dem hamiltonschen Vektorfeld ausbalanciert.
$G_t a_t$ : Ein explizit gelernter Steuerungsantrieb, der zum Impuls-Update hinzugefügt wird.
Mechanismus: Dieses Design ermöglicht es dem Modell, ein energieorganisiertes geometrisches Rückgrat für Stabilität zu bewahren, während es gleichzeitig die Flexibilität behält, Kontakt, Reibung und Aufgabenziele über residuale Dynamiken und Steuerungsantriebe anzupassen.

C. Selektives Gedächtnis (Mamba)

Um teilweise Beobachtbarkeit und Aktionsverzögerungen zu adressieren, integriert HaM-World Mamba-selektive Zustandsraummodelle als historisch konditionierten Input ( $h_t$ ) in die latente Dynamik.

Im Gegensatz zu parallelen rekurrenten Rollout-Modellen bietet Mamba einen einzigen historisch konditionierten Input für dieselben latenten Dynamiken, die vom Planer verwendet werden.
Dies stellt sicher, dass die Planerschnittstelle über Training, imaginierte Rollouts und CEM-Suche hinweg einheitlich bleibt, ohne dass ein separater rekurrenter Zustand für den Planer erforderlich ist.

D. Trainingsziele

Das Modell wird mit einer zusammengesetzten Verlustfunktion trainiert, die Folgendes umfasst:

Konsistenz über Mehrschritt-Rollouts ( $L_{roll}$ ): Begrenzt die Fehlerakkumulation über den Planungshorizont.
Hamiltonsche Ausrichtung ( $L_{ham}$ ): Eine weiche Richtungsneigung, die den Netzwerkzweig mit dem hamiltonschen Vektorfeld ausrichtet.
Aktionsfreie Energie-Regularisierung ( $L_{energy}$ ): Unterdrückt Energie drift in Abwesenheit von Aktionen.
Standardziele: JEPA-artige Repräsentationsausrichtung, Ein-Schritt-Dynamikkonsistenz und Regression von Belohnung/Wert (unter Verwendung von symlog zwei-hot-Zielen).

3. Hauptbeiträge

Strukturierte Planer-zugewandte Dynamik: Die Einführung einer $q/p/c$ -latenten Faktorisierung, die Mamba-selektives Gedächtnis mit Soft-Hamiltonschen $(q, p)$ -Dynamiken koppelt. Dies bietet eine einzige latente Schnittstelle für CEM-Planung, Belohnungsschätzung und Dynamikvorhersage.
Mechanismusbewusste Evaluation: Ein umfassendes Evaluierungsprotokoll, das Standard-Kontrollleistung, Konsistenz über lange Rollout-Horizonte (MSE bei $k \in \{3, 5, 7\}$ ) und 12 OOD-Perturbationen (Dynamikverschiebungen, Verzögerungen, Maskierung) einschließt.
Empirische Gewinne: Nachgewiesene überlegene Leistung über mehrere Metriken hinweg, insbesondere in Bezug auf Stabilität über lange Horizonte und OOD-Robustheit, unterstützt durch Mechanismus-Diagnosen, die eine begrenzte Energiedrift und kohärente, kontrollinduzierte Energieübertragung zeigen.

4. Experimentelle Ergebnisse

Evaluiert auf vier DeepMind Control Suite (DMC)-Aufgaben (Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup) mit einem Sample-Budget von 100k Schritten:

Kontrollleistung: HaM-World erreichte die höchste durchschnittliche Fläche unter der Kurve (Avg. AUC) von 117,9 und übertraf TD-MPC2 (+9,5 %), SAC (+66,3 %) und DreamerV3 (+101,2 %). Es erzielte die höchste finale Rendite bei Finger Spin und Reacher Easy.
Stabilität über lange Horizonte: HaM-World reduzierte den Rollout-Fehler über lange Horizonte auf 45 % der starken Baseline (TD-MPC2) und 14,3 % von DreamerV3. Es gewann 11 von 12 MSE-Zellen für $k \in \{3, 5, 7\}$ .
OOD-Generalisierung: Unter 12 OOD-Perturbationen (einschließlich Massenänderungen, Dämpfung, Reibung, Aktionsverzögerungen und Beobachtungsmaskierung) erreichte HaM-World in jedem Szenario die höchste Rendite.
- Bei Finger Spin zeigte es einen durchschnittlichen OOD-Renditegewinn von 10,2 % gegenüber TD-MPC2.
- Bei Reacher Easy zeigte es einen durchschnittlichen OOD-Renditegewinn von 13,6 % gegenüber TD-MPC2.
Mechanismus-Diagnosen:
- Energiedrift: In aktionsfreien Rollouts blieb die gelernte hamiltonsche Energie nahezu stabil (ca. 1 % Drift), was die Soft-Hamiltonsche Struktur bestätigt.
- Steuerungskopplung: Die Analyse zeigte, dass der Aktions-„Schub" (Projektion der Steuerung auf $\nabla_p H$ ) konsistent mit dem Überqueren von Energieschichten korrelierte, was das gesteuert-hamiltonsche Design validiert.
- Ablation: Das Entfernen der geometrischen Struktur (A1) oder des Gedächtnisses (A2) verschlechterte die Leistung erheblich. Bemerkenswerterweise war das Gedächtnis die dominierende Voraussetzung für die Nutzbarkeit unter teilweise beobachtbaren Bedingungen, während die Soft-Hamiltonsche Struktur die Obergrenze für die Rollout-Robustheit hob.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass HaM-World zeigt, dass die Behandlung von Markov-Vollständigkeit (durch selektives Gedächtnis) und geometrischer Konsistenz (durch Soft-Hamiltonsche Struktur) als gekoppelte Stufen einheitlicher latenter Dynamiken die Planerleistung signifikant verbessert.

Strukturell vs. Statistisch: Die Gewinne werden der Fähigkeit des Modells zugeschrieben, physikalische Regularitäten (Energieorganisation) zu integrieren, anstatt sich ausschließlich auf das Anpassen statistischer Korrelationen zu verlassen.
Einheitliche Schnittstelle: Die Arbeit zeigt, dass ein einzelner latenter Zustand, der von Vorhersage, Wertschätzung und Planung gemeinsam genutzt wird, für Aufgaben über lange Horizonte stabil und effektiv gemacht werden kann, wenn er die Trennung konservativer Dynamiken ( $q, p$ ) und nicht-konservativen Kontexts ( $c$ ) respektiert.
Robustheit: Die Methode bietet eine strukturelle Lösung für die Instabilität imaginierten Rollouts und ermöglicht eine bessere Extrapolation unter Verteilungsverschiebungen und Perturbationen, ohne separate rekurrente Planerzustände zu benötigen.

Einschränkungen: Die Autoren weisen darauf hin, dass die aktuelle Arbeit auf zustandsbasierte Beobachtungen bei vier DMC-Aufgaben beschränkt ist. Die Skalierung auf Pixel-Eingaben, breitere Morphologien und diskontinuierliche Kontaktszenarien bleibt eine offene Herausforderung. Die Diagnosen unterstützen die gelernte Schnittstelle, beweisen jedoch nicht, dass die Dynamiken global hamiltonsch sind.