Technische Zusammenfassung: DiLA: Entflochtene Latente Aktions-Weltmodelle

1. Problemstellung

Latente Aktionsmodelle (LAMs) zielen darauf ab, Weltmodelle aus ungelabelten Videos zu erlernen, indem sie abstrakte Aktionen zwischen aufeinanderfolgenden Bildern inferieren und als Ersatz für explizite Steuersignale dienen. Jedoch sehen sich bestehende LAMs einem fundamentalen Trade-off gegenüber, der als „LAM-Trade-off" bezeichnet wird und zwischen Aktion-Abstraktion und Generierungs-Fidelity besteht.

• Das Dilemma: Um sicherzustellen, dass Aktionen übertragbar und abstrakt sind, verhängen Modelle typischerweise starke prädiktive Engpässe (z. B. Vektor-Quantisierung oder variational Engpässe). Während diese Abstraktion fördern, stören sie oft die intrinsische Mannigfaltigkeit des latenten Aktionsraums, was zu einer übermäßigen Vereinfachung und einer verschlechterten Qualität der Videogenerierung führt. Umgekehrt verbessert das Lockern dieser Engpässe die Generierung, führt jedoch zu verflochtenen Darstellungen, bei denen latente Aktionen irrelevante visuelle Details statt reiner Dynamik erfassen.
• Aktuelle Einschränkungen: Die meisten bestehenden Ansätze priorisieren Abstraktion auf Kosten der Generierungsqualität, wobei sie oft disjunkte, zweistufige Trainingsparadigmen anwenden, bei denen das Vorwärts-Dynamik-Modell (FDM) zugunsten separater, vortrainierter Diffusionsmodelle verworfen wird. Andere verlassen sich auf eine explizite Trennung von Bewegung (z. B. optischer Fluss) von Inhalt, versagen jedoch darin, diese Prozesse innerhalb eines einzigen selbstüberwachten Rahmens gemeinsam zu optimieren.

2. Methodik: DiLA

Die Autoren schlagen DiLA (Disentangled Latent Action) vor, ein neuartiges Weltmodell, das den LAM-Trade-off durch Inhalts-Struktur-Entflechtung auflöst. Die Kernidee ist, dass Entflechtung und das Erlernen latenter Aktionen ko-evolvieren: Der prädiktive Engpass, der im Erlernen latenter Aktionen inhärent ist, wirkt als treibende Kraft für die Entflechtung.

Architektur

DiLA verarbeitet Videosequenzen über zwei spezialisierte Pfade, wobei ein DINOv2-Encoder für die Merkmalsextraktion und ein vortrainierter RAE-Decoder für die Visualisierung verwendet werden.

1. Strukturpfad (Dynamik):

   • Ziel: Isoliert bewegungsbezogene räumliche Anordnungen (Positionen, Formen), um latente Aktionen zu erlernen, die gegenüber visuellem Inhalt invariant sind.
   • Mechanismus: Ein Struktur-Encoder komprimiert Tokens in Struktur-Embeddings ($s_t$). Ein Inverses Dynamik-Modell (IDM) berechnet abstrakte latente Aktionen ($z_t$) aus der zeitlichen Differenz dieser Embeddings ($\Delta s_t$).
   • Einschränkung: Ein strikter Informationsengpass zwingt das IDM, nur strukturelle Dynamiken vorherzusagen. Das Vorwärts-Dynamik-Modell (FDM), implementiert als leichter Spatial-Temporal Transformer, sagt den nächsten Strukturzustand ($\hat{s}_{t+1}$) basierend auf dem aktuellen Zustand und der latenten Aktion voraus.
   • Treibende Kraft: Der Engpass zwingt das Modell, Bewegungsdynamiken in $z_t$ zu destillieren, während statische visuelle Details an den Inhaltspfad ausgelagert werden, da hoch-entropische Inhaltsdetails nicht effektiv in den niedrigdimensionalen latenten Aktionsraum komprimiert werden können, ohne die Vorhersagegenauigkeit zu beeinträchtigen.

2. Inhalts-Pfad (Erscheinung):

   • Ziel: Extrahiert und speichert zeitlich invariante visuelle Merkmale (Farben, Texturen, Landmarken).
   • Mechanismus: Ein Inhalts-Encoder komprimiert Tokens in Embeddings ($c_t$), die von einer Mamba-Architektur verarbeitet werden, um historischen Kontext zu aggregieren. Dies imitiert die Slow Feature Analysis und akkumuliert statische Merkmale, während sie enthüllt werden.
   • Rolle: Es bewahrt visuelle Details für eine hoch-fidelity Generierung und übernimmt Glaubensupdates bezüglich verdeckter Hintergründe, was es dem Strukturpfad ermöglicht, sich strikt auf physikalische Dynamiken zu spezialisieren.

3. Fusions-Decoder:

   • Kombiniert den vorhergesagten Strukturzustand ($\hat{s}_{t+1}$), das Inhalts-Gedächtnis ($c^{mem}_t$) und das initiale visuelle Embedding ($e_0$), um das Ziel-Visuelle Embedding ($\hat{e}_{t+1}$) zu rekonstruieren.
   • Die Konditionierung auf $e_0$ ist entscheidend, um hochfrequente Details bereitzustellen, die während der Kompression verloren gingen.

Trainingsziele

DiLA wird mit einem selbstüberwachten Teacher-Forcing-Paradigma auf Videosequenzen ohne Ground-Truth-Aktionslabels trainiert. Der Gesamtverlust ($L_{total}$) ist eine gewichtete Kombination aus:

• Visuelle Latente Vorhersage ($L_e$): Rekonstruktion des Ziel-Embeddings.
• Strukturvorhersage ($L_s$): Minimierung des Fehlers bei der Vorhersage des nächsten Strukturzustands.
• Konsistenz latenter Aktionen ($L_z$): Sicherstellung der Konsistenz zwischen vorwärts und rückwärts inferierten Aktionen.
• Regularisierung ($L_{reg}$): Erzwingt Gruppensymmetrie (inverse zeitliche Übergänge ergeben entgegengesetzte Aktionsvektoren), beschränkt die Vektornorm, um eine kompakte Mannigfaltigkeit zu erhalten, und regularisiert die Varianz, um die Informationsentropie zu maximieren.

3. Hauptbeiträge

1. Einheitlicher Rahmen: DiLA ist das erste entflochtene latente Aktions-Weltmodell, das den Trade-off zwischen latenter Aktionsabstraktion und Generierungs-Fidelity durch Inhalts-Struktur-Entflechtung auflöst.
2. Ko-Evolutions-Mechanismus: Die Arbeit zeigt, dass der prädiktive Engpass als treibende Kraft wirkt, um räumliche Anordnungen von der Erscheinung zu isolieren, und umgekehrt diese Trennung das Erlernen hoch-abstrakter latenter Aktionen erleichtert.
3. Leistung: Umfangreiche Experimente zeigen, dass DiLA im Vergleich zu State-of-the-Art-Baselines überlegene Ergebnisse in der Qualität der Videogenerierung, der Übertragung von Aktionen über verschiedene Embodiments hinweg und der visuellen Planung erzielt.
4. Interpretierbarkeit: Das Modell lernt einen strukturierten, interpretierbaren latenten Aktionsraum, der nachgelagerte visuelle Planung unterstützt und Bewegungsdynamiken effektiv von statischer Erscheinung trennt.

4. Experimentelle Ergebnisse

Experimente wurden an großen Datensätzen durchgeführt, darunter Something-Something-v2 (SSv2), RT-1 (Robotik), RECON (Outdoor-Navigation) und LoopNav (Minecraft).

• Qualität der Videogenerierung: Auf SSv2 und RT-1 übertraf DiLA führende Baselines (LAPA, Moto, AdaWorld, Villa-X) sowohl in SSIM (strukturelle Konsistenz) als auch in LPIPS (perzeptive Ähnlichkeit). Bemerkenswert ist, dass das Entfernen des Inhalts-Pfads („DiLA ohne Inhalt") zu einer signifikant niedrigeren Generierungsqualität führte, was die Notwendigkeit der Zwei-Pfad-Architektur validiert.
• Aktionsübertragung: DiLA übertrug latente Aktionen erfolgreich über verschiedene Embodiments hinweg (z. B. Mensch-zu-Roboter) und Domänen (virtuell-zu-reale Navigation). Es behielt eine hohe Generierungsqualität bei, während komplexe semantische Aktionen wie das „Aufheben" von Objekten über Blickwinkeländerungen hinweg übertragen wurden.
• Validierung der Entflechtung:
  • Rebinding-Experimente: Durch das Fusionieren von Struktur aus einem Video mit Inhalt aus einem anderen generierte DiLA Sequenzen, die die räumliche Dynamik der Quelle bewahrten, während sie das Aussehen der Referenz übernahmen.
  • Isolierung der Bewegung: Das Einfrieren des Struktur-Embeddings bei gleichzeitiger Evolution des Inhalts-Gedächtnisses resultierte in einer vollständig statischen Sequenz, was bestätigt, dass der Inhalts-Pfad keine Bewegungsinformationen kodiert.
• Ablationsstudien:
  • Das Entfernen der IDM/FDM-Komponenten führte dazu, dass das Modell bei der Entflechtung versagte, wobei Struktur-Embeddings redundante Inhaltsdetails behielten.
  • Der Ersatz des kontinuierlichen Engpasses durch diskrete (VQ) oder Gaußsche (VAE) Priors führte zu einer schlechteren Generierungsqualität und langsameren Konvergenz, was darauf hindeutet, dass starre Priors die intrinsische niedrigdimensionale Mannigfaltigkeit latenter Aktionen stören.
• Visuelle Planung: Im VP2-Benchmark übertraf DiLA, angepasst für die Modellprädiktive Regelung (MPC), die Baseline AdaWorld, insbesondere bei Aufgaben wie „Taste drücken", was seine Nützlichkeit in der robotischen Steuerung demonstriert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DiLA einen einheitlichen Rahmen etabliert, der gleichzeitig hochrangige Aktionsabstraktion und hoch-fidelity Generierung erreicht und so die Grenze des selbstüberwachten Lernens von Weltmodellen vorantreibt.

• Auflösung des Trade-offs: Die Autoren argumentieren, dass die Entflechtung von Struktur und Inhalt der Schlüssel zur Auflösung der Spannung zwischen Abstraktion und Generierung ist. Der prädiktive Engpass ist nicht nur eine Einschränkung, sondern ein Mechanismus, der das Modell dazu antreibt, reine Übergangsdynamiken zu erlernen.
• Robustheit: Der erlernte latente Aktionsraum bildet eine kontinuierliche, semantisch strukturierte Mannigfaltigkeit, die eine Übertragung über verschiedene Embodiments und Umgebungen hinweg ohne explizite Überwachung unterstützt.
• Einschränkungen: Die Autoren geben bescheiden zu, dass die inhärente Abstraktion latenter Aktionen die Präzision der Feinsteuerung opfern könnte, was zu Instabilität in nachgelagerten Video-zu-Steuerung-Aufgaben führen könnte. Sie stellen zudem fest, dass die aktuelle Entflechtung räumliche Anordnungen von visuellen Details trennt, aber noch nicht die Entkopplung von Multi-Objekt-Dynamiken vollständig unterstützt. Darüber hinaus bleibt der Ansatz anfällig für autoregressive kumulative Fehler bei der Videogenerierung über lange Horizonte.

Zusammenfassend postuliert DiLA, dass durch die Nutzung des prädiktiven Engpasses zur Förderung der Inhalts-Struktur-Entflechtung Weltmodelle erlernt werden können, die sowohl abstrakt genug für Planung und Übertragung als auch detailliert genug für hoch-fidelity Generierung sind.