🤖 AI

Flow Equivariant World Models: Memory for Partially Observed Dynamic Environments

Dieses Paper führt Flow-Equivariant World Models ein, ein Framework, das zeitparametrisierte Symmetrien innerhalb eines latenten Gedächtnisses nutzt, um eine stabile, langfristige Vorhersage in teilweise beobachtbaren dynamischen Umgebungen zu ermöglichen, indem es sicherstellt, dass sich das Gedächtnis äquivariant mit der Eigenbewegung und der Dynamik externer Objekte verschiebt und transformiert.

Ursprüngliche Autoren: Hansen Jin Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, Thomas Anderson Keller

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hansen Jin Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, Thomas Anderson Keller

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie gehen über einen belebten Stadtplatz. Sie beobachten einen Straßenkünstler, der jongliert. Plötzlich drehen Sie den Kopf, um einen Freund zu begrüßen, der gerade angekommen ist. Während Ihr Blick auf Ihrem Freund ruht, jongliert der Straßenkünstler weiter und ein Bus fährt im Hintergrund vorbei. Wenn Sie den Kopf wieder zurück zum Platz drehen, erwarten Sie, dass der Künstler immer noch jongliert und der Bus ein Stück weiter die Straße entlanggefahren ist. Sie erwarten nicht, dass der Künstler verschwindet oder der Bus plötzlich an die Stelle zurückteleportiert wird, an der er zuvor war.

Genau dieses Problem versucht eine KI namens Flow Equivariant World Models (FloWM) zu lösen.

Das Problem: Die „Amnesie“ der KI

Aktuelle KI-Systeme, die versuchen, die Zukunft vorherzusagen (sogenannte „World Models“), sind wie Menschen mit einer sehr kurzen Aufmerksamkeitsspanne. Sie können ein Video für ein paar Sekunden beobachten und erraten, was als Nächstes passiert. Aber wenn man sie fragt, was passiert, nachdem sie „weggeschaut“ haben (was passiert, wenn eine KI-Agentin ihre Kamera bewegt oder ihren Körper dreht), werden sie verwirrt.

Da sie in jedem Moment nur einen kleinen Ausschnitt der Welt sehen, vergessen sie, was außerhalb ihrer Sichtweite geschieht. Wenn sie zurückblicken, „halluzinieren“ sie oft (erfinden Dinge dazu). Sie denken vielleicht, der Straßenkünstler sei verschwunden, oder sie erfinden einen völlig neuen Bus, der nie existiert hat, nur um die Lücke zu füllen. Sie verlieren den Überblick über den „Fluss“ von Zeit und Bewegung.

Die Lösung: Eine bewegliche Karte

Die Autoren dieser Arbeit schlagen einen neuen Weg vor, wie eine KI sich die Welt merken kann. Anstatt nur ein statisches Bild dessen zu speichern, was sie zuletzt gesehen hat, baut FloWM ein strukturiertes, bewegliches Gedächtnis auf.

Stellen Sie es sich so vor:

Alte KI: Stellen Sie sich vor, Sie zeichnen ein Bild der Stadt auf ein Blatt Papier. Jedes Mal, wenn Sie den Kopf drehen, müssen Sie die alte Zeichnung löschen und eine neue Zeichnung auf einem frischen Blatt Papier beginnen. Sie verlieren den Kontext dessen, was hinter Ihnen war.
FloWM: Stellen Sie sich vor, Sie zeichnen auf einer riesigen, transparenten Glasscheibe, die vor Ihnen schwebt. Während Sie gehen und sich drehen, bewegt sich die Glasscheibe mit Ihnen. Wenn ein Bus auf der linken Seite vorbeifährt, zeichnen Sie ihn auf das Glas. Wenn Sie den Kopf drehen, bleibt der Bus auf dem Glas gemalt und bewegt sich mit dem Fluss der Welt mit. Wenn Sie den Kopf zurückdrehen, ist der Bus genau dort, wo er laut den Gesetzen der Physik sein sollte.

Diese „Glasscheibe“ ist das Flow Equkivante Gedächtnis. Es respektiert die Regeln der Bewegung (Symmetrien). Es versteht, dass, wenn Sie sich nach links bewegen, sich die Welt relativ zu Ihnen effektiv nach rechts bewegt, und es aktualisiert seine interne Karte entsprechend, ohne die Daten zu verlieren.

Wie es funktioniert (Die „Geschwindigkeitskanäle“)

Das Paper führt einen cleveren Trick namens „Velocity Channels“ (Geschwindigkeitskanäle) ein.

Stellen Sie sich vor, das Gedächtnis der KI ist nicht nur ein großes Bild, sondern ein Stapel transparenter Überlagerungen.

Eine Überlagerung verfolgt Dinge, die stillstehen.
Eine andere verfolgt Dinge, die sich langsam nach rechts bewegen.
Eine weitere verfolgt Dinge, die schnell nach links bewegen.

Wenn die KI etwas sieht, das sich bewegt, weiß sie genau, welche „Überlagerung“ sie aktualisieren muss. Selbst wenn die KI ihren Kopf dreht (Eigenbewegung), verschiebt das System alle diese Überlagerungen gemeinsam und behält die relativen Positionen bei. Dies ermöglicht es der KI, mit hoher Genauigkeit vorherzusagen, was hinter ihr oder außerhalb des Sichtfeldes geschieht, da das Gedächtnis mathematisch so konzipiert ist, dass es mit der Zeit und der Bewegung mitfließt.

Was sie getestet haben

Die Forscher testeten diese Idee in zwei Hauptszenarien:

2D-Ziffern: Eine einfache Welt, in der Zahlen (wie 1, 2, 3) auf einem Bildschirm umherfliegen. Die KI musste vorhersagen, wo sie sich befinden würden, nachdem sie ihre „Augen“ um die Umgebung bewegt hat.
3D-Blöcke: Ein komplexerer 3D-Raum mit farbigen Blöcken, die von Wänden abprallen. Die KI musste die Pfade der Blöcke vorhersagen, selbst wenn diese hinter Wänden oder außer Sichtweite gerieten.

Die Ergebnisse

Die Ergebnisse waren eindeutig:

Alte KI-Modelle verloren schnell den Faden. Nach einer Weile begannen sie, falsch zu raten, Objekte zu erfinden oder alte zu vergessen. Ihre Vorhersagen wurden unscharf und chaotisch.
FloWM blieb über eine sehr lange Zeit hinweg präzise. Es konnte die Bewegung von Objekten 150 bis 200 Schritte in die Zukunft vorhersagen, obwohl es nur auf kurzen Sequenzen trainiert wurde. Es halluzinierte nicht; es hielt die „Sinfonie der Flüsse“ korrekt am Laufen.

Warum es wichtig ist

Das Paper argumentt, dass eine KI, um eine dynamische Welt wirklich zu verstehen (wie etwa ein Roboter, der durch ein Haus navigiert, oder ein Auto, das eine Straße entlangfährt), ein Gedächtnis braucht, das sich mit der Welt bewegt, und nicht nur ein Gedächtnis, das statische Schnappschüsse speichert. Indem sie das Gedächtnis so organisiert, dass es die natürlichen Gesetze von Bewegung und Zeit respektiert, wird die KI viel besser darin, die Zukunft vorherzusagen, schneller zu lernen und weniger Fehler zu machen.

Kurz gesagt: FloWM gibt der KI eine „bewegliche Karte“, die niemals den Überblick verliert, und ermöglicht es ihr, das gesamte Bild zu sehen, auch wenn sie nur einen winzigen Teil betrachtet.

Technisches Resümee: Flow-Equivariante Weltmodelle

1. Problemstellung

Embodiment-Agenten operieren in dynamischen Umgebungen, in denen sie nur über ein eingeschränktes, erstperspektivisches Sichtfeld verfügen. Diese partielle Beobachtbarkeit stellt eine erhebliche Herausforderung für bestehende Weltmodelle dar: Während der Agent einen Bruchteil der Umgebung beobachtet, entwickeln sich die unbeobachteten Regionen kontinuierlich weiter. Aktuelle State-of-the-Art-Methoden, einschließlich großskaliger latenter Diffusions-Transformer und rekurrenter Modelle, scheitern in diesen Szenarien oft daran, die Konsistenz über lange Horizonte aufrechtzuerhalten.

Ohne eine Speicherstruktur, welche die zugrunde liegenden Symmetrien der Welt respektiert, leiden diese Modelle unter:

Informationsverlust: Wenn sich der Agent bewegt, fällt relevante vergangene Information aus dem Kontextfenster (z. B. Sliding Windows in Transformern) und wird verworfen.
Halluzination: Wenn der Agent zu einer zuvor beobachteten Region zurückkehrt, versagt das Modell oft bei der Erinnerung an den Zustand des Objekts und generiert stattdessen neue, halluzinierte Objekte oder lässt bestehende verschwinden.
Mangel an strukturellen Priors: Bestehende Modelle behandeln Beobachtungen als statische Sequenzen oder ansichtsabhängige Daten und ignorieren dabei, dass sowohl die Eigenbewegung des Agenten als als auch die externe Objektbewegung glatten, zeitparametrisierten Symmetrien (Flows) folgen.

2. Methodik: Flow-Equivariante Weltmodelle (FloWM)

Die Autoren schlagen FloWM vor, ein Framework, das Flow-Equivarianz in den Kern des Speichers von Weltmodellen integriert. Die zentrale Hypothese ist, dass prädiktive Repräsentationen leistungsfähiger werden, wenn sie in Übereinstimmung mit der zeitlichen und dynamischen Struktur der Welt organisiert sind.

Kernkonzept: Flow-Equivarianz

Das Framework erweitert die statische Gruppen-Equivarianz auf zeitparametrisierte Sequenztransformationen, sogenannte „Flows“.

Definition: Ein Modell ist flow-equivariant, wenn die Ausgabesequenz derselben Transformation unterliegt, wenn die Eingabesequenz einem Flow unterzogen wird (z. B. eine Verschiebung durch Zeit oder Bewegung).
Globale Equivarianz: In Settings mit partieller Beobachtbarkeit muss das Modell eine latente Erinnerung an den gesamten Weltzustand (beobachtet und unbeobachtet) aufrechterhalten. Die latente Repräsentation muss in Bezug auf den globalen Weltzustand equivariant transformiert werden, nicht nur in Bezug auf die aktuelle Beobachtung.
Mitbewegtes Referenzsystem: Um dies zu erreichen, wird der rekurrenten Erinnerung derselbe Flow appliziert wie auf den Input, bevor neue Beobachtungen integriert werden. Dies stellt sicher, dass Merkmale räumlich mit bewegten Objekten ausgerichtet bleiben, anstatt in einem festen Bezugssystem zurückgelassen zu werden.

Architektonische Komponenten

Das Framework wird durch eine generalisierte flow-equivariante Rekurrenzrelation instanziiert:
$h_{t+1}(\nu) = \psi_1(\nu) \cdot U_\theta [h_t(\nu); E_\theta [f_t; h_t] (\nu)]$
Wobei:

$h_t(\nu)$ den verborgenen Zustand darstellt, der in „Geschwindigkeitskanäle“ ( $\nu$ ) organisiert ist, welche verschiedenen Bewegungsvektorfeldern entsprechen.
$E_\theta$ ein Encoder ist, der Beobachtungen in den latenten Raum abbildet.
$U_\theta$ die Update-Operation ist.
$\psi_1(\nu)$ die Flow-Aktion über einen Zeitschritt darstellt.

Eigenbewegungs-Equivarianz (Self-Motion Equivariance):
Das Modell behandelt die Eigenbewegung des Agenten als einen relativen Flow. Durch die Transformation des verborgenen Zustands gemäß der Aktion des Agenten ( $T_{a_t}$ ) verschiebt sich der Speicher effektiv in das mitbewegte Referenzsystem des Agenten. Dies ermöglicht es dem Modell, eine strukturierte „Karte“ der Umgebung aufzubauen, in der neue Beobachtungen basierend auf den Aktionen des Agenten in die korrekten relativen Positionen integriert werden.

Zwei Instanziierungen

Einfaches rekurrentes FloWM (2D): Entwickelt für 2D-Umgebungen (z. B. MNIST World). Es verwendet konvolutionale Operationen über verborgene Zustände und räumliche Inputs. Es nutzt ein festes Fenster, um in den verborgenen Zustand zu lesen/schreiben, während der Rest des Zustands um das Sichtfeld des Agenten herumfließt.
Transformer-basiertes FloWM (3D): Entwickelt für komplexe 3D-Umgebungen (z. B. Block World). Es nutzt einen Vision Transformer (ViT) Encoder und Decoder. Der latente Speicher ist eine Menge räumlich organisierter Token-Embeddings, die als Top-Down-abstrakte Karte fungieren.
- Hinweis zur Equivarianz: Während exakte Encoder-Equivarianz für 3D-zu-2D-Projektionen ohne kostspielige Tiefen-Unprojektion schwierig ist, zeigen die Autoren, dass die rekurrente Flow-Transformation ( $T^{-1}_{a_t} \psi_1(\nu)$ ) den Encoder dazu ermutigt, während des Trainings Equivarianz zu lernen, wodurch eine hohe Fidelität ohne explizite geometrische Constraints erreicht wird.

3. Zentrale Beiträge

Formalisierung der Flow-Equivarianz: Die Arbeit formalisiert, wie zeitparametrisierte Symmetrien (Flows) genutzt werden können, um einen strukturierten, persistenten Speicher für die Modellierung dynamischer Welten mit partieller Beobachtbarkeit zu konstruieren.
Strukturierte Speicherarchitektur: Einführung eines rekurrenten Speichers mit „Geschwindigkeitskanälen“, der sich sowohl mit der Eigenbewegung als auch mit der externen Objektbewegung equivariant verschiebt und transformiert, wodurch Informationen über außerhalb des Sichtfelds liegende Regionen über die Zeit hinweg ausgerichtet bleiben.
Neue Benchmarks: Die Autoren führen neue Benchmarks für die Modellierung dynamischer Welten mit partieller Beobachtbarkeit ein:
- 2D MNIST World: Bewegende Ziffern mit zufälligen Geschwindigkeiten bei partieller Beobachtung.
- 3D Dynamische Block World: Farbige Blöcke, die in einem 3D-Raum springen, wobei ein Agent über diskrete Aktionen navigiert.
Empirische Validierung: Demonstration, dass FloWM State-of-the-Art Diffusion-Modellen (DFoT, DFoT-SSM) und rekurrenten Modellen (RSSM) in der Langzeitprognose und Längen-Generalisierung signifikant überlegen ist.

4. Experimentelle Ergebnisse

Die Autoren evaluierten FloWM gegen Baselines wie History-Guided Diffusion Forcing (DFoT), DFoT-SSM und DreamerV3's RSSM.

Leistungsmetriken

Langzeit-Konsistenz: In der 2D MNIST World behielt FloWM konsistente Vorhersagen für 150 Zeitschritte über den Trainingshorizont (20 Zeitschritte) hinaus bei, während Baselines divergierten oder halluzinierten. In der 3D Block World blieb FloWM für 210 Frames konsistent, während Baselines den Kontakt zu Objekten verloren oder neue Objekte halluzinierten.
Fehlerreduktion: FloWM erreichte signifikant niedrigere MSE-Werte und höhere PSIM/SSIM-Scores im Vergleich zu allen Baselines. Beispielsweise lag der MSE von FloWM in der 3D Block World bei ~0,0006 (70 Frames) gegenüber 0,0117 für DFoT.
Lerneffizienz: Modelle, die sowohl Eigenbewegungs-Equivarianz (SME) als auch Geschwindigkeitskanäle (VC) kombinierten, benötigten um Größenordnungen weniger Trainingsschritte zur Konvergenz als ablatierte Versionen.
Downstream Planning: In einer „Finde den roten Block“-Planungsaufgabe navigierte FloWM erfolgreich zum Ziel. Baselines halluzinierten oft den Standort des Ziels, was zu einer schlechten Planungsleistung führte.
Probe-Analyse: Ein Probe-Netzwerk, das darauf trainiert wurde, Blockpositionen aus dem latenten Raum zu dekodieren, zeigte eine Genauigkeit von 96 % für FloWM gegenüber <1 % für DFoT, was bestätigt, dass FloWM eine strukturierte, equivariante Repräsentation von Objekttrajektorien lernt.

Ablationsstudien

Das Entfernen von Geschwindigkeitskanälen (VC) oder der Eigenbewegungs-Equivarianz (SME) führte zu einer signifikanten Verschlechterung der Leistung, die oft auf das Niveau oder unter das der Baseline-Diffusionsmodelle fiel, was verdeutlicht, dass beide Komponenten entscheidend für den Umgang mit partieller Beobachtbarkeit und Dynamik sind.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass prädiktive Repräsentationen fundamental leistungsfähiger sind, wenn sie in Übereinstimmung mit der zeitlichen und dynamischen Struktur der Welt organisiert sind.

Theoretische Fundierung: Die Arbeit liefert einen theoretischen Rahmen (Flow-Equivarianz), der die Notwendigkeit eines strukturierten Speichers für Weltmodelle in dynamischen, partiell beobachtbaren Umgebungen begründet.
Lösung der partiellen Beobachtbarkeit: Im Gegensatz zu bisherigen Methoden, die auf die Erweiterung von Kontextfenstern oder statische Speicherbänke setzen, handhabt FloWM die Evolution unobservierter Regionen inhärent, indem es einen Speicher aufrechterhält, der sich mit dem Weltzustand mitbewegt.
Generalisierung: Das Framework ermöglicht es Modellen, auf signifikant längere Sequenzen zu generalisieren, als während des Trainings gesehen wurden – eine kritische Fähigkeit für reale Embodied Agents.
Begrenzter Umfang: Die Autoren räumen ein, dass die aktuellen Evaluationen in kontrollierten Settings mit geometrischen Starrkörper-Aktionen stattfinden. Sie positionieren diese Arbeit als Fundament für zukünftige Erweiterungen auf Open-World-Datensätze, kontinuierliche Aktionsräume und komplexere physikalische Interaktionen.

Zusammenfassend zeigt FloWM, dass Weltmodelle durch die explizite Kodierung der Symmetrien von Bewegung in die Speicherarchitektur stabile, akkurate und halluzinationsfreie Vorhersagen über lange Horizonte in partiell beobachtbaren dynamischen Umgebungen erreichen können.