🤖 machine learning

World Machine: Towards Generative World Modeling for Time-Series

Das Papier stellt World Machine vor, ein auf Transformern basierendes generatives Weltmodell für Zeitreihen, das latente Zustände nutzt, um lineare Skalierbarkeit und Anpassungsfähigkeit über unterschiedliche Datenkontexte hinweg zu erreichen und die quadratischen rechnerischen Beschränkungen traditioneller Transformer zu überwinden.

Ursprüngliche Autoren: Elton Cardoso do Nascimento, Alexandre da Silva Simões, Esther Luna Colombini, Ricardo Ribeiro Gudwin, Paula Dornhofer Paro Costa

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Elton Cardoso do Nascimento, Alexandre da Silva Simões, Esther Luna Colombini, Ricardo Ribeiro Gudwin, Paula Dornhofer Paro Costa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Volleyballspieler. Dieser reagiert nicht nur auf den Ball, wenn er ihn trifft, sondern vorhersagt, wohin er fliegen wird, bevor er dort ankommt. Sein Gehirn baut einen unsichtbaren, internen Film des Spiels auf, der die Flugbahn des Balls, die Bewegungen der anderen Spieler und die Physik des Netzes simuliert. Dieser interne Film ist das, was Wissenschaftler als „Weltmodell" bezeichnen.

Das von Ihnen bereitgestellte Papier stellt ein neues KI-System namens World Machine vor, das darauf ausgelegt ist, diese internen Filme zu erstellen, jedoch speziell für Zeitreihendaten (Daten, die sich über die Zeit verändern, wie Aktienkurse, Wettermuster oder Sensormesswerte).

Hier ist eine Aufschlüsselung der Funktionsweise, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Speichermauer"

Traditionelle KI-Modelle (wie die, die viele Chatbots antreiben) sind wie Schüler, die versuchen, ein ganzes Buch auswendig zu lernen, um eine Frage über Seite 50 zu beantworten. Je länger das Buch wird, desto explosiv (quadratisch) wächst der Aufwand, sich alles zu merken. Wenn Sie möchten, dass die KI die Zukunft basierend auf einer langen Historie vorhersagt, wird sie zu schwerfällig und langsam, um sie zu verarbeiten.

2. Die Lösung: Die „World Machine"

Die World Machine ist eine neue Art von KI, die nicht versucht, jedes einzelne Detail der Vergangenheit auswendig zu lernen. Stattdessen erstellt sie eine komprimierte Zusammenfassung der Welt zu einem gegebenen Zeitpunkt.

Der „Latente Zustand" (Der interne Schnappschuss): Stellen Sie sich vor, die KI macht ein Foto der aktuellen Situation und verkleinert es zu einem einzigen, winzigen, abstrakten „Schnappschuss" (einem latenten Zustand). Dieser Schnappschuss enthält alles, was die KI wissen muss, um vorherzusagen, was als Nächstes passiert.
Der „Kern" (Der Simulator): Die KI besitzt ein Gehirn namens „Kern". Anstatt das gesamte Geschichtsbuch zu lesen, betrachtet der Kern den vorherigen Schnappschuss und die aktuelle sensorische Eingabe (was es gerade sieht/hört), um den nächsten Schnappschuss zu generieren.
Das Ergebnis: Es kann die Zukunft vorhersagen, indem es einfach diese Schnappschüsse aneinanderreiht, wodurch die Notwendigkeit entfällt, jedes Mal die gesamte Historie erneut zu lesen.

3. Wie es lernt: Das „Zustandsentdeckungs"-Spiel

Hier kommt der knifflige Teil: Die KI weiß am Anfang nicht, wie diese „Schnappschüsse" aussehen sollen. Sie muss sie erfinden.

Die Autoren haben ein spezielles Trainingsspiel namens Zustandsentdeckung (State Discovery) entwickelt:

Das Setup: Die KI erhält eine Datenfolge (wie ein Video eines springenden Balls).
Die Vermutung: Die KI versucht zu erraten, wie der „Schnappschuss" für jeden Moment aussehen sollte.
Die Verschiebung: Nach dem Erraten nimmt die KI ihre eigenen Vermutungen, verschiebt sie in der Zeit nach vorne und verwendet sie als „Wahrheit" für die nächste Trainingsrunde.
Die Schleife: Im Laufe der Zeit lernt die KI, Schnappschüsse zu erstellen, die so gut sind, dass sie die zukünftigen Daten eigenständig genau wiedergeben können.

4. Das Trainingsstudio: „Unterbrechen der Sequenz"

Um die KI wirklich stark zu machen, ließen die Autoren sie nicht einfach normal trainieren. Sie nutzten ein „Trainingsstudio" mit speziellen Übungen (Protokollen), um die KI zu zwingen, besser zu lernen:

Sensorisches Maskieren: Sie verdecken Teile der Daten (wie eine Augenbinde auf die KI) und zwingen sie, das Fehlende nur mithilfe ihres internen Schnappschusses zu erraten.
Unterbrechen der Sequenz: Sie zerschneiden die Daten in zufällige Stücke. Die KI muss lernen, die Geschichte in der Mitte aufzugreifen, ohne das Anfangsstück zu sehen. Dies lehrt sie, sich auf ihren internen Schnappschuss zu verlassen, anstatt nur auf den vorherigen Satz.
Rauscheinjection: Sie fügen statisches Rauschen oder „Nebel" zu den Daten hinzu, damit die KI lernt, durch das Rauschen hindurchzusehen.

5. Der Test: Die „Flache Vorhersage"-Herausforderung

Die Autoren testeten die World Machine auf einem synthetischen Datensatz namens Toy1D (eine erfundene, einfache Welt aus springenden Bällen und Wellen).

Der wichtigste Test hieß „Vorhersage flach" (Prediction Shallow).

Die Herausforderung: Die KI sah die erste Hälfte einer Sequenz und wurde dann aufgefordert, die gesamte zweite Hälfte vorherzusagen, indem sie nur den allerletzten Schnappschuss verwendete, den sie hatte. Es war ihr nicht erlaubt, auf die vorherigen 49 Schritte zurückzugreifen.
Warum es wichtig ist: Dies beweist, dass die KI tatsächlich die „Regeln der Welt" (die Physik) gelernt hat und nicht nur eine lange Liste von Zahlen auswendig gelernt hat. Wenn sie die Zukunft aus nur einem winzigen Schnappschuss vorhersagen kann, bedeutet dies, dass sie ein echtes Verständnis des Systems hat.

6. Die Ergebnisse

Es funktioniert: Die World Machine hat erfolgreich gelernt, diese internen Schnappschüsse zu erstellen und die Zukunft vorherzusagen.
Es ist effizient: Indem sie nur den letzten Schnappschuss verwendet, um die Zukunft vorherzusagen, umgeht sie das schwere Problem der „Speichermauer" traditioneller KI.
Der Haken: Sie hat immer noch ein wenig Schwierigkeiten, wenn die Daten sehr komplex oder hochfrequent sind (wie ein sehr schnell bewegender Ball), und sie erfordert einen spezifischen, etwas komplexen Trainingsprozess, um die „Schnappschüsse" richtig zu bekommen.

Zusammenfassende Analogie

Stellen Sie sich traditionelle KI als einen Fotografen vor, der von jedem einzelnen Schritt eines Tanzes ein Foto macht, um die Choreografie zu merken. Wenn der Tanz lang ist, haben sie ein riesiges Album.

Die World Machine ist ein Choreograf. Er muss nicht jeden Schritt sehen. Er versteht den Stil und die Physik des Tanzes. Wenn Sie ihm die letzte Bewegung zeigen, kann er die nächsten drei Bewegungen perfekt vorstellen, weil er einen internen „Film" davon aufgebaut hat, wie der Tanz funktioniert, und nicht nur ein Fotoalbum.

Das Papier beweist, dass dieser „Choreograf"-Ansatz möglich ist und trainiert werden kann, um fehlende Informationen zu verarbeiten, obwohl er im Vergleich zu den „Fotografen", die wir heute verwenden, noch ein Werk im Fortschritt ist.

Technische Zusammenfassung: World Machine: Hin zu generativer Weltmodellierung für Zeitreihen

1. Problemstellung

Aktuelle generative KI-Modelle, insbesondere solche, die auf Transformern basieren, stehen vor erheblichen Herausforderungen bei der Schaffung echter „Weltmodelle" – Systeme, die ein prädiktives Verständnis und eine kontrollierbare Simulation von Umgebungen ermöglichen. Herkömmliche Transformer leiden unter quadratischen Rechen- und Speicherkosten in Relation zur Kontextlänge, was ihre Skalierbarkeit für lange zeitliche Sequenzen begrenzt. Darüber hinaus verlassen sich bestehende Ansätze oft auf handgefertigte Regeln oder konzentrieren sich ausschließlich auf Korrelationen zwischen sensorischen Strömen, ohne die internen latenten Zustände, die diese Beobachtungen erzeugen, explizit zu modellieren. Es besteht ein Bedarf an einer Architektur, die:

Sich an unterschiedliche Mengen beobachteter Daten und Kontexte anpassen kann.
Interne Weltzustände (latente Repräsentationen) explizit modelliert und nicht nur sensorische Korrelationen.
Die Inferenzkosten reduziert, indem sie Vorhersagen aus gekürzten Kontexten (z. B. einem einzigen vorherigen Zustand) ermöglicht, ohne auf die gesamte Historie angewiesen zu sein.
Heterogene Daten und mehrere sensorische Kanäle (potenziell multimodal) verarbeitet.

2. Methodik

2.1. Die World Machine-Architektur

Die World Machine ist eine generative, multimodale Architektur zur Modellierung von Zeitreihen, die auf Decoder-only-Transformern basiert, die auf latenten Weltzuständen ($ws$) operieren.

Latente Weltzustände ($ws$): Dies sind reellwertige Vektoren, die die aktuelle Konfiguration der simulierten Welt kodieren, analog zu Embeddings in Standard-Transformern, sich jedoch mit einer festen Simulationsfrequenz über die Zeit entwickeln.
Sensorische Kanäle: Das Modell verarbeitet Eingabe- und Ausgabesensordaten durch spezifische Kanäle. Eingabekanäle durchlaufen Pre-Encoder, während das Modell $ws$ decodiert, um Ausgabesensordaten zu erzeugen.
Der Kern: Die Simulationsengine besteht aus Transformer-Blöcken. Sie nutzt Sensorische Blöcke (speziell vom Typ adaLn-Zero), die den latenten Zustand über Skalierung und Verschiebung an Sensordaten konditionieren. Fehlen Sensordaten in einem Schritt, überspringt der Block diese Operationen.
Positionscodierung: Das Modell verwendet ALiBi (Attention with Linear Biases) anstelle von sinusförmigen Codierungen. Dies ermöglicht unbeschränkte Sequenzgrößen und injiziert Positionsinformationen direkt in die Aufmerksamkeitsmatrix, ohne die Embeddings der latenten Zustände zu stören.
Zustandsaktivierung: Eine tanh-Aktivierung wird auf den Zustandsausgang angewendet, um die Modellstabilität sicherzustellen.

2.2. Trainingsprotokoll: Zustandserkennung

Eine primäre Herausforderung besteht darin, dass der Kern auf latenten Zuständen ($ws$) operiert, die nicht als Ground Truth bereitgestellt werden. Um dies zu lösen, schlagen die Autoren einen Prozess der Zustandserkennung vor:

Initialisierung: Latente Zustände werden mit einer Gleichverteilung initialisiert.
Iterative Aktualisierung: Während des Trainings werden die vom Kern vorhergesagten Zustände ( $\hat{ws}$ ) zeitlich verschoben (mittels eines „Shift to Left"-Operators) und als Eingabe für die nächste Epoche zurückgespeist. Der erste Zustand jeder Sequenz wird auf einen Nullvektor zurückgesetzt.
Optimierung: Das Modell wird darauf trainiert, die Sensordaten des nächsten Zeitschritts vorherzusagen (analog zur Next-Token-Vorhersage) unter Verwendung einer gewichteten Summe von Verlusten über die Ausgabedimensionen hinweg. Dies zwingt die $ws$, notwendige Informationen zu kodieren, um die Sensordaten zu rekonstruieren.

2.3. Erweiterte Trainingsprotokolle

Um die Repräsentationsqualität und Robustheit zu verbessern, umfasst das Trainingsprotokoll mehrere spezifische Schritte:

Sensorisches Maskieren: Sensordaten werden während des Trainings zufällig ausgeblendet, um das Modell zu zwingen, sich bei fehlenden Daten auf latente Zustände zu verlassen.
Sequenzunterbrechung: Sequenzen werden in zufällige Segmente aufgeteilt. Das Modell muss Zustände in der Mitte einer Sequenz ohne vorausgehende Daten verarbeiten. Ein „Fast Forward"-Mechanismus verschiebt den letzten Zustand eines Segments zum ersten des nächsten, um Informationsgradienten zu propagieren.
Rauschen hinzufügen: Gaußsches Rauschen wird zu $ws$ und/oder sensorischen Dimensionen hinzugefügt.
Kurzzeit-Erinnerung: Es werden synthetische Kanäle erstellt, die vergangene oder zukünftige Daten relativ zum aktuellen Schritt repräsentieren, um den zeitlichen Kontext zu verbessern.
Lokaler Modus: Die Aufmerksamkeitsmechanik wird zufällig für Segmente deaktiviert, wodurch das Modell gezwungen wird, sich ausschließlich auf den aktuellen $ws$ und unmittelbare Sensordaten zu verlassen (ähnlich der Verarbeitung des versteckten Zustands in RNNs).

2.4. Evaluierungsrahmen

Die Autoren stellen den Toy1D-Datensatz vor, eine synthetische 1D-Zeitreihe, die ein gedämpftes physikalisches System mit zufälligen Anfangszuständen und Impuls-/Rechteckwellen-Eingaben darstellt. Die Evaluierungsaufgaben umfassen:

Flache Vorhersage (Prediction Shallow): Inferenz der zukünftigen 50 % einer Sequenz unter Verwendung nur des letzten kodierten Zustands (keine Sensordaten). Dies testet die Fähigkeiten zur Kontextkürzung.
Zustand nutzen (Use State): Erzeugung von Ausgaben aus zuvor kodierten Zuständen ohne Sensoreingabe.
Sensoren maskieren (Mask Sensory): Erzeugung von Sequenzen mit zufälligen Prozentsätzen maskierter Sensordaten.
Auswirkungsprüfung (Impact Testing): Eine statistische Methode (unter Verwendung von Wilcoxon-Vorzeichen-Rang-Tests), um den Einfluss spezifischer Hyperparameter und Protokollschritte auf Leistung und Trainingszeit zu quantifizieren.

3. Hauptbeiträge

Neuartige Architektur: Einführung der World Machine, einer einheitlichen End-to-End-Architektur, die interne latente Zustände ($ws$) explizit modelliert und nicht nur sensorische Korrelationen, und Erfahrung als Markov-Prozess höherer Ordnung behandelt.
Protokoll zur Zustandserkennung: Ein Trainingsmechanismus, der es dem Modell ermöglicht zu lernen, latente Zustände zu kodieren und zu entwickeln, ohne Ground-Truth-Zustandslabels, was eine autoregressive Inferenz von einem Nullvektor aus ermöglicht.
Fähigkeit zur Kontextkürzung: Demonstration der Fähigkeit, Inferenz mit gekürzten Kontexten durchzuführen (insbesondere die Aufgabe „Prediction Shallow"), was einen potenziellen Weg zur Reduzierung der quadratischen Kosten bietet, die mit Standard-Transformern verbunden sind.
Umfassende Auswirkungsanalyse: Eine systematische Evaluierung der Komponenten des Trainingsprotokolls (z. B. Maskierung, Sequenzunterbrechung, lokaler Modus) unter Verwendung eines Auswirkungsprüfungsrahmens, um ihren spezifischen Beitrag zur Leistung und zu den Kosten zu bestimmen.
Open-Source-Baseline: Veröffentlichung der Architektur, des Trainingsprotokolls und des synthetischen Datensatzes, um die Intransparenz aktueller großskaliger Weltmodelle zu adressieren.

4. Ergebnisse

Experimente wurden auf dem Toy1D-Datensatz mit verschiedenen Modellkonfigurationen und Trainingsprotokollen durchgeführt.

Trainierbarkeit: Die Technik der Zustandserkennung ermöglichte es dem Modell erfolgreich zu trainieren, wie durch abnehmende Verlustkurven belegt wird.
Aufgabenleistung:
- Modelle schnitten bei der „Normalen" autoregressiven Inferenz am besten ab.
- Das Basis-Modell (nur mit Zustandserkennung) scheiterte bei Aufgaben, die das Fehlen von Sensordaten erfordern.
- Das Vollständige Protokoll (unter Einbeziehung von Maskierung, Sequenzunterbrechung, Rauschen usw.) zeigte signifikante Verbesserungen, insbesondere bei der Aufgabe Prediction Shallow, obwohl diese weiterhin die herausforderndste blieb.
- Qualitative Ergebnisse zeigten kohärente Vorhersagen, insbesondere wenn Sensordaten verfügbar waren, obwohl hochfrequente Sequenzen schwierig blieben.
Protokollauswirkung:
- Stabilität: Die Verwendung der tanh-Zustandsaktivierung war kritisch; deren Entfernung (ersetzt durch MSE-Regularisierung) verursachte eine Divergenzrate von fast 20 %, während deren Beibehaltung die Divergenz auf <1 % reduzierte.
- Leistung: Die Aufgabe „Prediction Shallow" zeigte die größte Varianz. Die beste empirische Konfiguration (Kombination aus Sequenzunterbrechung, spezifischen Blockkonfigurationen, Rauschen hinzufügen und lokalem Modus) erreichte nach 1.000 Epochen einen Prediction Shallow MSE von 0,3435.
- Kosten/Nutzen: Die Variable Lokaler Modus zeigte einen positiven Einfluss sowohl auf die Leistung als auch auf die Trainingszeit, da sie den teuren Aufmerksamkeitsmechanismus umgeht.
- Korrelation: Die Aufgaben „Use State" und „Prediction Shallow" zeigten eine geringe Korrelation mit anderen Aufgaben, was darauf hindeutet, dass sie einzigartige und notwendige Evaluatoren für Weltmodellierungsfähigkeiten sind.

5. Bedeutung und Behauptungen

Das Papier positioniert die World Machine als grundlegenden Schritt hin zu generativer Weltmodellierung, die prädiktives Verständnis mit kontrollierbarer Simulation in Einklang bringt.

Effizienz: Die Fähigkeit, zukünftige Zustände aus einem einzigen latenten Zustand abzuleiten (Prediction Shallow), deutet auf ein Potenzial hin, die quadratischen Skalierungsprobleme aktueller Transformer zu mildern und einen kosteneffektiveren Ansatz für Planungen mit langem Horizont zu bieten.
Anpassungsfähigkeit: Die Architektur ist so konzipiert, dass sie fehlende Daten und variierende Sensoreingaben verarbeitet, was sie für komplexe, dynamische Umgebungen geeignet macht, in denen eine vollständige Beobachtung nicht immer möglich ist.
Transparenz: Durch die Veröffentlichung einer vollständig reproduzierbaren, Open-Source-Baseline zielen die Autoren darauf ab, die Mechanismen von Weltmodellen zu entmystifizieren, die in großen proprietären Systemen oft intransparent sind.
Zukunftspotenzial: Die Autoren schlagen vor, dass der Ansatz auf multimodale Probleme (z. B. visuell-inertiale Odometrie) und Large Language Models (LLMs) angewendet werden könnte, um Inferenzkosten zu senken und die Kontrolle über den Trade-off zwischen Qualität und Kosten zu verbessern. Sie erkennen zudem die Notwendigkeit zukünftiger Arbeiten an, um reale multimodale Datensätze zu testen und ethische Bedenken hinsichtlich Datengenerierung und Umweltkosten anzugehen.

Das Papier schließt, dass die aktuellen Ergebnisse auf synthetischen Daten zwar vielversprechend sind, die Architektur jedoch trainierbar ist und kohärente Vorhersagen generieren kann, was die Machbarkeit der vorgeschlagenen Zustandserkennung und Trainingsprotokolle validiert.