💬 NLP

From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

Dieses Paper stellt die binäre Unterscheidung zwischen Large Language Models und Weltmodellen infrage, indem es argumentiert, dass LLMs ein degenerierter Spezialfall von Weltmodellen sind, wobei es ein kontinuierliches Spektrum von Architekturen von der Token-Vorhersage bis zur Simulation im latenten Raum vorschlägt und gleichzeitig die erheblichen Forschungsherausforderungen bei der Skalierung auf handlungsbeschriftete Umgebungen sowie der Anpassung von Transformer-Architekturen für die kontinuierliche Zustandsprädiktion hervorhebt.

Ursprüngliche Autoren: Paul Dubois

Veröffentlicht 2026-06-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Paul Dubois

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Missverständnis: Zwei verschiedene Welten?

Stellen Sie sich vor, die KI-Gemeinschaft streitet sich über zwei verschiedene Arten von Reisenden.

Gruppe A (LLMs): Sagt: „Wir sind nur Wort-Vorhersager. Wir schauen uns das letzte Wort an, das Sie getippt haben, und raten das nächste. Wir wissen nichts über die reale Welt; wir wissen nur, wie Wörter zusammenpassen.“
Gruppe B (Weltmodelle): Sagt: „Wir sind Realitäts-Simulatoren. Wir bauen eine mentale Landkarte davon auf, wie die Welt funktioniert, damit wir im Voraus planen können, wie ein Schachspieler, der drei Züge vorausdenkt.“

Die Arbeit argumentiert, dass diese beiden Gruppen eigentlich dasselbe aus verschiedenen Blickwinkeln betrachten. Der Autor, Paul Dubois, sagt: „Sie sehen nicht zwei verschiedene Spezies; Sie sehen einen Welpen und einen ausgewachsenen Wolf. Der Welpe ist nur eine sehr eingeschränkte Version des Wolfes.“

Behauptung #1: Der „Welpe“ ist eigentlich ein „Wolf“ in einem winzigen Raum

Die Arbeit behauptet, dass Large Language Models (LLMs) eigentlich Weltmodelle sind, aber sie stecken in einem sehr kleinen, langweiligen Raum fest.

Der Raum (Zustand/State): In einem normalen Weltmodell ist der „Raum“ das gesamte Universum (Autos, Wetter, Menschen, Physik). In einem LLM ist der „Raum“ nur ein Zeichenzug aus Wörtern.
Die Aktion: In einem normalen Weltmodell kann man viele Dinge tun (fahren, springen, sprechen). In einem LLM ist die einzige Sache, die man tun kann, ein Wort hinzuzufügen.
Der Trick: Obwohl das LLM nur erlaubt ist, Wörter hinzuzufügen, baut es heimlich eine Karte der Welt in seinem Gehirn (seinen verborgenen Schichten/Hidden Layers) auf.
- Die Analogie: Stellen Sie sich eine Person vor, die nur erlaubt ist, in einzelnen Wörtern zu sprechen. Wenn Sie sie bitten, ein Schachspiel zu spielen, indem sie nur Wörter wie „Bauer“, „König“, „Schach“ verwendet, kann sie die Figuren nicht physisch bewegen. Aber in ihrem Kopf visualisiert sie das gesamte Schachbrett perfekt. Die Wörter sind nur die Schnittstelle, aber das Weltmodell lebt in ihrem Geist.

Die Arbeit beweist dies, indem sie zeigt, dass Modelle, die nur auf Text trainiert wurden, tatsächlich Dinge wie das Layout eines Schachbretts oder den Verlauf der Zeit „sehen“ können, obwohl sie nie direkt darauf trainiert wurden, diese Konzepte zu verstehen.

Behauptung #2: Es ist eine sanfte Rampe, kein Abgrund

Viele Experten (wie Yann LeCun) sagen, dass wir Wort-Vorhersage-Modelle komplett aufgeben und zu einem völlig neuen System namens JEPA wechseln müssen (ein System, das zukünftige Zustände in einem „latenten“ oder verborgenen Raum vorhersagt).

Die Arbeit sagt: „Springen Sie nicht von einer Klippe. Gehen Sie stattdessen eine Rampe hoch.“

Der Autor beschreibt ein kontinuierliches Spektrum (eine glatte Rutschbahn), das den einfachen Wort-Vorhersager mit dem komplexen Realitäts-Simulator verbindet. Man muss das alte Modell nicht wegwerfen; man lockert einfach Schritt für Schritt die Regeln.

Hier ist der Weg die Rampe hinauf:

Der Ausgangspunkt (Standard-LLM): Vorhersage von einem Wort nach dem anderen.
- Vorteile: Wir haben unendliche Daten (das gesamte Internet) und ein perfektes Werkzeug (die Transformer-Architektur) dafür.
Schritt 1: Multi-Token-Vorhersage: Vorhersage von einigen wenigen Wörtern gleichzeitig.
- Veränderung: Wir hören auf, das Modell zu zwingen, immer nur ein einzelnes Zeichen nach dem anderen zu raten. Es wird ein kleines Stück klüger im logischen Denken, aber wir nutzen immer noch Internet-Texte und dieselben Werkzeuge.
Schritt 2: Zusammenfassung der Zukunft: Vorhersage einer komprimierten Zusammenfassung der Zukunft.
- Veränderung: Anstatt das nächste Wort zu erraten, rät es den „Kern“ des nächsten Absatzes. Nutzt immer noch Internet-Texte.
Schritt 3: Nächste-Latent-Vorhersage: Vorhersage des nächsten „Gedankens“ (eines verborgenen Zustands) anstatt eines Wortes.
- Veränderung: Das Modell hört auf, Wörter auszugeben, und beginnt, interne Konzepte auszuge-geben. Dies ist schwieriger zu trainieren, aber wir können immer noch Internet-Texte verwenden.
Das Ende der Rampe (JEPA): Vorhersage des nächsten Zustands der realen Welt basierend auf einer Aktion.
- Der große Abgrund: Hier verschwindet das Einfache.
  - Das Datenproblem: Wir können das Internet nicht mehr nutzen. Wir brauchen Daten von Robotern, selbstfahrenden Autos oder Videospielen, bei denen wir genau wissen, welche Aktion welches Ergebnis verursacht hat. Diese Daten sind selten und schwer zu bekommen.
  - Das Werkzeugproblem: Das „Transformer“-Werkzeug, das wir für Wörter verwendet haben, funktioniert vielleicht nicht gut für die kontinuierliche Realität. Wir brauchen vielleicht ein völlig neues Werkzeug.

Die zwei großen Engpässe

Die Arbeit identifiziert zwei Hauptgründe, warum wir am unteren Ende der Rampe (der LLM-Stufe) feststecken und die Spitze (die JEPA-Stufe) noch nicht erreicht haben:

Der Daten-Abgrund (Data Cliff):
- Am unteren Ende: Wir haben Billionen von Wörtern im Internet, aus denen wir lernen können. Es ist kostenlos und einfach.
- Am oberen Ende: Wir brauchen Millionen spezifischer, beschrifteter Interaktionen (wie ein Roboter, der gegen eine Wand stößt). Das ist teuer und schwer zu sammeln.
Die Architekturfrage:
- Am unteren Ende: Der Transformer ist eine Maschine, die speziell für Wörter gebaut wurde. Er ist wie ein Schraubenschlüssel, der perfekt auf eine Viereckmutter passt.
- Am oberen Ende: Wir müssen die kontinuierliche Realität vorhersagen (wie flüssige Bewegungen). Der Schraubenschlüssel passt vielleicht nicht. Wir brauchen vielleicht ein ganz neues Werkzeug, aber wir wissen noch nicht, wie es aussieht.

Fazit: Brennt die Brücke nicht nieder

Die Arbeit kommt zu dem Schluss, dass wir unsere aktuellen KI-Modelle nicht wegwerfen müssen.

LeCun hat recht, dass einfache Wort-Vorhersage-Modelle allein keine komplexen physischen Planungen durchführen können.
Aber er irrt sich, wenn er sagt, dass wir wieder bei Null anfangen müssen.

Stattdessen sollten wir die aktuellen Modelle als den ersten Schritt auf einer langen Reise betrachten. Wir können sie schrittweise verbessern, indem wir von der Vorhersage von Wörtern zur Vorhersage von Konzepten und schließlich zur Vorhersage der Realität übergehen. Das Ziel ist klar, aber der Weg ist ein allmählicher Aufstieg, kein plötzlicher Sprung.

Kurz gesagt: LLMs sind keine „falschen“ Weltmodelle; sie sind nur Weltmodelle, deren Hände auf dem Rücken gebunden sind. Wenn wir diese Hände langsam entbinden, gelangen wir zur leistungsstarken KI, die wir wollen, ohne ein völlig neues Universum erfinden zu müssen.

Technisches Resümee: Von Tokens zu Zuständen: LLMs als ein Spezialfall von Weltmodellen und der kontinuierliche Pfad darüber hinaus

Problemstellung

Die KI-Community betrachtet das Verhältnis zwischen Large Language Models (LLMs) und Weltmodellen derzeit als eine binäre Dichotomie: LLMs werden als bloße Token-Prädiktoren angesehen, während Weltmodelle als Systeme definiert werden, die die Realität simulieren, um Planung zu unterstützen. Yann LeCun (22) hat argumentiert, dass das Erreichen allgemeiner Intelligenz das Verlassen der autoregressiven Token-Vorhersage zugunsten von Latent-Space-Architekturen (speziell Joint Embedding Predictive Architectures, oder JEPA) erfordert. Dieses Paper stellt diese Rahmung als unnötig binär dar und argumentiert, dass sie ein natürliches, kontinuierliches Spektrum an Fähigkeiten und architektonischer Evolution verschleiert. Das Kernproblem ist das Fehlen eines formalen Rahmens, der LLMs und Weltmodelle vereinheitlicht, sowie das Fehlen einer klaren Roadmap für den Übergang von einem zum anderen, ohne die praktischen Vorteile zu opfern, die LLMs ermöglicht haben.

Methodik und Formalismus

Das Paper verwendet einen formalen mathematischen Ansatz, um die Beziehung zwischen LLMs und Weltmodellen neu zu definieren, gefolgt von einer strukturellen Analyse bestehender und aufkommender Architekturen.

1. Formale Einbettung von LLMs
Der Autor definiert ein Weltmodell als ein Tupel $(S, A, T, \rho_0)$ , wobei $S$ der Zustandsraum, $A$ der Aktionsraum, $T$ die Übergangsfunktion und $\rho_0$ die initiale Zustandsverteilung ist. Das Paper bettet ein autoregressives LLM formal in diesen Rahmen ein, indem es spezifische, restriktive Entscheidungen trifft:

Zustandsraum ( $S$ ): Die Menge aller endlichen Token-Sequenzen ( $V^*$ ).
Aktionsraum ( $A$ ): Das Vokabular der Tokens ( $V$ ), wobei die einzige Aktion das Anhängen eines Tokens ist.
Übergangsfunktion ( $T$ ): Eine deterministische Funktion, die das gewählte Token an die Sequenz anhängt ( $s \cdot a$ ).
Policy ( $\pi_\theta$ ): Das LLM selbst, welches die Wahrscheinlichkeitsverteilung über das nächste Token vorhersagt.

Unter dieser Definition fungiert das LLM gleichzeitig als der Welt-Simulator (über die Übergangsfunktion) und als der Agent. Das Paper argumentiert, dass LLMs ein „degenerierter Spezialfall“ von Weltmodellen sind, bei dem der Zustandsraum auf diskrete Tokens beschränkt ist und der Übergang trivial ist.

2. Die Analyse des kontinuierlichen Spektrums
Das Paper konstruiert ein Spektrum, das von der Standard-Next-Token-Prediction (NTP) bis hin zu JEPA reicht. Es analysiert dieses Spektrum als eine Sequenz von Schritten, wobei jeder Schritt genau eine Einschränkung des Standard-LLM-Formalismus lockert. Die Analyse verfolgt, wie jede Lockerung zwei praktische Vorteile von LLMs beeinflusst:

Zugang zu Internet-weiten Self-Supervised-Daten.
Kompatibilität mit der Transformer-Architektur (mit diskreten Tokens ko-designed).

Zentrale Beiträge

1. Die Containment-Behauptung (Einschlussbehauptung)
Der primäre theoretische Beitrag ist der Beweis, dass LLMs $\subset$ Weltmodelle. Das Paper zeigt, dass Weltmodelle eine strikte Verallgemeinerung von LLMs sind, kein Ersatz. Dies definiert das Forschungsziel neu: weg vom „Verlassen von LLMs“ hin zum „progressiven Lockern von LLM-Constraints“.

2. Identifikation von fünf Constraints
Das Paper isoliert fünf spezifische Constraints, die den LLM-Spezialfall innerhalb der breiteren Klasse der Weltmodelle definieren:

Zustandsrepräsentation: Beschränkt auf diskrete Token-Sequenzen (vs. beliebige kontinuierliche/latente Zustände).
Aktions-Granularität: Beschränkt auf ein Mikro-Token pro Schritt (vs. semantische Agenten-Aktionen).
Zustands-Persistenz: Der Zustand muss bei jedem Durchgang aus dem Kontext neu abgeleitet werden (vs. explizit gespeicherte Variablen).
Trainings-Supervision: Verlässt sich auf Next-Token-Prediction auf Rohtext (vs. gepaarte State-Action-Next-State-Tupel).
Schicht-Architektur: Beschränkt auf Transformer, die für diskrete Tokens ko-designed wurden.

3. Der „Data Cliff“ und die „Architecture Gap“
Das Paper identifiziert zwei kritische Engpässe, die entstehen, wenn man sich entlang des Spektrums bewegt:

Die Daten-Frage: Während frühe Spektrum-Schritte (NTP, Multi-Token Prediction, Future Summary) Internet-weite Texte nutzen können, erfordert der letzte Schritt zu JEPA gepaarte (Beobachtung, Aktion, nächste Beobachtung) Daten aus instrumentierten Umgebungen. Diese Daten sind um Größenordnungen seltener ( $\sim 10^9$ Samples) als Internet-Text ( $\sim 10^{13}$ Tokens).
Die Architektur-Frage: Die Transformer-Architektur ist hochgradig optimiert für diskrete Tokens. Wenn die Vorhersageziele zu kontinuierlichen latenten Räumen übergehen (Next-Latent, JEPA), wird der induktive Bias des Transformers weniger optimal. Das Paper legt nahe, dass dem Feld eine „kristallisierte“ Architektur für die Vorhersage kontinuierlicher Zustände fehlt, analog zum Transformer für Text.

4. Empirische Reinterpretation interner Repräsentationen
Das Paper synthetisiert Erkenntnisse der Mechanistic Interpretability (z. B. OthelloGPT, Llama-2), um zu argumentieren, dass „Weltmodelle“ bereits in LLMs existieren. Diese Modelle kodieren reiche, lineare Repräsentationen von Brettzuständen, geografischem Raum und Zeit in ihren Hidden Activations, obwohl sie nur auf Token-Sequenzen trainiert wurden. Dies stützt die Behauptung, dass das „Weltmodell“ in den latenten Aktivierungen residiert, während Tokens lediglich als Interface dienen.

Ergebnisse und Evidenz

Das Paper präsentiert keine neuen experimentellen Ergebnisse, sondern synthetisiert bestehende Forschung, um seine theoretischen Ansprüche zu stützen:

OthelloGPT & Schachmodelle: Zeigen, dass Hidden Activations vollständige Brettzustände mit $>99\%$ Genauigkeit kodieren, was beweist, dass die Repräsentation eines Weltzustands innerhalb von Token-vorhersagenden Architekturen möglich ist.
Multi-Token Prediction (MTP): Zitiert Gloeckle et al. (2024) und DeepSeek-V3, um zu zeigen, dass das gleichzeitige Vorhersagen von $k$ Tokens das Reasoning verbessert, ohne die Vorteile bei Daten und Architektur zu opfern.
Future Summary & Next-Latent: Zitiert Mahajan et al. (2026) und Teoh et al. (2026), um intermediäre Architekturen aufzuzeigen, die komprimierte Zukünfte oder latente Zustände vorhersagen und so die Lücke zwischen NTP und JEPA schließen.
Chain-of-Thought (CoT): Reinterpretiert CoT nicht als neues Paradigma, sondern als Mechanismus, um den Planungshorizont innerhalb des bestehenden Token-State-Weltmodells zu vergrößern, was effektiv eine Bewegung entlang der Granularitätsachse des Spektrums darstellt.

Bedeutung und Behauptungen

Das Paper behauptet, dass seine Bedeutung darin liegt, die falsche Binärität zwischen „Token-Prädiktoren“ und „Weltmodellen“ aufzulösen. Durch die Rahmung von LLMs als eingeschränkte Teilmenge von Weltmodellen legt es nahe, dass der Weg zur allgemeinen Intelligenz ein Gradient Ascent (Gradientenaufstieg) ist und kein diskontinuierlicher Sprung.

Inkrementeller Übergang: Der Weg nach vorne besteht nicht darin, LLMs zu verwerfen, sondern darin, Constraints inkrementell zu lockern. Intermediäre Schritte (MTP, Future Summary, Next-Latent) bieten einen Weg, die Weltmodell-Kapazität zu verbessern und gleichzeitig die Skalierbarkeit von Internet-weiten Daten und Transformer-Architekturen beizubehalten.
Klärung der Grenze: Das Paper postuliert, dass die wahre Forschungsfront im Übergang zu JEPA liegt, wo sowohl die Datenverfügbarkeit als auch der architektonische Fit gleichzeitig kollabieren. Es deutet darauf an, dass die Lösung des „Action-Conditioned World Model“-Problems nicht nur mehr Daten erfordert, sondern potenziell ein neues architektonisches Primitiv für die Vorhersage kontinuierlicher Zustände.
Neubewertung von LeCuns Kritik: Das Paper argumentiert, dass LeCun recht hat, wenn er sagt, dass aktuelle LLMs keine Closed-Loop-Planung in der physischen Welt durchführen können, aber falsch liegt, wenn er behauptet, dass dies das Verlassen des Token-Vorhersage-Paradigmas erfordert. Stattdessen zeigt die Spektrum-Perspektive, dass CoT und Latent-Space-Vorhersage natürliche Erweiterungen desselben zugrunde liegenden Formalismus sind.

Zusammenfassend lässt sich sagen, dass das Papier behauptet, dass das Ziel (aktionsbedingte Latent-Space-Weltmodelle) klar ist, der Weg jedoch ein kontinuierliches Spektrum der architektonischen und datentechnischen Evolution darstellt, nicht eine binäre Wahl zwischen zwei gegensätzlichen Technologien.