🤖 AI

Why We Need World Models for AGI: Where LLMs Fail and How World Models May Outperform

Dieser Artikel argumentiert, dass große Sprachmodelle aufgrund einer Zielkonflikt mit den latenten Umweltdynamiken Schwierigkeiten mit der Langzeitplanung und dem kausalen Schlussfolgern haben, und zeigt anhand der „Flux"-Umgebung, dass Agenten mit explizitem Zugriff auf latente Zustandsübergänge LLMs bei stabilen, langfristigen Entscheidungsprozessen deutlich übertreffen.

Ursprüngliche Autoren: Feisal Alaswad, Batoul Aljaddouh, Maher Alrahhal, Poovammal E, Talal Bonny

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Feisal Alaswad, Batoul Aljaddouh, Maher Alrahhal, Poovammal E, Talal Bonny

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Ein Skript lesen vs. das Spiel spielen

Stellen Sie sich vor, Sie versuchen zu lernen, wie man ein komplexes Brettspiel spielt. Sie haben zwei Möglichkeiten zu lernen:

Der „Skriptleser" (Aktuelle KI/LLMs): Sie lesen eine Abschrift von Tausenden von Menschen, die das Spiel spielen. Sie werden sehr gut darin, das nächste Wort in der Geschichte zu erraten. Wenn jemand sagt: „Ich habe den Bauern nach ... bewegt", können Sie selbstbewusst vorhersagen: „... das mittlere Feld." Sie klingen wie ein Experte, weil Sie die Muster der Sprache kennen.
Der „Spielemeister" (Weltmodelle): Sie lesen nicht nur die Abschrift; Sie bauen das Spielbrett tatsächlich in Ihrem Kopf auf. Sie verstehen die Regeln, die Position jedes einzelnen Steins und genau, was passiert, wenn Sie einen Stein bewegen. Sie erraten nicht nur das nächste Wort; Sie simulieren den nächsten Zustand des Spiels.

Die Argumentation des Papiers:
Aktuelle KI (Large Language Models oder LLMs) sind erstaunliche „Skriptleser". Sie können Geschichten, Code und Antworten schreiben, die perfekt klingen. Aber die Autoren argumentieren, dass diese KIs, wenn sie Dinge versuchen, die langfristige Planung oder kausales Denken (das Herausfinden von Ursache und Wirkung) erfordern, beginnen zu versagen. Sie gehen verloren, weil sie nur das nächste Wort in einem Satz vorhersagen und nicht den tatsächlichen „Zustand" der Welt verfolgen.

Das Papier schlägt vor, dass wir, um wirklich intelligente Maschinen (AGI) zu bauen, von der bloßen Vorhersage von Wörtern zu „Weltmodellen" übergehen müssen – internen Simulationen, die verfolgen, wie sich die Welt im Laufe der Zeit verändert.

Das Kernproblem: Die „Halluzinations"-Falle

Die Autoren erklären, dass LLMs an einer spezifischen Art von Verwirrung leiden. Da sie darauf trainiert sind, das nächste Wort basierend auf Wahrscheinlichkeit vorherzusagen, priorisieren sie was plausibel klingt über was tatsächlich wahr ist.

Die Analogie: Stellen Sie sich einen Geschichtenerzähler vor, der jedes Buch in der Bibliothek gelesen hat. Wenn Sie fragen: „Was passiert, wenn ich ein Glas fallen lasse?", könnte er sagen: „Es zersplittert", weil das normalerweise in Geschichten passiert. Aber wenn Sie fragen: „Was passiert, wenn ich ein Glas fallen lasse, während ich eine schwere Kiste halte, die ich gerade fallen gelassen habe?", könnte der Geschichtenerzähler verwirrt sein. Er könnte vergessen, dass er die Kiste drei Sätze zuvor fallen gelassen hat, weil er nur auf die unmittelbaren Wörter schaut und nicht auf die gesamte physische Situation.
Das Ergebnis: Die KI erfindet Fakten (halluziniert) oder verliert den Spielzustand aus den Augen (z. B. vergisst sie, dass ein Stein vom Brett entfernt wurde), weil sie kein beständiges „mentales Modell" der Realität unterhält, die sie beschreibt.

Die Lösung: Latente Dynamik-Inferenz (LDI)

Die Autoren schlagen eine neue Denkweise namens Latente Dynamik-Inferenz (LDI) vor.

Die Metapher: Denken Sie an Sprache als ein unscharfes, niedrig aufgelöstes Foto eines echten Ereignisses.
- Das Foto (Sprache) zeigt Ihnen einen Autounfall. Es sagt Ihnen: „Das Auto ist gegen den Baum gefahren."
- Die Realität (Latenter Zustand) ist die tatsächliche Physik: die Geschwindigkeit des Autos, der Aufprallwinkel, das verbeulte Metall.
- Aktuelle KI studiert das Foto und versucht, den nächsten Satz zu erraten.
- LDI versucht, das Foto zu betrachten und die tatsächliche Physik dahinter wiederherzustellen. Es fragt: „Was müssen die Geschwindigkeit und Position des Autos gewesen sein, um dieses Foto zu verursachen?"

Indem sie versuchen, die verborgene „Physik" (den latenten Zustand) hinter den Wörtern wiederherzustellen, kann die KI viel besser über Ursache und Wirkung reasoning.

Das Experiment: Das „FLUX"-Spiel

Um dies zu beweisen, erstellten die Autoren ein einfaches Spiel namens FLUX.

Die Regeln: Die Spielregeln wurden vollständig in einfachem Englisch geschrieben (z. B. „Wenn eine Zelle null erreicht, wird sie entfernt").
Das Setup: Sie nahmen diese englischen Regeln und verwandelten sie in einen strengen, mathematischen Computersimulator (das „Weltmodell").
Der Wettkampf: Sie stellten zwei Arten von Spielern gegeneinander:
1. Der LLM-Spieler: Las die englischen Regeln und den aktuellen Spielzustand als Text. Er musste den nächsten Zug erraten, indem er das nächste Wort vorhersagte.
2. Der RL-Spieler (Reinforcement Learning): Wurde direkt innerhalb des mathematischen Simulators trainiert. Er „sah" die tatsächlichen Zahlen und Zustandsänderungen, nicht nur den Text.

Die Ergebnisse:

Der RL-Spieler (Weltmodell) gewann etwa 79 % der Spiele.
Der LLM-Spieler gewann nur etwa 11 % der Spiele.

Warum hat der LLM verloren?
Das Papier fand drei spezifische Wege, auf denen der LLM versagte, die wie „Glitches" bei einem Skriptleser sind:

Summenblindheit: Der LLM vergaß die laufende Punktzahl. Er machte weiterhin Züge, die den Punktestand über das Limit drücken würden, was zu einem sofortigen Verlust führte, weil er die Zahl nicht in seinem „Kopf", sondern nur im Text verfolgte.
Falsches Zählen der Zeilenlänge: Das Spielbrett schrumpfte, als Steine entfernt wurden. Der LLM versuchte, einen Stein zu bewegen, der nicht mehr existierte, weil er die aktuelle Form des Bretts aus den Augen verloren hatte.
Kurzfristigkeit: Der LLM machte Züge, die für den nächsten Zug gut aussahen, aber für das Spiel 10 Züge später schrecklich waren. Er konnte die zukünftigen Konsequenzen nicht „sehen".

Die Schlussfolgerung: Was dies für KI bedeutet

Das Papier kommt zu dem Schluss, dass die Vorhersage des nächsten Wortes nicht ausreicht, um einen wirklich intelligenten Agenten zu bauen.

Aktuelle KI ist wie ein brillanter Schauspieler, der ein Skript perfekt rezitieren kann, aber die Handlung nicht versteht.
Zukünftige KI (Weltmodelle) muss wie ein Regisseur sein, der die Handlung, die Motivationen der Charaktere und die Entwicklung der Geschichte versteht.

Die Autoren argumentieren, dass wir, um zu Artificial General Intelligence (AGI) zu gelangen, die KI nicht nur größer machen sollten (mehr Daten, mehr Parameter). Stattdessen müssen wir ändern, wie sie lernt. Wir müssen der KI beibringen, aufzuhören, nur das nächste Wort zu erraten, und beginnen, die verborgene „Welt" zu inferieren, die diese Wörter erzeugt.

Kurz gesagt: Um schlau zu sein, muss eine KI aufhören, das Skript zu lesen, und anfangen, das Spiel zu spielen.

Technische Zusammenfassung: Warum wir Weltmodelle für AGI benötigen

Problemstellung

Trotz der bemerkenswerten Erfolge von Large Language Models (LLMs) bei Sequenzvorhersage, wissensintensiven Aufgaben und Code-Generierung zeigen sie systematische Einschränkungen in Domänen, die kausales Schlussfolgern, die Verfolgung persistenter Zustände und die Planung über lange Zeithorizonte erfordern. Die Autoren argumentieren, dass diese Einschränkungen aus einem fundamentalen Mismatch auf Zielebene resultieren: LLMs sind darauf optimiert, Beobachtungen (Token-Sequenzen) innerhalb eines Beobachtungsraums ( $X$ ) vorherzusagen, während robuste Intelligenz in dynamischen Umgebungen die Modellierung der zugrunde liegenden latenten Zustandsübergänge ( $S$ ) und kausalen Dynamiken erfordert.

Aktuelle autoregressive Ziele priorisieren die statistische Wahrscheinlichkeit vor faktischer Verankerung oder kausaler Konsistenz. Folglich können LLMs zwar in eingeschränkten Umgebungen Verhaltensweisen von Weltmodellen approximieren, ihnen fehlen jedoch die strukturellen Mechanismen, um kohärente interne Modelle sich entwickelnder Welten aufrechtzuerhalten. Dies führt zu Fehlermodi wie Halluzinationen, Fehlern bei der Zustandsverfolgung und „Horizont-Myopie" bei Aufgaben mit langem Zeithorizont.

Methodik: Latente Dynamik-Inferenz (LDI) und FLUX

Um diese Hypothese zu untersuchen, führen die Autoren Latent Dynamics Inference (LDI) ein, ein konzeptionelles Rahmenwerk, das Sprache und multimodale Beobachtungen nicht als isolierte symbolische Sequenzen, sondern als partielle, verlustbehaftete Evidenz zugrunde liegender Umgebungs-Dynamiken interpretiert. Unter LDI verschiebt sich das Lernziel von der Vorhersage des nächsten Tokens ( $P(x_t | x_{<t})$ ) zur Inferenz der latenten Zustandsbahn ( $S$ ) und der Übergangsfunktion ( $f_\theta$ ), die die Beobachtungen generiert haben.

Um empirisch den Unterschied zwischen Schlussfolgern im Beobachtungsraum ( $X$ ) versus im latenten Zustandsraum ( $S$ ) zu testen, konstruierten die Autoren FLUX, eine neuartige sequenzielle Schlussfolgerungsumgebung mit folgenden Merkmalen:

Spezifikation: Die Spielregeln sind vollständig in natürlicher Sprache definiert und repräsentieren den Beobachtungsraum $X$ .
Mechanik: Ein Zwei-Spieler-Spiel auf einer Reihe ganzzahliger Zellen, das die Operationen „AMPLIFY" ( $\times 2$ ) und „DRAIN" ( $\lfloor \div 2 \rfloor$ ) umfasst. Es weist asymmetrische Gewinnbedingungen auf (Shrinker gewinnt, wenn die Reihe auf eine Zelle reduziert wird; Amplifier gewinnt, wenn die Summe 20 überschreitet) sowie einen Unentschieden-Breaker beim Zug 15.
Kompilierung: Die in natürlicher Sprache formulierten Regeln wurden von einem LLM in einen deterministischen, expliziten Zustandsübergangssimulator (das Weltmodell) kompiliert, der den latenten Zustandsraum $S$ und die Übergangsfunktion $f_\theta$ definiert.

Experimentelles Design

Die Studie vergleicht zwei Klassen von Agenten, die in derselben FLUX-Umgebung operieren:

LLM-Agenten: Operieren rein in $X$ . Sie erhalten natürliche Sprachbeschreibungen des aktuellen Zustands und wählen Aktionen über die Vorhersage des nächsten Tokens aus. Sie verlassen sich auf den Gesprächskontext zur Zustandsverfolgung.
Reinforcement-Learning (RL)-Agenten: Operieren direkt in $S$ . Ein tabellarischer Q-Learning-Agent wird innerhalb des kompilierten Simulators trainiert, interagiert mit den expliziten Übergangsdynamiken und lernt eine optimale Policy.

Die Evaluation umfasste 1.000 Episoden für Basislinienvergleiche (Random vs. Heuristik vs. RL) und 200 Spiele pro Modell (unter Verwendung von GPT-4o, DeepSeek-R1 und Gemini 1.5 Pro) gegen die trainierten RL-Agenten.

Hauptbeiträge

Formalisierung des Mismatch: Das Papier unterscheidet formal zwischen autoregressiver Sequenzmodellierung (Approximation von Verteilungen über Beobachtungen) und latenter Zustands-Weltmodellierung (Approximation von Dynamiken über latente Zustände) und identifiziert dies als strukturelle und nicht lediglich skalenbasierte Einschränkung.
Latente Dynamik-Inferenz (LDI): Eine neue Perspektive, die Sprache als komprimierten Beobachtungskanal latenter dynamischer Prozesse behandelt und Lernen als Inferenzproblem über Räume ( $X \to S$ ) neu definiert.
FLUX-Umgebung: Eine Proof-of-Concept-Umgebung, die in natürlicher Sprache spezifiziert, aber über ein explizites Weltmodell ausgeführt wird, was einen kontrollierten Vergleich zwischen Schlussfolgern im Beobachtungsraum und Planung im latenten Zustandsraum ermöglicht.
Empirische Evidenz: Eine kontrollierte Fallstudie, die zeigt, dass Agenten mit explizitem Zugang zu latenten Zustandsübergängen ein signifikant stabileres Verhalten über lange Zeithorizonte aufweisen als Agenten, die sich ausschließlich auf Sequenzvorhersage verlassen.

Ergebnisse

Die experimentellen Ergebnisse verdeutlichen eine deutliche Leistungslücke zwischen Agenten, die in $S$ versus in $X$ operieren:

Gewinnraten: Insgesamt erreichte der Weltmodell-(RL-)Agent eine Gewinnrate von 79 % gegen LLM-Agenten, während LLMs nur 11 % gewannen. Die verbleibenden ~10 % wurden auf ungültige Züge der LLMs zurückgeführt.
Basislinienleistung: Der im Weltmodell trainierte RL-Agent verbesserte seine Gewinnrate gegenüber zufälligem Spiel um 46,2 Prozentpunkte (89,5 % vs. 43,3 % für die Shrinker-Rolle).
Fehlermodi: Die qualitative Analyse der LLM-Fehler zeigte drei konsistente Muster:
- Summenblindheit: Versagen, eine persistente laufende Summe aufrechtzuerhalten, was zu sofortigen Verlustbedingungen führt.
- Fehlzählung der Reihenlänge: Referenzierung von Zellindizes, die nach Reihenkontraktionen nicht mehr existierten, was auf einen Zusammenbruch der latenten Zustandsverfolgung hindeutet.
- Horizont-Myopie: Treffen lokal optimaler Züge, die langfristige Gewinnbedingungen nicht antizipierten (z. B. das Auslösen der Gewinnbedingung des Shrinkers zwei Züge später).
Ungültige Züge: LLMs produzierten ungültige Aktionen (Indizes außerhalb des Bereichs, fehlerhaft formatierte Operationen) mit einer Rate von ~10 %, ein Verhalten, das mit einem „Zusammenbruch des latenten Zustands" übereinstimmt, bei dem das Modell aus Gesprächsmustern extrapoliert, anstatt einen gepflegten Weltzustand abzufragen.

Bedeutung und Behauptungen

Die Autoren positionieren diese Arbeit als kontrollierte Fallstudie und nicht als allgemeinen Beweis für die Unterlegenheit von LLMs. Die primäre Bedeutung liegt in der Demonstration, dass:

Machbarkeit der Extraktion: Es möglich ist, ein funktionales, explizites Weltmodell ( $S$ ) aus rein in natürlicher Sprache spezifizierten Vorgaben ( $X$ ) zu extrahieren.
Architektonische Notwendigkeit: Die Leistungslücke darauf hindeutet, dass für Aufgaben, die persistente Zustandsverfolgung und mehrstufiges kausales Schlussfolgern erfordern, Sequenzvorhersage allein ohne Mechanismen für explizite Zustandsentwicklung unzureichend ist.
Neuausrichtung des Lernens: Das Papier plädiert für einen Wandel in der KI-Forschung von der Optimierung der nächsten-Token-Vorhersage hin zur Optimierung der Wiederherstellung latenter Dynamiken. Es wird vorgeschlagen, dass zukünftige intelligente Systeme Korpora als indirekte Evidenz für Welt-Dynamiken behandeln und hybride Architekturen nutzen, die perzeptive Encoder, explizite Weltmodelle (latente Dynamiken) und Planungsmodule enthalten, die im Zustandsraum operieren.

Die Autoren schließen, dass LLMs zwar leistungsfähige Encoder von Weltwissen sind, ihnen jedoch die „Physik-Engine" fehlt, um dieses Wissen dynamisch auszuführen. Der Weg zu AGI, so ihre Annahme, besteht darin, die Breite der Sprache mit der kausalen, zustandsbehafteten Struktur von Weltmodellen zu integrieren.