💬 NLP

From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

Dit artikel daagt het binaire onderscheid tussen large language models en wereldmodellen uit door te betogen dat LLM's een degenerat geval zijn van wereldmodellen, waarbij een continu spectrum van architecturen wordt voorgesteld van tokenvoorspelling tot simulatie in de latente ruimte, terwijl tegelijkertijd de aanzienlijke onderzoeksuitdagingen worden belicht bij het opschalen naar actie-gelabelde omgevingen en het aanpassen van transformer-architecturen voor continue staatvoorspelling.

Oorspronkelijke auteurs: Paul Dubois

Gepubliceerd 2026-06-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Paul Dubois

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Misverstand: Twee Verschillende Werelden?

Stel je voor dat de AI-gemeenschap discussieert over twee verschillende soorten reizigers.

Groep A (LLM's): Zegt: "Wij zijn slechts woordvoorspellers. We kijken naar het laatste woord dat je typte en raden het volgende. We weten niets over de echte wereld; we weten alleen hoe woorden bij elkaar passen."
Groep B (World Models): Zegt: "Wij zijn werkelijkheidssimulatoren. We bouwen een mentale kaart van hoe de wereld werkt, zodat we vooruit kunnen plannen, zoals een schaker die drie zetten vooruit denkt."

Het artikel stelt dat deze twee groepen eigenlijk naar hetzelfde kijken vanuit verschillende hoeken. De auteur, Paul Dubois, zegt: "Je kijkt niet naar twee verschillende soorten wezens; je kijdt naar een puppy en een volwassen wolf. De puppy is slechts een zeer beperkte versie van de wolf."

Claim #1: De "Puppy" is eigenlijk een "Wolf" in een kleine kamer

Het artikel beweert dat Large Language Models (LLM's) eigenlijk World Models zijn, maar dat ze vastzitten in een zeer kleine, saaie kamer.

De Kamer (State/Toestand): In een normaal World Model is de "kamer" het hele universum (auto's, weer, mensen, natuurkunde). In een LLM is de "kamer" slechts een reeks woorden.
De Actie: In een normaal World Model kun je veel dingen doen (rijden, springen, praten). In een LLM is het enige wat je kunt doen één woord toevoegen.
De Truc: Hoewel de LLM alleen wordt toegestaan om woorden toe te voegen, bouwt hij stiekem een kaart van de wereld in zijn brein (zijn verborgen lagen).
- De Analogie: Stel je een persoon voor die alleen in losse woorden mag spreken. Als je hem vraagt een schaakspel te spelen met alleen woorden als "Pion", "Koning", "Schaak", kan hij de stukken niet fysiek bewegen. Maar in zijn hoofd visualiseert hij het hele schaakbord perfect. De woorden zijn slechts de interface, maar het wereldmodel leeft in zijn geest.

Het artikel bewijst dit door aan te tonen dat modellen die alleen op tekst zijn getraind, daadwerkelijk dingen kunnen "zien" zoals de lay-out van een schaakbord of het verstrijken van de tijd, ook al zijn ze nooit direct voor die concepten onderwezen.

Claim #2: Het is een Gladde Helling, Geen Afgrond

Veel experts (zoals Yann LeCun) zeggen dat we woordvoorspellende modellen volledig moeten verlaten en moeten overstappen op een compleet nieuw systeem genaamd JEPA (een systeem dat toekomstige toestanden voorspelt in een "latente" of verborgen ruimte).

Het artikel zegt: "Spring niet van een klif af. Loop gewoon een helling op."

De auteur beschrijft een continu spectrum (een gladde glijbaan) die de eenvoudige woordvoorspeller verbindt met de complexe werkelijkheidssimulator. Je hoeft het oude model niet weg te gooien; je versoepelt simpelweg de regels één voor één.

Hier is het pad omhoog de helling op:

Het Startpunt (Standaard LLM): Voorspelt één woord tegelijk.
- Voordelen: We hebben oneindige data (het hele internet) en een perfect instrument (de Transformer-architectuur) hiervoor.
Stap 1: Multi-Token Voorspelling: Voorspelt een paar woorden tegelijk.
- Verandering: We dwingen het model niet meer om telkens één letter te raden. Het wordt een klein beetje slimmer in redeneren, maar we gebruiken nog steeds internetteksten en dezelfde tools.
Stap 2: Toekomstige Samenvatting: Voorspelt een gecomprimeerde samenvatting van de toekomst.
- Verandering: In plaats van het volgende woord te raden, raadt het de "kern" van de volgende paragraaf. Gebruikt nog steeds internettekst.
Stap 3: Volgende Latente Voorspelling: Voorspelt de volgende "gedachte" (een verborgen toestand) in plaats van een woord.
- Verandering: Het model stopt met het produceren van woorden en begint met het produceren van interne concepten. Dit is moeilijker te trainen, maar we kunnen nog steeds internettekst gebruiken.
De Top van de Helling (JEPA): Voorspelt de volgende toestand van de echte wereld op basis van een actie.
- De Grote Val: Hier verdwijnt het makkelijke deel.
  - Data Probleem: We kunnen het internet niet meer gebruiken. We hebben data nodig van robots, zelfrijdende auto's of videogames waarbij we precies weten welke actie welk resultaat veroorzaakte. Deze data is zeldzaam en moeilijk te verkrijgen.
  - Tool Probleem: Het "Transformer"-instrument dat we voor woorden gebruikten, werkt misschien niet goed voor continue werkelijkheid. We hebben mogelijk een heel nieuw instrument nodig.

De Twee Grote Bottlenecks

Het artikel identificeert twee belangrijke redenen waarom we vastzitten onderaan de helling (de LLM-fase) en de top (de JEPA-fase) nog niet hebben bereikt:

De Data-klif:
- Onderaan: We hebben biljoenen woorden op het internet om van te leren. Dat is gratis en makkelijk.
- Bovenaan: We hebben miljoenen specifieke, gelabelde interacties nodig (zoals een robot die tegen een muur botst). Dit is duur en moeilijk te verzamelen.
De Architectuur Vraag:
- Onderaan: De Transformer is een machine die specifiek voor woorden is gebouwd. Het is als een moersleutel die perfect past op een vierkante bout.
- Bovenaan: We moeten een continue werkelijkheid voorspellen (zoals vloeiende beweging). De moersleutel past er misschien niet op. We hebben misschien een heel nieuw instrument nodig, maar we weten nog niet hoe dat eruitziet.

Conclusie: Verbrand de Brug Niet

Het artikel concludeert dat we onze huidige AI-modellen niet hoeven weg te gooien.

LeCun heeft gelijk dat eenvoudige woordvoorspellers niet uit zichzelf complexe fysieke planningen kunnen uitvoeren.
Maar hij heeft ongelijk door te zeggen dat we vanaf nul moeten beginnen.

In plaats daarvan moeten we de huidige modellen zien als de eerste stap op een lange reis. We kunnen ze langzaam upgraden, stap voor stap, van het voorspellen van woorden naar het voorspellen van concepten, en uiteindelijk naar het voorspellen van de werkelijkheid. De bestemming is duidelijk, maar het pad is een geleidelijke klim, geen plotselinge sprong.

Kortom: LLM's zijn geen "nep" wereldmodellen; het zijn wereldmodellen met hun handen op de rug gebonden. Als we die handen langzaam losmaken, komen we bij de krachtige AI die we willen, zonder dat we een compleet nieuw universum hoeven uit te vinden.

Technische Samenvatting: Van Tokens naar Toestanden: LLM's als een Speciaal Geval van Wereldmodellen en het Continue Pad daarbuiten

Probleemstelling

De AI-gemeenschap frameert de relatie tussen Large Language Models (LLM's) en Wereldmodellen momenteel als een binaire dichotomie: LLM's worden beschouwd als louter token-voorspellers, terwijl Wereldmodellen worden gedefinieerd als systemen die de realiteit simuleren om planning te ondersteunen. Yann LeCun (2022) heeft beargumenteerd dat het bereiken van algemene intelligentie vereist dat men de autoregressieve token-voorspelling verlaat ten gunste van latent-ruimte-architecturen (specifiek Joint Embedding Predictive Architectures, of JEPA). Dit artikel daagt dit kader uit als onnodig binair, en stelt dat het een natuurlijk, continu spectrum van capaciteiten en architecturale evolutie maskeert. Het kernprobleem dat wordt geadresseerd, is het gebrek aan een formeel kader dat LLM's en Wereldmodellen verenigt, en de afwezigheid van een duidelijke roadmap voor de transitie van het een naar het ander zonder de praktische voordelen die LLM's in staat hebben gesteld te schalen, weg te gooien.

Methodologie en Formalisme

Het artikel hanteert een formele wiskundige benadering om de relatie tussen LLM's en Wereldmodellen te herdefiniëren, gevolgd door een structurele analyse van bestaande en opkomende architecturen.

1. Formele Inbedding van LLM's
De auteur definieert een Wereldmodel als een tupel $(S, A, T, \rho_0)$ , waarbij $S$ de toestandsruimte is, $A$ de actieruimte, $T$ de transitiefunctie, en $\rho_0$ de initiële toestandsverdeling. Het artikel bedt een autoregressieve LLM formeel in dit kader door specifieke, restrictieve keuzes te maken:

Toestandsruimte ( $S$ ): De verzameling van alle eindige tokensequenties ( $V^*$ ).
Actieruimte ( $A$ ): De vocabulaire van tokens ( $V$ ), waarbij de enige actie het aanvoegen van een token is.
Transitiefunctie ( $T$ ): Een deterministische functie die het gekozen token aan de sequentie toevoegt ( $s \cdot a$ ).
Policy ( $\pi_\theta$ ): De LLM zelf, die de waarschijnlijkheidsverdeling over het volgende token voorspelt.

Onder deze definitie fungeert de LLM simultaan als de wereldsimulator (via de transitiefunctie) en als de agent. Het artikel stelt dat LLM's een "gedegenereerd speciaal geval" zijn van Wereldmodellen, waarbij de toestandsruimte beperkt is tot discrete tokens en de transitie triviaal is.

2. De Continuüm-analyse
Het artikel construeert een spectrum dat loopt van standaard Next-Token Prediction (NTP) naar JEPA. Het analyseert dit spectrum als een sequentie van stappen, waarbij elke stap exact één restrictie van de standaard LLM-formaliteit versoepelt. De analyse volgt hoe elke versoepeling de impact heeft op twee praktische voordelen van LLM's:

Toegang tot internet-schaal zelfgesuperviseerde data.
Compatibiliteit met de Transformer-architectuur (co-ontworpen voor discrete tokens).

Belangrijkste Bijdragen

1. De Insluitingsclaim
De primaire theoretische bijdrage is het bewijs dat LLM $\subset$ Wereldmodellen. Het artikel demonstreert dat Wereldmodellen een strikte generalisatie van LLM's zijn, geen vervanging. Dit herkadert het onderzoeksdoel van "het verlaten van LLM's" naar "het progressief versoepelen van LLM-restricties."

2. Identificatie van Vijf Restricties
Het artikel isoleert vijf specifieke restricties die het LLM-speciaal geval definiëren binnen de bredere klasse van Wereldmodellen:

Toestandsrepresentatie: Beperkt tot discrete tokensequenties (vs. willekeurige continue/latente toestanden).
Actie-granulariteit: Beperkt tot één micro-token per stap (vs. semantische agent-acties).
Toestandspersistentie: Toestand moet bij elke pass opnieuw worden afgeleid uit de context (vs. expliciete opgeslagen variabelen).
Trainings-supervisie: Leunt op next-token prediction op ruwe tekst (vs. gepaarde state-action-next state tuples).
Laag-architectuur: Beperkt tot Transformers die co-ontworpen zijn voor discrete tokens.

3. De "Data Cliff" en de "Architectuurkloof"
Het artikel identificeert twee kritieke knelpunten die ontstaan wanneer men langs het spectrum beweegt:

De Data-vraag: Terwijl vroege stappen in het spectrum (NTP, Multi-Token Prediction, Future Summary) internet-schaal tekst kunnen gebruiken, vereist de laatste stap naar JEPA gepaarde (observatie, actie, volgende observatie) data uit geïnstrumenteerde omgevingen. Deze data is orden van grootte schaarser ( $\sim 10^9$ samples) dan internettekst ( $\sim 10^{13}$ tokens).
De Architectuur-vraag: De Transformer-architectuur is hoog geoptimaliseerd voor discrete tokens. Naarmate de voorspellingsdoelen verschuiven naar continue latente ruimtes (Next-Latent, JEPA), wordt de inductieve bias van de Transformer minder optimaal. Het artikel suggereert dat het veld mogelijk een "gekristalliseerde" architectuur mist voor continue-toestand voorspelling, analoog aan de Transformer voor tekst.

4. Empirische Herinterpretatie van Interne Representaties
Het artikel synthetiseert bevindingen uit mechanistische interpreteerbaarheid (bijv. OthelloGPT, Llama-2) om te betogen dat "wereldmodellen" al aanwezig zijn in de verborgen activaties van LLM's. Deze modellen coderen rijke, lineaire representaties van bordtoestanden, geografische ruimte en tijd, ondanks dat ze alleen getraind zijn op tokensequenties. Dit ondersteunt de claim dat het "wereldmodel" zich in de latente activaties bevindt, terwijl tokens slechts dienen als de interface.

Resultaten en Bewijs

Het artikel presenteert geen nieuwe experimentele resultaten, maar synthetiseert bestaand onderzoek om de theoretische claims te ondersteunen:

OthelloGPT & Chess Models: Demonstreert dat verborgen activaties volledige bordtoestanden coderen met >99% nauwkeurigheid, wat bewijst dat wereld-toestand representatie mogelijk is binnen token-voorspellende architecturen.
Multi-Token Prediction (MTP): Citeert Gloeckle et al. (2024) en DeepSeek-V3, waarbij wordt aangetoond dat het gelijktijdig voorspellen van $k$ tokens het redeneervermogen verbetert zonder de voordelen van data en architectuur op te offeren.
Future Summary & Next-Latent: Citeert Mahajan et al. (2026) en Teoh et al. (2026) om intermediaire architecturen te tonen die gecomprimeerde toekomsten of latente toestanden voorspellen, waarmee de kloof tussen NTP en JEPA wordt overbrugd.
Chain-of-Thought (CoT): Herinterpreteert CoT niet als een nieuw paradigma, maar als een mechanisme om de planning-horizon binnen het bestaande token-toestand wereldmodel te vergroten, wat effectief een beweging is langs de granulariteitsas van het spectrum.

Betekenis en Claims

Het artikel stelt dat de betekenis ligt in het opheffen van de valse binaire keuze tussen "token-voorspellers" en "wereldmodellen". Door LLM's te framen als een beperkt deelverzameling van Wereldmodellen, suggereert het een gradiëntascensie pad naar algemene intelligentie in plaats van een discontinue sprong.

Incrementele Transitie: De weg vooruit is niet het weggooien van LLM's, maar het incrementeel versoepelen van restricties. Intermediaire stappen (MTP, Future Summary, Next-Latent) bieden een manier om de wereldmodel-capaciteit te verbeteren terwijl de schaalbaarheid van internet-schaal data en Transformer-architecturen behouden blijft.
Verduidelijking van de Grens: Het artikel stelt dat de ware onderzoeksfrontlijn ligt in de transitie naar JEPA, waar zowel de beschikbaarheid van data als de architecturale fit simultaan instorten. Het suggereert dat het oplossen van het "actie-geconditioneerde wereldmodel" probleem niet alleen meer data vereist, maar potentieel een nieuwe architecturale primitief voor continue-toestand voorspelling.
Herwaardering van LeCuns Kritiek: Het artikel betoogt dat LeCun correct is dat huidige LLM's niet in staat zijn tot closed-loop planning in de fysieke wereld, maar onjuist dat dit het volledig verlaten van het token-voorspellingsparadigma vereist. In plaats daarvan laat het spectrumzicht zien dat CoT en latent-ruimte voorspelling natuurlijke extensies zijn van hetzelfde onderliggende formalisme.

Concluderend stelt het artikel dat de bestemming (actie-geconditioneerde latent-ruimte wereldmodellen) duidelijk is, maar dat het pad een continu spectrum is van architecturale en data-evolutie, en geen binaire keuze tussen twee tegengestelde technologieën.