💬 NLP

From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

Cet article remet en question la distinction binaire entre les modèles de langage de grande taille et les modèles de monde en soutenant que les LLM sont un cas particulier dégénéré de modèles de monde, proposant un spectre continu d'architectures allant de la prédiction de jetons à la simulation dans l'espace latent, tout en soulignant les défis de recherche importants liés au passage à l'échelle vers des environnements étiquetés par des actions et à l'adaptation des architectures transformer pour la prédiction d'états continus.

Auteurs originaux : Paul Dubois

Publié 2026-06-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paul Dubois

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le grand malentendu : Deux mondes différents ?

Imaginez que la communauté de l'IA se dispute à propos de deux types de voyageurs différents.

Groupe A (LLM) : Dit : « Nous ne sommes que des prédicteurs de mots. Nous regardons le dernier mot que vous avez tapé et nous devinons le suivant. Nous ne connaissons rien au monde réel ; nous savons simplement comment les mots s'assemblent. »
Groupe B (Modèles de monde) : Dit : « Nous sommes des simulateurs de réalité. Nous construisons une carte mentale du fonctionnement du monde pour pouvoir planifier à l'avance, comme un joueur d'échecs qui réfléchit trois coups en avance. »

L'article soutient que ces deux groupes regardent en réalité la même chose sous des angles différents. L'auteur, Paul Dubois, affirme : « Vous ne regardez pas deux espèces différentes ; vous regardez un chiot et un loup adulte. Le chiot n'est qu'une version très restreinte du loup. »

Affirmation n°1 : Le « Chiot » est en fait un « Loup » dans une toute petite pièce

L'article affirme que les grands modèles de langage (LLM) sont en réalité des Modèles de Monde, mais qu'ils sont coincés dans une pièce très petite et très ennuyeuse.

La Pièce (État) : Dans un Modèle de Monde normal, la « pièce » est l'univers entier (voitures, météo, gens, physique). Dans un LLM, la « pièce » est simplement une chaîne de mots.
L'Action : Dans un Modèle de Monde normal, vous pouvez faire beaucoup de choses (conduire, sauter, parler). Dans un LLM, la seule chose que vous pouvez faire est d'ajouter un mot.
L'Astuce : Même si le LLM n'est autorisé qu'à ajouter des mots, il construit secrètement une carte du monde à l'intérieur de son cerveau (ses couches cachées).
- L'analogie : Imaginez une personne qui n'est autorisée à parler qu'avec des mots isolés. Si vous lui demandez de jouer une partie d'échecs en utilisant uniquement des mots comme « Pion », « Roi », « Échec », elle ne peut pas déplacer physement les pièces. Mais à l'intérieur de sa tête, elle visualise parfaitement l'ensemble de l'échiquier. Les mots ne sont que l'interface, mais le modèle de monde vit à l'intérieur de son esprit.

L'article proule cela en montrant que des modèles entraînés uniquement sur du texte peuvent réellement « voir » des choses comme la disposition d'un échiquier ou le passage du temps, même s'ils n'ont jamais été enseignés directement ces concepts.

Affirmation n°2 : Une rampe douce, pas une falaise

De nombreux experts (comme Yann LeCun) disent que nous devons abandonner entièrement les modèles de prédiction de mots pour passer à un système complètement nouveau appelé JEPA (un système qui prédit les états futurs dans un espace « latent » ou caché).

L'article dit : « Non, ne sautez pas d'une falaise. Montez simplement une rampe. »

L'auteur décrit un spectre continu (une glissade fluide) reliant le simple prédicteur de mots au simulateur de réalité complexe. Vous n'avez pas besoin de jeter l'ancien modèle ; vous devez simplement assouplir les règles une par une.

Voici le chemin montant de la rampe :

Le point de départ (LLM standard) : Prédit un mot à la fois.
- Avantages : Nous avons des données infinies (tout l'internet) et un outil parfait (l'architecture Transformer) pour cela.
Étape 1 : Prédiction multi-tokens : Prédit quelques mots à la fois.
- Changement : Nous cessons de forcer le modèle à deviner un seul mot à la fois. Il devient un peu plus intelligent dans son raisonnement, mais nous utilisons toujours le texte d'internet et les mêmes outils.
Étape 2 : Résumé futur : Prédit un résumé compressé du futur.
- Changement : Au lieu de deviner le mot suivant, il devine l'« essence » du paragraphe suivant. Utilise toujours le texte d'internet.
Étape 3 : Prédiction du prochain état latent : Prédit le prochain « état » (un état caché) plutôt qu'un mot.
- Changement : Le modèle cesse de produire des mots et commence à produire des concepts internes. C'est plus difficile à entraîner, mais nous pouvons toujours utiliser le texte d'internet.
Le sommet de la rampe (JEPA) : Prédit le prochain état du monde réel basé sur une action.
- La grande chute : Ici, les choses faciles disparaissent.
  - Problème de données : Nous ne pouvons plus utiliser l'internet. Nous avons besoin de données provenant de robots, de voitures autonomes ou de jeux vidéo où nous savons exactement quelle action a causé quel résultat. Ces données sont rares et difficiles à obtenir.
  - Problème d'architecture : L'outil « Transformer » que nous avons utilisé pour les mots pourrait ne pas fonctionner bien pour la réalité continue. Nous pourrions avoir besoin d'un tout nouvel outil.

Les deux grands goulots d'étranglement

L'article identifie deux raisons principales pour lesquelles nous sommes bloqués au bas de la rampe (l'étape LLM) et n'avons pas atteint le haut (l'étape JEPA) :

La falaise des données :
- Au bas : Nous avons des billions de mots sur internet pour apprendre. C'est gratuit et facile.
- Au sommet : Nous avons besoin de millions d'interactions spécifiques et étiquetées (comme un robot qui heurte un mur). C'est coûteux et difficile à collecter.
La question de l'architecture :
- Au bas : Le Transformer est une machine construite spécifiquement pour les mots. C'est comme une clé plate qui s'adapte parfaitement à un boulon carré.
- Au sommet : Nous devons prédire la réalité continue (comme un mouvement de fluide). La clé pourrait ne pas convenir. Nous pourrions avoir besoin d'un tout nouvel outil, mais nous ne savons pas encore à quoi il ressemble.

Conclusion : Ne brûlez pas le pont

L'article conclut que nous n'avons pas besoin de jeter nos modèles d'IA actuels.

LeCun a raison de dire que les simples prédicteurs de mots ne peuvent pas réaliser de planification physique complexe par eux-mêmes.
Mais il a tort de dire que nous devons tout recommencer à zéro.

Au lieu de cela, nous devrions considérer les modèles actuels comme la première étape d'un long voyage. Nous pouvons les améliorer progressivement, étape par étape, en passant de la prédiction de mots à la prédiction de concepts, et enfin à la prédiction de la réalité. La destination est claire, mais le chemin est une ascension graduelle, pas un saut soudain.

En bref : Les LLM ne sont pas des modèles de monde « faux » ; ce sont juste des modèles de monde avec les mains liées dans le dos. Si nous détions lentement ces mains, nous atteindrons l'IA puissante que nous voulons, sans avoir besoin d'inventer un nouvel univers.

Résumé Technique : Des Tokens aux États : Les LLM comme un Cas Particulier de Modèles de Monde et le Chemin Continu au-delà

Énoncé du Problème

La communauté de l'IA cadre actuellement la relation entre les Grands Modèles de Langage (LLM) et les Modèles de Monde comme une dichotomie binaire : les LLM sont perçus comme de simples prédicteurs de tokens, tandis que les Modèles de Monde sont définis comme des systèmes simulant la réalité pour soutenir la planification. Yann LeCun (2022) a soutenu que l'atteinte d'une intelligence générale nécessite d'abandonner la prédiction autoregressive de tokens au profit d'architectures d'espaces latents (spécifiquement les architectures de Prédiction de l'Espace de Latence Conjoint, ou JEPA). Ce document conteste ce cadrage en le jugeant inutilement binaire, arguant qu'il occulte un spectre naturel et continu de capacités et d'évolutions architecturales. Le problème central traité est l'absence d'un cadre formel unifiant les LLM et les Modèles de Monde, ainsi que l'absence d'une feuille de route claire pour la transition de l'un vers l'autre sans abandonner les avantages pratiques qui ont permis l'échelle des LLM.

Méthodologie et Formalisme

Le document emploie une approche mathématique formelle pour redéfinir la relation entre les LLM et les Modèles de Monde, suivie d'une analyse structurelle des architectures existantes et émergentes.

1. Imbrication Formelle des LLM
L'auteur définit un Modèle de Monde comme un tuple $(S, A, T, \rho_0)$ , où $S$ est l'espace des états, $A$ est l'espace des actions, $T$ est la fonction de transition, et $\rho_0$ est la distribution d'état initiale. Le document imbrique formellement un LLM autoregressif dans ce cadre en faisant des choix spécifiques et restrictifs :

Espace des États ( $S$ ) : L'ensemble de toutes les séquences de tokens finies ( $V^*$ ).
Espace des Actions ( $A$ ) : Le vocabulaire des tokens ( $V$ ), où la seule action est l'ajout d'un token.
Fonction de Transition ( $T$ ) : Une fonction déterministe qui ajoute le token choisi à la séquence ( $s \cdot a$ ).
Politique ( $\pi_\theta$ ) : Le LLM lui-même, qui prédit la distribution de probabilité sur le prochain token.

Sous cette définition, le LLM agit simultanément comme le simulateur du monde (via la fonction de transition) et comme l'agent. Le document soutient que les LLM sont un « cas particulier dégénéré » de Modèles de Monde, où l'espace des états est restreint à des tokens discrets et la transition est triviale.

2. Analyse du Spectre Continu
Le document construit un spectre allant de la prédiction de prochain token standard (NTP) vers le JEPA. Il analyse ce spectre comme une séquence d'étapes, où chaque étape relâche exactement une contrainte du formalisme standard des LLM. L'analyse suit comment chaque relâchement impacte deux avantages pratiques des LLM :

L'accès à des données auto-supervisées à l'échelle de l'internet.
La compatibilité avec l'architecture Transformer (co-conçue pour des tokens discrets).

Contributions Clés

1. La Revendication de Confinement
La principale contribution théorique est la preuve que LLM $\subset$ Modèles de Monde. Le document démontre que les Modèles de Monde sont une généralisation stricte des LLM, et non un remplacement. Cela recadre l'objectif de recherche de « l'abandon des LLM » vers le « relâchement progressif des contraintes des LLM ».

2. Identification de Cinq Contraintes
Le document isole cinq contraintes spécifiques qui définissent le cas particulier des LLM au sein de la classe plus large des Modèles de Monde :

Représentation de l'État : Restreinte à des séquences de tokens discrets (vs des états latents ou continus arbitraires).
Granularité de l'Action : Restreinte à un micro-token par étape (vs des actions sémantiques d'agents).
Persistance de l'État : L'état doit être redérivé du contexte à chaque passage (vs des variables stockées explicites).
Supervision de l'Entraînement : Repose sur la prédiction du prochain token sur du texte brut (vs des tuples état-action-prochain état appariés).
Architecture de Couche : Restreinte aux Transformers co-conçus pour des tokens discrets.

3. Le « Gouffre des Données » et le « Fossé Architectural »
Le document identifie deux goulots d'étranglement critiques qui émergent à mesure que l'on progresse le long du spectre :

La Question des Données : Alors que les premières étapes du spectre (NTP, Multi-Token Prediction, Future Summary) peuvent utiliser des textes à l'échelle de l'internet, l'étape finale vers le JEPA nécessite des données appariées (observation, action, prochaine observation) provenant d'environnements instrumentés. Ces données sont des ordres de grandeur plus rares ( $\sim 10^9$ échantillons) que le texte d'internet ( $\sim 10^{13}$ tokens).
La Question de l'Architecture : L'architecture Transformer est hautement optimisée pour les tokens discrets. À mesure que les cibles de prédiction se déplacent vers des espaces latents continus (Next-Latent, JEPA), le biais inductif du Transformer devient moins optimal. Le document suggère que le domaine manque peut-être d'une architecture « cristallisée » pour la prédiction d'états continus analogue au Transformer pour le texte.

4. Réinterprétation Empirique des Représentations Internes
Le document synthétise les découvertes de l'interprétabilité mécaniste (ex: OthelloGPT, Llama-2) pour soutenir que des « modèles de monde » existent déjà à l'intérieur des LLM. Ces modèles encodent des représentations riches et linéaires des états de jeu, de l'espace géographique et du temps dans leurs activations cachées, malgré un entraînement uniquement sur des séquences de tokens. Cela soutient la thèse selon laquelle le « modèle de monde » réside dans les activations latentes, tandis que les tokens ne servent que d'interface.

Résultats et Preuves

Le document ne présente pas de nouveaux résultats expérimentaux mais synthétise des recherches existantes pour soutenir ses affirmations théoriques :

OthelloGPT & Modèles d'Échecs : Démontrent que les activations cachées encodent des états de plateau complets avec une précision >99 %, prouvant que la représentation de l'état du monde est possible au sein d'architectures prédisant des tokens.
Multi-Token Prediction (MTP) : Cite Gloeckle et al. (2024) et DeepSeek-V3, montrant que la prédiction simultanée de $k$ tokens améliore le raisonnement sans sacrifier les avantages de données ou d'architecture.
Future Summary & Next-Latent : Cite Mahajan et al. (2026) et Teoh et al. (2026) pour montrer des architectures intermédiaires qui prédisent des futurs compressés ou des états latents, jetant un pont entre le NTP et le JEPA.
Chain-of-Thought (CoT) : Réinterprète le CoT non pas comme un nouveau paradigme, mais comme un mécanisme pour augmenter l'horizon de planification au sein du modèle de monde de tokens existant, se déplaçant ainsi le long de l'axe de granularité du spectre.

Signification et Revendications

Le document affirme que sa signification réside dans la dissolution de la fausse binarité entre « prédicteurs de tokens » et « modèles de monde ». En présentant les LLM comme un sous-ensemble contraint des Modèles de Monde, il suggère une voie d'ascension par gradient vers l'intelligence générale plutôt qu'un saut discontinu.

Transition Incrémentale : La voie à suivre n'est pas d'abandonner les LLM, mais de relâcher progressivement les contraintes. Les étapes intermédiaires (MTP, Future Summary, Next-Latent) offrent un moyen d'améliorer la capacité de modèle de monde tout en conservant l'extensibilité des données à l'échelle de l'internet et des architectures Transformer.
Clarification de la Frontière : Le document pose que la véritable frontière de la recherche se situe dans la transition vers le JEPA, où la disponibilité des données et l'adéquation architecturale s'effondrent simultanément. Il suggère que résoudre le problème du « modèle de monde conditionné par l'action » nécessite non seulement plus de données, mais potentiellement un nouveau primitif architectural pour la prédiction d'états continus.
Réévaluation de la Critique de LeCun : Le document soutient que LeCun a raison de dire que les LLM actuels ne peuvent pas effectuer de planification en boucle fermée dans le monde physique, mais qu'il se trompe en affirmant que cela nécessite d'abandonner entièrement le paradigme de la prédiction de tokens. Au lieu de cela, la vue du spectre montre que le CoT et la prédiction d'espace latent sont des extensions naturelles du même formalisme sous-jacent.

En conclusion, le document affirme que la destination (modèles de monde en espace latent conditionnés par l'action) est claire, mais que le chemin est un spectre continu d'évolution architecturale et de données, et non un choix binaire entre deux technologies opposées.