World Properties without World Models: Recovering Spatial and Temporal Structure from Co-occurrence Statistics in Static Word Embeddings

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous avez un livre de cuisine géant, rempli de millions de recettes. Si vous analysez simplement quelles ingrédients apparaissent souvent ensemble (par exemple, "citron" et "poisson", ou "chocolat" et "fraise"), pouvez-vous déduire des choses sur le monde réel, comme la météo ou la géographie, sans jamais avoir visité un seul endroit ?

C'est exactement la question que pose cette recherche, mais avec des mots au lieu de recettes.

Voici l'explication de l'article en termes simples, avec quelques images pour aider à visualiser.

1. Le Grand Débat : Les IA ont-elles une "Carte du Monde" dans la tête ?

Récemment, des chercheurs ont découvert qu'en regardant le "cerveau" (les couches cachées) des grands modèles de langage (comme ceux qui vous répondent ici), on pouvait deviner la latitude, la longitude ou l'année de naissance d'une personne juste en faisant un calcul mathématique simple.

Ils ont conclu : "Wow ! Ces IA ont construit un modèle du monde, une carte mentale de la réalité, pas juste un dictionnaire !"

L'auteur de cet article dit : "Attendez une minute. Et si c'était juste dans le texte lui-même ?"

2. L'Expérience : Le Détective des Mots Statiques

Pour tester cette idée, l'auteur n'a pas utilisé les IA complexes et modernes. Il a utilisé des outils très simples et anciens, appelés GloVe et Word2Vec.

L'analogie : Imaginez que les IA modernes sont comme un GPS intelligent qui a voyagé partout dans le monde. Les outils simples (GloVe/Word2Vec), eux, sont comme un dictionnaire géant qui n'a jamais bougé de sa bibliothèque. Il ne fait que compter : "Combien de fois le mot 'Paris' apparaît-il près du mot 'France' ?" et "Combien de fois 'Paris' est-il près de 'tour Eiffel' ?".

L'auteur a pris ces vieux dictionnaires mathématiques et a demandé : "Peut-on deviner la température ou la position géographique d'une ville juste en regardant les mots qui l'entourent dans le texte ?"

Le résultat est stupéfiant : OUI.

Même avec ces outils très simples, on peut prédire :

La latitude (Nord/Sud) avec une grande précision.
La longitude (Est/Ouest) assez bien.
La température moyenne (froid/chaud) très bien.
L'année de naissance des personnages historiques (moyenne de précision).

3. Le Secret : Ce n'est pas de la magie, c'est le "Voisinage" des Mots

Comment un simple compteur de mots peut-il savoir qu'il fait froid à Oslo et chaud à Nairobi ?

L'auteur a découvert que la réponse réside dans le vocabulaire.

L'analogie du "Club de Mots" : Imaginez que chaque ville a un "club" de mots qui l'accompagnent toujours.
- Si vous lisez un texte sur une ville chaude, vous verrez souvent des mots comme "cyclone", "cocotier", "dengue", "tropical".
- Si vous lisez sur une ville froide, vous verrez "ski", "polar", "chimiste", "conservatoire".

Les outils mathématiques ont simplement appris que "Ville + mots tropicaux = Chaud" et "Ville + mots polaires = Froid".

L'auteur a fait une expérience de "chirurgie" : il a retiré tous les mots liés aux pays, au climat et à la géographie du dictionnaire. Résultat ? La capacité de prédire la température s'est effondrée. Cela prouve que l'information ne venait pas d'une "compréhension profonde" de la réalité, mais simplement de la présence de ces mots spécifiques dans le texte.

4. Ce que cela change pour nous

C'est une leçon importante pour comprendre l'intelligence artificielle :

Le texte est plus riche qu'on ne le pense : Le langage humain contient déjà une "carte" du monde. Quand nous parlons, nous utilisons des mots qui révèlent automatiquement où nous sommes, quand nous sommes et quel temps il fait. Les IA n'ont pas besoin de "voyager" pour apprendre cela ; elles l'absorbent juste en lisant.
Attention aux conclusions hâtives : Juste parce qu'une IA peut prédire la latitude d'une ville, cela ne signifie pas qu'elle a une "conscience" du monde ou une carte mentale complexe. Elle pourrait simplement être très bonne pour repérer des motifs statistiques dans les mots, comme un détective qui devine le crime en regardant les indices sur la scène, sans avoir besoin de voir le criminel.

En résumé

Cet article nous dit : Ne soyez pas trop impressionnés par les IA qui semblent "comprendre" la géographie.

C'est comme si quelqu'un vous donnait un livre de cuisine et vous demandait de deviner le climat d'un pays juste en regardant les ingrédients. Si le livre dit souvent "pamplemousse" et "mangue" ensemble, vous saurez qu'il s'agit d'un pays chaud. Vous n'avez pas besoin de sortir de la cuisine pour le savoir.

Le texte lui-même est déjà une carte du monde compressée. Les IA modernes sont peut-être plus puissantes, mais une grande partie de leur "sagesse" sur le monde vient simplement du fait qu'elles lisent énormément de textes qui décrivent déjà ce monde.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Récemment, des travaux (notamment Gurnee et Tegmark, 2024) ont suggéré que la récupération linéaire de variables géographiques et temporelles à partir des états cachés des Grands Modèles de Langage (LLM) constitue une preuve de l'existence de représentations internes de type « modèle du monde ». Ces auteurs interprètent cette capacité comme la preuve que les LLMs acquièrent une structure spatiale et temporelle structurée au-delà de la simple prédiction de tokens.

L'auteur remet en cause cette interprétation en proposant une hypothèse plus simple : une grande partie de cette structure n'est pas une émergence du modèle, mais est déjà latente dans les statistiques de co-occurrence du texte lui-même. L'objectif est de déterminer si la décodabilité linéaire suffit à prouver un saut représentatif au-delà du texte, ou si elle peut être expliquée par des régularités distributionnelles simples.

2. Méthodologie

Pour tester cette hypothèse, l'auteur applique la même méthodologie de sondage (probing) utilisée sur les LLMs, mais sur des embeddings statiques (GloVe et Word2Vec) qui sont des fonctions directes des statistiques de co-occurrence, sans traitement contextuel ni dynamique d'état caché.

Modèles utilisés :
- GloVe (6B, 300d) : Entraîné sur 6 milliards de tokens (Wikipedia, Gigaword).
- Word2Vec (Google News, 300d) : Entraîné sur ~100 milliards de tokens.
- Note : Ces modèles factorisent des matrices de co-occurrence (SPMI pour Word2Vec, log-bilineaire pour GloVe), garantissant que toute structure récupérable provient uniquement des régularités du corpus.
Architectures de sondage (Probes) :
- Utilisation exclusive de régressions Ridge linéaires ( $\hat{y} = w^T x + b$ ) pour éviter que la flexibilité du modèle ne soit confondue avec la structure des données.
- Validation croisée 5-fold et séparation des données (80/20) pour évaluer la performance sur un ensemble de test retenu.
Ensembles de données :
- Villes mondiales (N=100) : 100 villes réparties sur 6 continents. Cibles : latitude, longitude, température moyenne annuelle, année de fondation, altitude, PIB/habitant, population.
- Personnages historiques (N=194) : De l'Antiquité au XXe siècle. Cibles : année de naissance, année de décès, année de vie moyenne.
Analyses complémentaires :
- Analyse de similarité sémantique : Corrélation entre la similarité cosinus des mots du vocabulaire et les cibles géographiques/temporelles pour identifier les mots porteurs de signal.
- Ablation de sous-espaces sémantiques : Projection et soustraction des vecteurs appartenant à des catégories sémantiques spécifiques (noms de pays, climat, régions, etc.) pour mesurer la perte de performance ( $\Delta R^2$ ) par rapport à des ablations aléatoires.

3. Résultats Clés

A. Récupération de la structure spatiale et temporelle

Les sondes linéaires récupèrent avec succès des signaux géographiques et temporels significatifs à partir des embeddings statiques :

Géographie (Villes) :
- Latitude : $R^2$ de 0,71 (GloVe) à 0,66 (Word2Vec).
- Longitude : $R^2$ de 0,78 à 0,87.
- Température : $R^2$ de 0,47 à 0,62.
- Les modèles reconstruisent la disposition globale (Europe, Asie, Amériques) bien que le bruit soit présent au niveau individuel.
Temps (Personnages historiques) :
- Année de naissance/décès : $R^2$ de 0,46 à 0,52 (MAE ~340-360 ans).
- Le signal capture la structure par ères (Antiquité, Moyen Âge, Moderne) mais pas les dates précises.

B. Sélectivité du signal (Contrôles négatifs)

Des propriétés non structurées par les co-occurrences textuelles ne sont pas récupérables :

Altitude, PIB par habitant, Population : $R^2$ négatifs ou proches de zéro.
Cela démontre que le sondage n'extraie pas arbitrairement des attributs du monde, mais est sélectif aux gradients distributionnels présents dans le texte.

C. Interprétabilité sémantique et Ablation

L'analyse révèle que le signal est porté par des vocabulaires interprétables :

Corrélations lexicales : Les mots associés aux villes chaudes incluent "dengue", "cyclone", "cocotier". Ceux associés aux villes froides incluent "chimiste", "violoniste", "ski".
Ablation de sous-espaces :
- La suppression des sous-espaces liés aux noms de pays fait chuter la $R^2$ de la latitude de 0,71 à 0,27 (baisse de 62%).
- La suppression des termes climatiques fait chuter la prédiction de température en dessous de la ligne de base (prédicteur constant).
- Ces baisses sont statistiquement significatives par rapport à des ablations aléatoires de même dimensionnalité.
- Le signal géographique dépend fortement de ces gradients distributionnels identifiables.

4. Contributions Principales

Preuve de capacité des modèles statiques : Les embeddings statiques basés sur la co-occurrence préservent une structure spatiale et temporelle substantielle et récupérable, révélant une capacité sous-estimée des modèles distributionnels simples.
Interprétabilité du signal : La structure n'est pas une boîte noire ; elle est médiée par des vocabulaires sémantiquement interprétables (noms de pays, termes climatiques, régions).
Validation par ablation : Une grande partie du signal dépend de sous-espaces distributionnels spécifiques, bien au-delà de ce que produirait une réduction de dimension aléatoire.
Réévaluation des preuves de "modèles du monde" : La récupérabilité linéaire seule ne suffit pas à affirmer que les LLMs ont acquis une représentation du monde au-delà du texte. Si la même structure est présente dans des modèles purement distributionnels, la décodabilité linéaire n'est pas une preuve de saillance représentative nouvelle.

5. Signification et Implications

Sur les LLMs : L'article ne nie pas que les LLMs puissent construire des structures internes complexes, mais il établit que la décodabilité linéaire est une preuve insuffisante pour soutenir l'hypothèse d'un "modèle du monde" émergent. Les performances supérieures des LLMs (par rapport aux embeddings statiques) peuvent s'expliquer par la désambiguïsation contextuelle, des corpus plus vastes et des dimensions plus élevées, sans nécessiter un changement qualitatif de mécanisme représentatif.
Sur la nature du texte : Le résultat le plus frappant est la richesse de l'information "mondiale" déjà présente dans le texte brut. Les statistiques de co-occurrence du langage naturel encodent déjà une carte relationnelle compressée de la géographie, du climat et de l'histoire.
Conclusion épistémologique : La frontière entre "statistiques pures" et "connaissance structurée" est plus floue qu'on ne le pensait. Le texte lui-même contient une organisation mondiale dense que même les modèles les plus simples peuvent extraire.

En résumé, l'article démontre que la structure spatiale et temporelle récupérée dans les LLMs est largement héritée des régularités distributionnelles du corpus d'entraînement, et non nécessairement le fruit d'une construction interne de modèle du monde par le modèle.