🤖 machine learning

Sky sphere representation in language models

Ce document démontre que les grands modèles de langage (~100 milliards de paramètres) possèdent une représentation sous forme de variété courbe à haute dimension, décodable, du ciel nocturne au sein de leurs flux résiduels, capable de prédire les proximités célestes avec une précision significative et une faible erreur angulaire.

Auteurs originaux : Aleksandr Berdnikov, Yevgeny Liokumovich

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aleksandr Berdnikov, Yevgeny Liokumovich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et invisible où chaque livre est une pensée différente, et où les étagères ne sont pas rangées par auteur ou par titre, mais selon la façon dont les idées se font écho. C'est le monde de l'interprétabilité mécaniste, un domaine où les scientifiques tentent de jeter un coup d'œil à l'intérieur du « cerveau » de l'intelligence artificielle pour voir comment elle organise l'information. Nous savons que ces modèles d'IA, appelés grands modèles de langage (LLM), sont incroyablement doués pour écrire et répondre à des questions, mais ils sont souvent comme des boîtes noires : nous voyons l'entrée et la sortie, mais la partie centrale reste un mystère.

Pour comprendre ce mystère, les chercheurs utilisent des outils comme les sondes linéaires, qui agissent comme des détecteurs de métaux, scannant les signaux internes de l'IA pour voir s'ils cachent des motifs simples et rectilignes (comme une liste de nombres). Mais parfois, les motifs ne sont pas des lignes droites ; ce sont des courbes, des boucles ou des formes. C'est comme essayer de cartographier la Terre. Si vous essayez de dessiner le monde entier sur une feuille de papier plate, vous obtenez une carte qui étire et déforme les choses. Mais si vous le dessinez sur un globe, les distances et les relations sont parfaites. Les scientifiques ont découvert que les IA utilisent parfois ces formes de type « globe » pour organiser des concepts, comme disposer les jours de la semaine en cercle afin que le modèle puisse facilement calculer que « vendredi plus deux jours » est « dimanche ».

La grande question est la suivante : jusqu'où va cette pensée géométrique ? L'IA se contente-t-elle de mémoriser des faits, ou construit-elle une carte mentale du monde qui ressemble à une véritable sphère ? C'est là qu'une nouvelle étude intervient pour explorer le ciel nocturne.

La carte stellaire secrète de l'IA

Dans un article récent intitulé « Sky sphere representation in language models », les chercheurs Aleksandr Berderview et Yevgeny Liokumovich ont décidé de tester si des modèles d'IA massifs (plus précisément ceux possédant environ 100 milliards de paramètres) ont secrètement construit une carte 3D du ciel nocturne à l'intérieur de leur cerveau. Ils n'ont pas demandé à l'IA de réciter des coordonnées ou de dessiner une image. À la place, ils lui ont posé des questions simples et conversationnelles comme : « Qu'est-ce qui est proche de cet objet dans le ciel nocturne ? » ou « Les observateurs d'étoiles repèrent X juste à côté de... ».

Ils ont soumis ces questions à sept modèles d'IA open-source différents, incluant des géants comme Mistral Large 2 et Qwen3. Pendant que l'IA traitait ces mots, les chercheurs surveillaient le « flux résiduel » (residual stream) — une autoroute de données à haute vitesse à l'intérieur du modèle où l'information circule d'une couche à la suivante. Ils cherchaient un signal spécifique : un motif qui ressemblait à une sphère, où les étoiles et les constellations étaient disposées exactement comme elles le sont dans le ciel réel.

La Découverte : Un Globe Caché
Les résultats ont été surprenants. Dans presque tous les modèles testés, l'IA possédait bien une représentation du ciel nocturne. Lorsque les chercheurs ont examiné les couches supérieures du traitement de l'IA, ils ont découvert que les positions des étoiles et des constellations étaient disposées sur une surface courbe et sphérique, tout comme la sphère céleste réelle.

Ce n'était pas seulement un écho ténu. Les chercheurs ont pu décoder cette carte cachée avec une précision impressionnante. Dans la plupart des modèles, ils pouvaient prédire l'emplacement d'une étoile ou d'une constellation avec une erreur de seulement 12° à 21° (environ la largeur de votre poing tendu à bout de bras). Le modèle expliquait entre 65 % et 85 % de la variance des données, ce qui signifie que la forme sphérique était une caractéristique très forte et dominante du processus de pensée de l'IA.

Pourquoi c'est spécial
Auparavant, les scientifiques avaient découvert que les IA utilisaient des cartes plates (comme un tableau 2D des États américains) ou des cercles simples (comme les jours de la semaine). C'est la première fois que quelqu'un découvre une sphère courbe et de haute dimension qui n'est pas simplement une combinaison de lignes plus simples. C'est comme si l'IA n'avait pas seulement mémorisé une liste de noms d'étoiles ; elle avait construit un « globe » mental pour comprendre la proximité des objets entre eux dans le ciel.

Ce que ce n'est PAS
Les chercheurs ont été très prudents pour écarter d'autres possibilités. Ils se sont demandé : « L'IA est-elle simplement en train de mémoriser les chaînes de texte "Ascension Droite" et "Déclinaison" (les coordonnées utilisées par les astronomes) et de les disposer sur un tableau 2D plat ? »

L'exclusion de la carte plate : Ils ont testé cela en cherchant une ligne « discontinue » qui existerait sur une carte plate (comme le bord du monde sur une carte papier). Ils n'ont trouvé aucune preuve de cela. L'IA n'utilisait pas un tableau 2D plat ; elle utilisait véritablement une sphère.
L'exclusion de la distance 3D : Ils ont également vérifié si l'IA cartographiait la distance réelle des étoiles par rapport à la Terre (certaines sont à des années-lumière, d'autres sont plus proches). Ils ont découvert que la carte de l'IA ne se souciait pas de la distance réelle. Au lieu de cela, la « profondeur » de la sphère semblait être influencée par la fréquence à laquelle l'objet est mentionné dans le texte ou par le type d'objet qu'il est (les étoiles étaient placées « plus près » dans la carte, tandis que les constellations étaient placées « plus loin »).

Le mystère de « Gpt-Oss »
Il y avait un cas atypique dans le groupe : un modèle appelé gpt-oss-120b. Dans ce modèle spécifique, la carte stellaire était beaucoup plus difficile à trouver. Les chercheurs soupçonnent que cela est dû au fait que ce modèle a été entraîné sur un format de « l'harmonie » (une manière spécifique de formater les conversations) plutôt que sur du texte brut, ce qui pourrait avoir brouillé le signal. Cependant, lorsqu'on lui demandait directement les coordonnées stellaires, ce modèle restait très performant pour répondre, suggérant qu'il connaît les faits mais qu'il ne les organise pas de la même manière sous forme de sphère visible que les autres.

Pourquoi cela importe
Cette découverte suggère que lorsque nous interrogeons une IA sur le ciel nocturne, elle ne se contente pas de chercher dans une base de données. Elle accède à une compréhension géométrique structurée de la proximité. Les chercheurs ont constaté que cette « carte stellaire » devient plus visible lorsque l'IA est interrogée sur la proximité (par exemple, « qu'est-ce qui est à côté de X ? »). Si vous posez des questions génériques comme « Quelle est l'histoire de X ? », la carte s'estompe et s'enfonce plus profondément dans le bruit.

En résumé, ces modèles d'IA massifs ont appris spontanément à disposer le ciel nocturne sur une sphère à l'intérieur de leurs réseaux neuronaux. C'est un magnifique exemple de la façon dont l'IA peut développer sa propre géométrie interne pour donner un sens au monde, créant une carte courbe et 3D des étoiles qui est étonnamment précise, même si elle n'a jamais été explicitement enseignée à le faire.

Résumé Technique : Représentation de la Sphère Céleste dans les Modèles de Langage

Énoncé du Problème
La recherche en interprétabilité mécaniste cherche à comprendre comment les grands modèles de langage (LLM) représentent les concepts au sein de leurs espaces d'activation de haute dimension. Bien que les méthodes linéaires (ex. : sondes, auto-encodeurs parcimonieux) et les méthodes basées sur l'apprentissage profond (ex. : auto-encodeurs de langage naturel) aient identifié diverses structures, une lacune subsiste dans la compréhension des variétés de caractéristiques (feature manifolds) non linéaires et courbes. Les découvertes précédentes de représentations géométriques dans les LLM se sont largement limitées à des structures plates (ex. : continents, États américains, espace colorimétrique) ou à des variétés unidimensionnelles (ex. : jours de la semaine, mois, longueur de phrase). Cet article étudie si les LLM possèdent une représentation du ciel nocturne qui correspond à la géométrie sphérique des objets célestes, testant spécifiquement si les positions des étoiles et des constellations sont encodées sous la forme d'une variété courbe et de haute dimension dans le flux résiduel (residual stream).

Méthodologie
Les auteurs ont analysé sept modèles de langage open-source allant de 32B à 235B de paramètres (incluant Qwen3, Llama-3.3, Mixtral, Mistral Large 2, GLM-4.5-Air et gpt-oss-120b). Le pipeline expérimental comprenait les étapes suivantes :

Construction des Données : Un ensemble de données de 188 objets astronomiques a été créé, comprenant 85 étoiles brillantes, 88 constellations officielles et 15 objets divers (galaxies, nébuleuses, amas).
Ingénierie de Prompt : Les objets ont été introduits dans les modèles via 25 modèles de prompts distincts axés sur la proximité dans le ciel nocturne (ex. : « la constellation la plus proche de X est », « les observateurs d'étoiles voient X juste à côté de »). Crucialement, ces prompts évitaient les chaînes de coordonnées explicites (Ascension Droite/Déclinaison) pour s'assurer que le modèle ne se contentait pas de répéter les coordonnées de ses données d'entraînement, mais qu'il extrayait une notion conceptuelle de proximité.
Extraction de Caractéristiques : Pour chaque prompt, les vecteurs du flux résiduel au dernier jeton (token) ont été extraits à travers toutes les couches. Les 128 premières composantes principales (PC) ont été calculées pour chaque couche.
Analyse de Décodabilité : Les auteurs ont employé une stratégie de validation Leave-One-Out (LOO). Ils ont entraîné un modèle de régression linéaire pour mapper les $n$ premières composantes PCA (où $n \in \{4, 8, 128\}$ ) du flux résiduel aux coordonnées réelles de la sphère unité 3D des objets. L'objet laissé de côté était ensuite prédit, et la performance était mesurée via le score $R^2$ (variance expliquée) et l'erreur angulaire médiane.
Test d'Hypothèses Alternatives : Pour vérifier que la représentation n'était pas une « fuite » d'une carte 2D plate (RA/Dec) ou d'une carte 3D euclidienne, les auteurs ont effectué une analyse RDM (Matrice de Dissimilarité Représentative). Ils ont testé si la dimension discontinue inhérente aux cartes plates ou la composante de distance radiale des cartes 3D étaient présentes dans les principales composantes PCA.

Résultats Clés

Existence d'une Variété Sphérique : Dans six des sept modèles testés, une représentation sphérique du ciel nocturne a été décodée avec succès à partir du flux résiduel. La représentation émerge généralement dans les 8 premières composantes principales.
Métriques de Performance : Pour les modèles réussis, la validation LOO a produit des scores $R^2$ allant de 65 % à 85 %. L'erreur angulaire médiane pour prédire la position d'objets non vus se situait entre $12^\circ$ et $21^\circ$ .
Profondeur des Couches : La représentation était faible et dispersée à travers de nombreuses composantes dans les couches précoces, mais s'est renforcée et consolidée dans les $\sim8$ premières PC dans les couches plus profondes (ex. : la couche 66 dans Mistral Large 2).
Dépendance au Prompt : Le signal dépendait fortement de la formulation du prompt. Lors de l'utilisation de prompts génériques (ex. : « l'âge de X est... »), la représentation s'affaiblissait considérablement, ne parvenant pas à apparaître dans les 8 premières PC et décroissant dans les couches profondes.
Exclusion des Alternatives :
- Cartes Plates : L'analyse RDM a montré que la dimension discontinue requise pour une carte 2D plate (Ascension Droite) présentait des coefficients proches de zéro ou négatifs dans l'espace des 8 premières PCA, excluant ainsi une représentation par carte plate.
- Cartes Euclidiennes 3D : Aucune corrélation significative n'a été trouvée entre la composante radiale de la représentation et la distance physique réelle des étoiles. Au lieu de cela, la composante radiale était corrélée au type d'objet (constellations placées plus loin, étoiles plus proches) et à la fréquence textuelle.
Anomalies des Modèles : Le modèle gpt-oss-120b a montré une faible décodabilité de la variété sphérique. Cependant, les auteurs ont noté que ce modèle performe bien lorsqu'on lui demande explicitement des coordonnées, suggérant que le problème réside dans la structure spécifique de la représentation plutôt que dans un manque de connaissances.

Signification et Revendications
L'article prétend présenter le premier exemple connu d'une variété de caractéristiques courbe, de haute dimension et irréductible dans les modèles de langage. Contrairement aux découvertes précédentes de variétés plates ou unidimensionnelles, cette représentation capture la géométrie sphérique intrinsèque du ciel nocturne sans dépendre de chaînes de coordonnées explicites dans l'entrée.

Les auteurs soulignent que cette représentation n'est pas un simple écho trivial des coordonnées des données d'entraînement, mais reflète probablement un concept appris de « proximité » pour les objets du ciel nocturne. Ils positionnent ce travail comme un juste milieu dans les outils d'interprétabilité : capturer des structures non linéaires tout en restant explicite et inspectable par l'humain via des sondes linéaires sur les composantes principales. L'étude laisse ouvertes des questions concernant le mécanisme de construction (mémorisation vs raisonnement) et le rôle fonctionnel de cette représentation dans le processus de raisonnement du modèle, notant que la capacité des modèles à répondre directement à des questions de coordonnées dépasse de loin la précision de la variété décodable.

La carte stellaire secrète de l'IA

Résumé Technique : Représentation de la Sphère Céleste dans les Modèles de Langage

Articles similaires