💬 NLP

One mechanism for many mental spaces: a shared router over a value slot in language models

Cet article démontre que les modèles de langage transformer implémentent un mécanisme unifié pour divers espaces mentaux (tels que les croyances, les fictions et les contrefactuels) en utilisant un routeur à faible rang partagé qui sélectionne des valeurs à partir d'un créneau réutilisable unique, plutôt que d'employer des structures logiques distinctes pour chaque type de contexte.

Auteurs originaux : Oliver Steele, Jiangtao Wen, Yuxing Han

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Oliver Steele, Jiangtao Wen, Yuxing Han

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage comme un bibliothécaire super organisé qui ne se contente pas de stocker des livres, mais qui stocke des mondes entiers à l'intérieur d'une seule bibliothèque. Dans cette bibliothèque, une fleur peut être rouge dans la section « Monde Réel », violette dans la section « Portrait » et verte dans la section « Le Rêve d'Alice ». La grande question était : le bibliothécaire garde-t-il ces mondes dans des pièces totalement séparées, avec des règles différentes pour chacune ? Ou utilise-t-il un système ingénieux et réutilisable pour tous les gérer ?

Ce papier suggère que le bibliothécaire utilise un seul système partagé pour tout.

L'Étiquette Magique et le Routeur

Considérez la couleur de la fleur comme une donnée posée sur une étagère. Le papier montre que le modèle utilise une « étiquette » spéciale de faible rang (appelée routeur ou index d'espace) pour sélectionner quel monde lire. Cette étiquette est distincte de la donnée elle-même. La donnée repose dans une zone de stockage neutre appelée emplacement de valeur (value slot), qui contient la couleur mais ne se soucie pas de savoir si elle appartient à la réalité ou à un rêve.

Mais comment le modèle sait-il quelle couleur choisir quand vous demandez : « De quelle couleur est la fleur dans le portrait ? » Il utilise le routeur. Vous pouvez voir ce routeur comme un index intelligent, causalement manipulable. Quand vous posez une question sur le portrait, le routeur sélectionne le réglage « Portrait », et le modèle lit la fleur violette depuis l'emplacement partagé. Quand vous interrogez la réalité, le routeur sélectionne « Réalité », et le modèle lit la fleur rouge.

Le papier démontre que ce routeur n'est pas une machine différente pour chaque type de monde. Que le monde soit une croyance (ce qu'Alice pense), un souvenir (hier), une hypothèse (et si...) ou une fiction (dans un film), le modèle utilise le même type de routeur.

Un Seul Interrupteur pour Tous les Diriger

Les chercheurs ont testé cela en entraînant le modèle à contrôler un seul type de monde, comme les « hypothèses » (des choses qui pourraient arriver). Ensuite, ils ont essayé d'utiliser ce même mécanisme de contrôle sur d'autres mondes, comme les « croyances » ou les « films ».

Le résultat ? L'interrupteur a fonctionné pour tout.

Lorsqu'ils ont entraîné le modèle pour inverser la couleur dans un scénario hypothétique, ce même entraînement a inversé la couleur dans un scénario de croyance de 71 % à 89 % du temps (selon la famille de modèles).
Cela suggère que le modèle ne possède pas une « machine à croyances » spéciale et secrète qui serait totalement différente de sa « machine à films ». Au lieu de cela, il possède un routeur partagé qui gère tous ces contextes différents.

Ce que ce n'est PAS (Les idées écartées)

Le papier est très prudent en précisant ce que ce système n'est pas :

Ce n'est pas juste de la mémorisation de mots : Le modèle ne se contente pas de mémoriser que le mot « rouge » est apparu près de « réalité » et « violet » près de « portrait ». Le système transporte réellement un code pour le contexte lui-même.
Ce n'est pas une pièce séparée pour les croyances : La logique formelle traite souvent les « croyances » comme une catégorie totalement différente et opaque où les règles changent. Ce papier soutient que, mécaniquement, le modèle traite les croyances comme n'importe quel autre espace. L'étiquette « croyance » n'est ni spéciale, ni séparée de l'étiquette « hypothétique » dans le câblage du modèle.
Ce n'est pas un post-it statique : Le modèle n'écrit pas la couleur sur une note permanente pour la laisser là. Il s'agit plutôt d'un système de récupération. Quand vous posez une question, le modèle retourne à la source du texte et relit la couleur en fonction du réglage du « contexte » actuel. C'est une lecture « juste à temps », et non un emplacement de stockage permanent.

La séparation entre « Rapport » et « Raisonnement »

Voici un tournant amusant découvert par le papier. Le modèle possède deux chemins différents pour la même information :

Le chemin du Rapport : C'est ce que le modèle dit à voix haute.
Le chemin du Raisonnement : C'est ce que le modèle utilise pour résoudre une énigme.

Les chercheurs ont découvert qu'ils pouvaient contrôler ces chemins séparément. Ils ont pu entraîner le modèle pour qu'il dise « La fleur est verte » (inverser le rapport) tout en faisant en sorte que le modèle résolve une énigme logique comme si la fleur était « bleue » (laissant le raisonnement inchangé). Cela prouve que le modèle garde le « ce que je dis » et le « ce que je pense » dans des parties légèrement différentes de son cerveau, même s'ils proviennent de la même source.

Construire de Nouveaux Mondes

Lorsqu'un modèle rencontre une phrase complexe comme « Alice croyait autrefois que la tasse était bleue », il construit un nouvel espace (un mélange de « passé » et de « croyance »). Le papier montre que le modèle ne construit pas une toute nouvelle bibliothèque pour cela. Au lieu de cela, il réutilise le même emplacement de valeur (la couleur de la tasse) mais frappe un nouveau routeur (un nouvel index de réglage) spécifiquement pour ce nouveau monde combiné. C'est comme prendre un livre existant et lui donner une nouvelle étiquette de couverture temporaire sans réécrire toute l'histoire.

À quel point sommes-nous sûrs ?

Le papier est assez confiant quant à ces conclusions, mais avec des limites spécifiques :

Prouvé en laboratoire : Les résultats sont basés sur des mesures directes des « activations » internes du modèle (ses signaux électriques) dans trois familles de modèles différentes (Qwen, Pythia et Falcon3). Les chercheurs n'ont pas seulement deviné ; ils sont intervenus physiquement dans le code du modèle pour prouver que le routeur cause le comportement.
Pas une solution miracle : Le papier admet que, bien que le routeur soit partagé, il n'est pas parfaitement identique pour chaque type de monde. Par exemple, les contextes de « peinture » ou de « film » agissent parfois un peu différemment des contextes de « croyance ». De plus, la capacité du modèle à gérer ces mondes est de type « récupération » (retrieval-shaped), ce qui signifie qu'il s'appuie sur la relecture du texte plutôt que sur une mémoire statique, ce qui le rend légèrement « fuyant » dans certains tests.
L'échelle compte : Ces détails mécaniques ont été trouvés dans des modèles plus petits (3 milliards de paramètres). Cependant, le comportement (la capacité à gérer ces mondes) a été confirmé comme existant dans des modèles massifs et de pointe (comme GPT-4o et des modèles de 72B), suggérant que le mécanisme passe à l'échelle même si nous ne pouvons pas inspecter l'intérieur de ces géants aussi facilement.

En bref, le papier suggère que les modèles de langage possèdent un « routeur d'espace » unifié et réutilisable qui leur permet de jongler avec la réalité, les rêves, les croyances et les films en utilisant le même outil mécanique, plutôt que d'avoir besoin d'un outil différent pour chaque type d'imagination.

Résumé Technique : Un mécanisme pour de multiples espaces mentaux

Énoncé du Problème
Les modèles de langage (LM) doivent gérer des contextes de discours qui divergent de la réalité, tels que les croyances, les souvenirs, les hypothèses et les représentations (par exemple, une fleur qui est rouge dans la réalité mais violette dans un portrait). La sémantique formelle traite ces cas comme des domaines logiques distincts (modaux, temporels, doxastiques, descriptifs) avec des règles d'inférence différentes. À l'inverse, la théorie des espaces mentaux de Fauconnier postule une opération unifiée de « construction d'espace » où le discours crée des espaces partiels et lie des valeurs à ceux-ci. La question centrale est de savoir si les transformeurs LM implémentent ces processus comme des modules sémantiques séparés ou comme une opération mécaniste unifiée. Plus précisément, le modèle maintient-il un code dédié au contexte de discours local (un « indice d'espace ») qui est causalement distinct des valeurs d'entités elles-mêmes, et ce code est-il partagé entre différents types de contextes non-actuels ?

Méthodologie
L'étude emploie des techniques d'interprétabilité mécaniste sur des modèles transformeurs en accès ouvert (principalement Qwen2.5-3B, avec réplication sur Pythia-2.8b et Falcon3-3B) en utilisant des stimuli de langage naturel contrôlés.

Stimuli : Les items présentent une entité possédant deux valeurs d'attributs conflictuelles (ex: la couleur) à travers un monde « de base » (réalité) et un espace « alternatif » (par exemple, une peinture, une croyance, un état passé). Le modèle est interrogé à un jeton ultérieur pour récupérer la valeur pour un espace spécifique.
Localisation : Les auteurs utilisent le sondage linéaire (linear probing) pour vérifier que les valeurs de base et alternatives sont décodables à partir des activations du flux résiduel au jeton de requête.
Intervention Causale :
- Recherche d'Alignement Distribué (DAS) : Pour surmonter l'échec des vecteurs de pilotage construits à la main, les auteurs entraînent des sous-espaces orthogonaux de faible rang ( $R \in \mathbb{R}^{d \times k}$ ) en utilisant un objectif d'échange. Ce sous-espace est optimisé pour faire basculer la sortie du modèle de la valeur de base vers la valeur alternative lorsque la composante du sous-espace est greffée à partir d'un item donneur.
- Double Dissociation : Les auteurs testent si la valeur que le modèle rapporte et la valeur qu'il utilise pour le raisonnement (application d'une règle de tri) sont contrôlées par des sous-espaces distincts.
- Transfert Transversal de Type : Un sous-espace entraîné pour contrôler un type de constructeur (ex: hypothétique) est appliqué sans changement à d'autres types de constructeurs (ex: croyance, temporel) pour tester un mécanisme partagé.
- Composition : L'étude examine les espaces imbriqués (ex : « Alice croyait autrefois... ») pour voir si un nouvel espace réutilise le créneau de valeur de la base tout en créant un nouveau routeur.

Contributions Clés et Résultats

Existence d'un Sous-Espace Partagé de Faible Rang (L'Indice d'Espace) :
- Le modèle représente des valeurs coexistantes pour la même entité lors d'une mention ultérieure.
- Le mécanisme est un sous-espace de faible rang (rang effectif $\sim$ 4–5, rang causal $\le$ 4) qui agit comme un « routeur » ou un « indice d'espace ».
- Cet indice se compose de manière additive avec l'identité de l'entité (la représentation de « l'Entité E dans l'Espace S » se factorise en Entité + Espace).
- Il est généralisable aux propriétés (fonctionne pour la couleur, la taille, la richesse, etc.) et généralisable aux types d'entités (fonctionne pour les personnes et les objets).
- Le liage est de type récupération (retrieval-shaped) : les valeurs ne sont pas stockées dans des emplacements globaux statiques mais sont relues depuis les jetons sources via des têtes d'attention de couches tardives, ressemblant à un mécanisme de « regard en arrière » (lookback).
Unification Causale entre les Types d'Espace :
- Un sous-espace DAS entraîné sur un type de constructeur (ex: contre-factuels) contrôle causalement d'autres types (croyance, temporel, fictionnel) avec des indices de transfert élevés (0,71–0,89 à travers les familles de modèles).
- Cette unification tient même pour la croyance, que la sémantique formelle traite comme un cas hyperintensionnel distinct. Le modèle ne sépare pas l'étiquette de croyance des autres étiquettes d'espace ; il partage le même mécanisme de routage.
- L'unification n'est pas une identité plate ; une taxonomie sémantique grossière (attitude, intensionnel, temporel, fictionnel) survit au sein du sous-espace partagé, mais la croyance n'est pas spécifiquement isolée.
Dissociation entre Rapport et Raisonnement :
- La valeur que le modèle rapporte (émet sous forme de texte) et la valeur avec laquelle il raisonne (applique une règle) sont contrôlées par des sous-espaces distincts.
- Entraîner un sous-espace sur la lecture du « rapport de couleur » fait basculer la couleur rapportée mais laisse inchangé le conséquent dérivé de la règle, et vice versa. Cela fournit un mécanisme causal pour l'écart de fidélité (faithfulness gap) où la sortie d'un modèle peut ne pas refléter son calcul interne.
La Construction comme Opération de Liage :
- Lorsqu'une phrase construit un espace composite (ex : « croyance passée »), le modèle réutilise le créneau de valeur de la base (haut transfert du sous-espace de liage de la valeur) mais crée un nouveau routeur (le sous-espace du jeton de requête pour l'espace composite est distinct et orthogonal au routeur de la base).
- Cela confirme que la construction d'espace est une opération sur la machinerie de liage elle-même, et non une faculté séparée.

Signification et Revendications
L'article établit que les modèles de langage transformeurs implémentent une version mécaniste de la théorie unifiée des espaces mentaux de Fauconnier. Plutôt que de maintenir des modules logiques séparés pour la modalité, le temps et la croyance, le modèle utilise un seul « indice d'espace » de faible rang, causalement manipulable, pour étiqueter l'espace de discours auquel appartient une valeur.

Format de Représentation : Le modèle porte une clé compacte pour le contexte de discours, distincte de l'entité et de la valeur.
Généralité : Ce mécanisme est général à l'inventaire sémantique des contextes non-actuels. La distinction de la sémantique formelle concernant la croyance (référentiellement opaque) et les autres contextes intensionnels n'est pas reflétée par un mécanisme de représentation séparé ; l'étiquette de « croyance » n'est pas privilégiée.
Insight Mécaniste : Les résultats suggèrent que le problème de la « fidélité » (où le raisonnement et le rapport divergent) provient du fait que ces processus opèrent sur des sous-espaces distincts au sein du même jeton lié.
Portée : L'article présente cela comme une preuve d'un format de représentation partagé dans les LM, et non comme une adjudication de la sémantique de l'anglais ou une preuve que les LM possèdent une théorie de l'esprit humaine. Les résultats sont robustes à travers trois familles de modèles et s'étendent comportementalement aux modèles de pointe, bien que l'accès mécaniste soit limité aux modèles plus petits en accès ouvert.

Les auteurs précisent explicitement que l'« indice d'espace » est distinct des identifiants de liaison d'entités (qui suivent les entités) et du suivi des états des personnages et des objets (qui suit des triplets spécifiques). La contribution est la localisation de la variable d'espace de discours elle-même en tant que routeur partagé, de faible rang et causalement compact.