🤖 machine learning

Context Is King: How In-Context Specification Shapes the Geometry of Concepts

Cet article démontre que la structure géométrique des concepts dans les grands modèles de langage est déterminée dynamiquement par les spécifications en contexte plutôt que par des a priori pré-entraînés fixes, avec la capacité d'outrepasser proprement ces a priori et d'utiliser causalement la géométrie imposée n'émergeant que dans les modèles plus grands.

Auteurs originaux : Elad David, Max Fomin

Publié 2026-07-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Elad David, Max Fomin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un robot géant et super intelligent réfléchit. Pendant longtemps, les scientifiques ont cru qu'à l'intérieur du cerveau de ce robot se trouvait une immense bibliothèque de faits immuables. Si vous posiez une question sur les jours de la semaine, il sortirait d'un rayon un cercle parfait pré-établi où le lundi se trouve toujours à côté du mardi. Si vous posiez une question sur les mois, il sortirait un autre cercle. Cette idée suggérait que le cerveau du robot était comme une carte statique, fixée pour toujours une fois construit, attendant d'être consultée chaque fois qu'une question est posée.

Mais et si cette bibliothèque n'était pas aussi rigide que nous le pensions ? Et si le robot ne se contentait pas de consulter une carte, mais dessinait en réalité une nouvelle carte à chaque fois que vous lui parlez, en se basant précisément sur ce que vous venez de dire ? C'est la grande question que les scientifiques se posent à propos des « Large Language Models » (le nom sophistiqué de ces robots IA géants). Ils veulent savoir : la compréhension du monde par le robot est-elle un fait stocké de manière permanente, ou est-ce une forme flexible qui change selon la conversation ? Comprendre cela nous aide à déterminer si ces robots « savent » réellement des choses ou s'ils sont simplement incroyablement doués pour suivre les règles du moment.

La grande découverte du papier : La règle « Le Contexte est Roi »

Une équipe de chercheurs de Zenity a décidé de tester cette idée avec une expérience amusante et légèrement malicieuse. Ils ont posé une question simple : si vous dites à un robot une règle complètement inventée sur le fonctionnement du monde, croira-t-il en vous, ou restera-t-il fidèle à ce qu'il a appris auparavant ?

Ils ont pris des modèles comme Gemma et Qwen (qui sont des versions très avancées des robots mentionnés plus haut) et leur ont donné un calendrier « redéfini ». Imaginez dire au robot : « Hé, oublie tout ce que tu sais. Dans ce nouveau monde, le seul ordre valide des jours est Mercredi, puis Lundi, puis Vendredi. » Ils n'ont pas donné d'exemples au robot pour qu'il apprenne ; ils ont simplement énoncé la règle comme un fait.

Le résultat choquant : Le robot ne s'est pas contenté de prétendre suivre la règle ; il a réellement recâblé son cerveau pour correspondre à celle-ci.

Lorsque les chercheurs ont regardé à l'intérieur de « l'esprit » du robot (plus précisément, les motifs mathématiques qu'il crée juste avant de répondre), ils ont découvert quelque chose d'incroyable. Le robot n'a pas seulement prononcé les mots « Mercredi, Lundi, Vendredi ». Il a réellement disposé les concepts de ces jours dans une toute nouvelle forme dans son cerveau pour correspondre à cette nouvelle règle.

L'ancienne vision : Le robot possède un cercle fixe de jours.
La nouvelle vision : Le robot dessine une nouvelle forme sur le moment. Si vous dites que les jours sont dans un cercle, ils forment un cercle. Si vous dites qu'ils sont sur une ligne droite, ils forment une ligne. Si vous dites qu'ils sont un arbre généalogique, ils deviennent un arbre.

Le papier appelle cela « Le Contexte est Roi ». La chose la plus importante n'est pas ce que le robot a appris dans le passé (son « a priori pré-entraîné »), mais ce que vous lui dites en ce moment même (la « spécification in-context »). Le cerveau du robot est si flexible que lorsqu'on lui donne une nouvelle règle forte, la nouvelle forme qu'il construit domine l'ancienne structure stockée. L'ancienne carte ne disparaît pas pour toujours ; elle est toujours réelle et stockée dans les poids, mais dès que le contexte la contredit, le robot passe à l'utilisation de la nouvelle carte définie par le contexte.

Comment ils l'ont prouvé (Le « tour de magie »)

Pour s'assurer que le robot ne faisait pas que simuler, les chercheurs ont réalisé une expérience de « patchage causal » (causal patching). C'est comme un tour de magie où l'on échange le cerveau d'un personnage avec celui d'un autre pour voir ce qui se passe.

Ils ont dit au robot le nouvel ordre bizarre des jours.
Ils ont pris le « signal cérébral » du jour « Lundi » et l'ont échangé avec le signal du « Mercredi ».
Ils ont demandé au robot : « Qu'est-ce qui vient après Lundi ? »

Si le robot se contentait de consulter une liste stockée, il aurait été confus ou aurait donné la mauvaise réponse. Mais parce que le robot avait construit une nouvelle carte basée sur votre règle, il a répondu en se basant sur la nouvelle carte. Il a dit que le jour après « Lundi » était celui que la nouvelle règle indiquait après « Lundi », même si « Lundi » agissait désormais comme « Mercredi ». Cela a prouvé que le robot utilisait réellement la nouvelle forme qu'il venait de construire, et non qu'il récitait de vieux faits.

Le bémol : Cela dépend de la taille du robot

Voici le revers de la médaille : tous les robots ne sont pas également doués pour cela. Les chercheurs ont découvert que cette capacité à redessiner complètement sa carte du monde dépend fortement de la taille du robot.

Les gros robots (comme Gemma-31B et Qwen-27B) : Ce sont les plus intelligents. Ils peuvent entendre votre nouvelle règle, outrepasser l'ancienne carte et dessiner une nouvelle forme parfaite et nette. Dans des prompts directs et simples, ils suivent le nouvel ordre avec une précision quasi parfaite (atteignant 100 % de réussite dans les tests). Cependant, même pour ces grands modèles, la performance peut chuter si la tâche devient plus difficile (comme suivre de nombreuses étapes dans le nouvel ordre) ou s'ils sont autorisés à réfléchir à voix haute de manière « libre » sans instructions strictes.
Les petits robots (comme Gemma-2B ou Qwen-4B) : Ce sont les modèles plus jeunes et plus petits. Ils peuvent entendre la règle et essayer de dessiner une nouvelle forme, mais c'est désordonné. C'est comme s'ils essayaient de dessiner un cercle parfait avec une main tremblante. Ils peuvent saisir l'idée générale, mais ils ne peuvent pas totalement lâcher leurs anciens souvenirs. Parfois, ils se confondent même et reviennent à leur ancienne façon de penser, ou échouent à construire une carte utilisable du tout.

Le papier suggère que « construire » une nouvelle forme est facile même pour les petits robots, mais « utiliser » cette forme de manière parfaite et propre est une compétence qui ne vient qu'avec la taille. C'est comme la différence entre un enfant qui peut apprendre un nouveau jeu et un maître qui peut y jouer parfaitement sans faire d'erreurs.

Ce que cela signifie pour l'avenir

Cette étude change notre façon de percevoir l'IA. Elle suggère que ces modèles n'ont pas une « vision du monde » unique et fixe verrouillée en eux. Au lieu de cela, leur compréhension du monde est fluide. C'est comme un caméléon qui change de couleur non seulement pour s'adapter au décor, mais pour s'adapter à l'histoire que vous lui racontez.

Si vous dites à une IA capable que le monde est plat, elle pourrait temporairement organiser ses pensées comme si le monde était plat. Si vous dites que les jours de la semaine sont un arbre, elle construira un arbre. La « vérité » à l'intérieur de l'IA n'est pas un fait statique ; c'est un calcul qui se produit sur le moment, façonné par la conversation.

Les chercheurs précisent qu'ils ne savent pas exactement comment le robot construit ces formes à partir de zéro ou s'il ne fait que réorganiser de vieux meubles. Mais une chose est claire : le robot vous écoute, et il change d'avis pour correspondre à votre histoire. Le contexte que vous fournissez est le roi, et le robot est son sujet changeur de forme et loyal.

Résumé technique : Le contexte est roi : Comment la spécification en contexte façonne la géométrie des concepts

Énoncé du problème

La recherche actuelle en interprétabilité postule souvent que les grands modèles de langage (LLM) stockent des concepts structurés sous forme de variétés géométriques fixes au sein de leurs poids (par exemple, les jours de la semaine formant un cercle, et les mois une autre). Cette « hypothèse de la représentation linéaire » suggère que les relations sémantiques correspondent à des déplacements ou des formes topologiques fixes appris pendant le pré-entraînement et récupérés lors de l'inférence. Cependant, il reste incertain de savoir si ces structures géométriques sont des propriétés intrinsèques et statiques du modèle ou des assemblages dynamiques construits à la demande à partir du contexte d'entrée. Plus précisément, une spécification en contexte conflictuelle se contente-t-elle de déplacer la position d'un concept au sein d'une variété fixe, ou reconfigure-t-elle fondamentalement la topologie de la représentation elle-même ?

Méthodologie

Les auteurs étudient ce phénomène en imposant un conflit direct entre les a priori pré-entraînés d'un modèle et une spécification déclarative en contexte.

1. Cadre expérimental :

Spécification en contexte : Les auteurs définissent une « spécification » comme une règle déclarative affirmant des relations entre un ensemble d'entités sans fournir d'exemples. Il peut s'agir d'un ordre (par exemple, « Le seul ordre valide est : Mercredi, Lundi... ») ou d'une hiérarchie (par exemple, « P est le parent de A et B »).
Régime de conflit : L'étude impose des spécifications qui contredisent la compréhension naturelle du modèle (par exemple, redéfinir l'ordre des jours de la semaine ou appliquer une structure hiérarchique à des concepts cycliques).
Entités : Les expériences couvrent des a priori cycliques forts (jours de la semaine, mois, heures de l'horloge), des a priori faibles (signes du zodiaque), des a priori non cycliques (notes de musique) et des jetons arbitraires sans signification.
Formes de surface : Les spécifications sont présentées sous forme de listes numérotées ou d'arêtes d'adjacence, avec ou sans une arête de « boucle » pour fermer un cycle.

2. Mesure et analyse :

Analyse de similitude de représentation (RSA) : La métrique principale est la corrélation de Spearman entre la matrice de dissimilarité de représentation (RDM) des centroïdes d'entités (extraits du flux résiduel au dernier jeton avant la génération) et un gabarit théorique (par exemple, distance cyclique ou profondeur d'arbre). Crucialement, les centroïdes sont recentrés pour éliminer les directions anisotropes dans le flux résiduel.
Patching d'activation : Pour établir la causalité, les auteurs effectuent un patching par substitution d'entité. Ils remplacent l'activation résiduelle d'une entité ( $E_{orig}$ ) par celle d'une autre entité ( $E_{patch}$ ) issue du même contexte et observent si la sortie du modèle suit le successeur de l'entité patchée selon l'ordre imposé par le contexte plutôt que l'ordre pré-entraîné.
Balayage d'échelle (Scale Sweep) : L'étude évalue huit modèles ajustés par instructions appartenant à trois familles (Gemma, Qén, Llama) allant de 2B à 31B de paramètres pour déterminer comment l'échelle du modèle affecte la formation et l'utilisation de ces géométries.

Contributions clés et résultats

1. Le contexte dicte le type de topologie, pas seulement la position
L'article démontre que la spécification en contexte détermine la topologie de la géométrie du concept, et non simplement un déplacement au sein d'une forme fixe.

Changement de topologie : Lorsqu'une règle déclarative définit une hiérarchie, la géométrie des entités (même cycliques comme les jours de la semaine) se réorganise en un arbre stratifié par profondeur. Inversement, une règle cyclique force une structure d'arbre en un anneau.
Jetons arbitraires : Cet effet se produit même avec des jetons arbitraires sans signification où aucun a priori pré-entraîné n'existe, prouvant que la géométrie est construite à partir de la spécification plutôt que récupérée.
Preuves : Dans Gemma-31B, une hiérarchie imposée sur les jours de la semaine produit une RSA de profondeur de +0,67, tandis qu'un cycle imposé produit une RSA cyclique de +0,72. La dimensionnalité effective change en conséquence (passant d'environ 4,8 pour un anneau naturel à environ 1,8 pour un arbre imposé).

2. La géométrie du contexte domine les a priori pré-entraînés
Lorsque le contexte entre en conflit avec un a priori pré-entraîné fort, la géométrie du contexte domine.

Dominance : Dans les modèles capables (Gemma-31B, Qwen-27B), la RSA par rapport à l'ordre imposé est élevée (+0,80 à +0,90), tandis que la RSA par rapport à l'ordre naturel et pré-entraîné s'effondre pour atteindre presque zéro (ex: -0,03 pour les jours).
Usage causal : Le patching d'activation confirme que cette géométrie est utilisée causalement. Lorsqu'une activation d'entité est échangée, la réponse du modèle suit le successeur défini par la carte imposée par le contexte, et non la carte pré-entraînée. Cette « double dissociation » (suivre l'ordre imposé dans un contexte imposé et l'ordre naturel dans un contexte naturel) exclut une simple recherche dans une table fixe.

3. Fidélité régulée par l'échelle : Formation vs Utilisation
La capacité à former une géométrie rudimentaire est présente même dans les petits modèles, mais la capacité à l'utiliser de manière propre et fidèle est régulée par l'échelle.

Petits modèles : Des modèles comme Gemma-2B ou Qwen-9B peuvent former une géométrie imposée rudimentaire (éliminant les valeurs nulles), mais la carte est souvent « fuyante » ou unidirectionnelle. Par exemple, le patching peut n'affecter la réponse que sous le contexte imposé mais échouer à effectuer le basculement sous le contexte naturel, ou la géométrie peut être un anneau s'auto-croisant plutôt qu'un cycle propre.
Grands modèles : Des cartes propres et traversables ainsi qu'une pleine double dissociation causale n'émergent que dans les modèles plus grands (Gemma-12B/31B, Qwen-27B).
Implication : Un mécanisme présent dans un grand modèle (géométrie dépendante du contexte fidèle) peut être absent ou fondamentalement différent dans un modèle plus petit de la même famille.

4. Localisation du mécanisme
L'étude localise la formation de cette carte à un stade intermédiaire du réseau (environ 0,45–0,75 de profondeur).

De l'identité à la liaison : Les couches précoces encodent l'identité du jeton, mais à mi-réseau, l'identité est liée à la position imposée par le contexte. Le patching à ces couches intermédiaires est le plus efficace pour orienter la sortie.

Signification et affirmations

L'article affirme que la structure géométrique des concepts dans les LLM n'est pas une propriété fixe et intrinsèque stockée dans les poids, mais une computation définie par le contexte.

Recadrage des « Modèles du monde » : Bien que les modèles puissent stocker des structures de type modèle du monde, celles-ci ne sont pas la seule ou la représentation finale utilisée lors de l'inférence. La « géométrie utilisée par le modèle » est celle spécifiée par le contexte, même si elle contredit l'a priori stocké.
Mécaniste vs Instructionnel : Il s'agit d'un phénomène mécaniste, et non d'un simple suivi d'instructions. Le type de topologie change sur commande, se forme sur des jetons n'ayant aucun a priori à hériter, et bascule sous des éditions causales.
Prudence sur le transfert : Les conclusions suggèrent que l'interprétabilité au niveau des circuits et les propriétés géométriques observées dans les petits modèles peuvent ne pas se transférer aux modèles plus grands. Les petits modèles peuvent former une approximation rudimentaire d'une carte imposée par le contexte, mais la géométrie propre et causalement opérante est une capacité qui émerge avec l'échelle.

Les auteurs concluent que les géométries de « modèles du monde » récupérées doivent être lues comme dépendantes du contexte plutôt qu'intrinsèques, et que le comportement du modèle est piloté par une carte construite à la demande à partir de la spécification.