💬 NLP

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space

Cet article propose que les grands modèles de langage effectuent l'apprentissage en contexte en naviguant dans des « espaces de croyances conceptuelles » structurés et de faible dimension, où les mises à jour de croyances se manifestent sous forme de trajectoires géométriques qui se reflètent de manière cohérente tant dans le comportement du modèle que dans ses représentations internes et peuvent être manipulées de manière causale par le biais d'interventions linéaires.

Auteurs originaux : Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) non pas comme un robot qui mémorise simplement des faits, mais comme un conteur lisant un livre à voix haute. Au fur et à mesure que le conteur lit chaque nouvelle phrase, sa compréhension de l'intrigue, des sentiments des personnages et de l'ambiance de la scène évolue. Il ne se contente pas de « connaître » l'histoire ; il met constamment à jour sa « croyance » interne sur ce qui se passe.

Ce papier, intitulé "Stories in Space", tente de cartographier exactement comment ce conteur met à jour ses croyances. Les auteurs proposent une idée fascinante : les croyances changeantes du modèle voyagent le long d'une carte spécifique et de faible dimension appelée « Espace de Croyance Conceptuelle ».

Voici une décomposition de leurs découvertes à l'aide d'analogies simples :

1. La Carte des Croyances (L'Espace Conceptuel)

Imaginez une immense pièce 3D invisible où chaque « sentiment » ou « idée » possible a un emplacement spécifique.

Le Bonheur pourrait se trouver dans le coin supérieur droit.
La Tristesse pourrait être dans le coin inférieur gauche.
La Colère pourrait se situer quelque part entre les deux.

Le papier suggère que lorsqu'un LLM lit une histoire, il ne saute pas au hasard d'une idée à l'autre. Au contraire, son état interne se déplace le long d'une trajectoire lisse sur cette carte.

L'Analogie : Considérez l'histoire comme un sentier de randonnée. Alors que le protagoniste tombe dans un trou, le « marqueur de croyance » du modèle glisse sur la carte vers la zone « Tristesse ». Lorsque le héros sauve les créatures, le marqueur glisse à nouveau vers le « Bonheur ». Le papier a révélé que ces trajectoires ne sont pas chaotiques ; elles suivent une géométrie structurée et prévisible, tout comme une rivière qui s'écoule dans une vallée.

2. Les Deux Faces d'une Même Pièce (Comportement vs Cerveau)

Les chercheurs ont observé le modèle sous deux angles :

Comportement : Ce que le modèle dit lorsqu'on lui demande : « À quel point cette histoire est-elle heureuse en ce moment ? » (par exemple, en donnant une note de 7/10).
Représentations Internes : Les mathématiques réelles qui se produisent à l'intérieur du « cerveau » du modèle (ses activations neuronales) pendant qu'il traite le texte.

La Découverte : La trajectoire que le modèle emprunte sur la « Carte du Comportement » (ce qu'il dit) est presque identique à celle qu'il emprunte sur la « Carte du Cerveau » (ce à quoi il pense).

L'Analogie : C'est comme regarder un marionnettiste. Le papier a révélé que les fils tirant la marionnette (les mathématiques internes) et les mouvements réels de la marionnette (la sortie) sont parfaitement synchronisés. Si vous pouviez voir les fils, vous pourriez prédire exactement où la marionnette se déplacerait ensuite, et vice versa.

3. Lire l'Esprit avec une Sonde Linéaire

Les auteurs ont utilisé un outil appelé « sonde linéaire ». Imaginez cela comme un traducteur simple.

Ils ont montré que l'on peut examiner les mathématiques complexes et désordonnées à l'intérieur du « cerveau » du modèle à un moment donné et utiliser une simple équation linéaire (une ligne droite) pour les traduire en une prédiction de ce que le modèle croit concernant l'émotion de l'histoire.
Le Résultat : Ce traducteur a fonctionné incroyablement bien. Cela signifie que les « croyances » du modèle ne sont pas cachées dans une boîte noire impénétrable ; elles sont écrites clairement dans le code interne du modèle, attendant simplement d'être lues.

4. Diriger l'Histoire (La Télécommande)

La partie la plus excitante du papier est qu'ils n'ont pas seulement observé le modèle ; ils l'ont dirigé.

L'Analogie : Imaginez que la trajectoire de croyance du modèle est une voiture roulant sur une route. Les chercheurs ont découvert qu'ils pouvaient saisir le volant (en ajustant les mathématiques internes) et forcer la voiture à tourner vers une destination spécifique, comme le « Bonheur », même si le texte de l'histoire se dirigeait naturellement vers la « Tristesse ».
Le Problème (La Géométrie de la Direction) : Lorsqu'ils ont dirigé le modèle vers la « Tristesse », il ne s'est pas seulement rendu plus triste ; il est aussi devenu légèrement plus en colère et moins heureux.
Pourquoi ? Parce que sur leur « Carte de Croyance », la Tristesse et la Colère sont des voisins. Si vous poussez le modèle vers la Tristesse, vous le poussez inévitablement vers la Colère aussi. Le papier a révélé que la mesure dans laquelle le modèle se « confond » avec cette direction dépend entièrement de la proximité des concepts sur la carte. Si deux concepts sont éloignés sur la carte, en diriger un n'affecte pas l'autre. S'ils sont proches, ils s'emmêlent.

Résumé des Principales Affirmations

Les croyances ont une forme : Lorsque les LLM lisent des histoires, leurs croyances changeantes se déplacent le long de trajectoires lisses et structurées dans un espace géométrique de faible dimension.
Les pensées correspondent aux actions : Les mathématiques internes du modèle et ses réponses externes suivent exactement le même chemin sur cette carte.
Nous pouvons lire et écrire des croyances : Nous pouvons prédire ce que le modèle croit simplement en examinant ses mathématiques internes, et nous pouvons modifier ses croyances en ajustant ces mathématiques.
La géométrie règne : La façon dont le modèle réagit aux changements (la direction) est dictée par la distance entre les concepts sur cette carte. Les concepts qui sont des « voisins » sur la carte s'influencent mutuellement ; ceux qui sont éloignés ne le font pas.

En bref, le papier soutient que les LLM ne font pas que deviner ; ils naviguent dans un paysage structuré et géométrique de concepts, et nous pouvons désormais voir la carte, lire les coordonnées et même conduire le véhicule.

Résumé Technique : Histoires dans l'Espace : Trajectoires d'Apprentissage en Contexte dans l'Espace de Croyance Conceptuelle

Énoncé du Problème

Les grands modèles de langage (LLM) exhibent des capacités impressionnantes d'apprentissage en contexte (ICL), adaptant leur comportement à de nouvelles informations sans mise à jour des poids. Ce processus est souvent présenté comme une inférence bayésienne, où le modèle ré-pondère des concepts latents basés sur les données d'entrée. Cependant, la structure de l'espace d'hypothèses latentes sur lequel opère cette inférence reste floue. Plus précisément, il est inconnu comment les LLM représentent des concepts complexes et comment ils mettent à jour dynamiquement leurs croyances sur ces concepts au fur et à mesure qu'ils traitent du texte libre, tel que des histoires, où les mises à jour de croyances peuvent être non linéaires et idiosyncrasiques plutôt que stables et monotones.

Méthodologie

Les auteurs proposent que les LLM attribuent des croyances sur un espace géométrique de faible dimension, nommé espace de croyance conceptuelle, et que l'ICL correspond à une trajectoire à travers cet espace. Pour investiguer cela, ils combinent des analyses comportementales et représentatives en utilisant la compréhension d'histoires comme cadre naturel pour la mise à jour dynamique des croyances.

Cadre Théorique

Le travail étend la théorie des espaces conceptuels (Gärdenfors, 2000) pour prendre en compte l'incertitude et la croyance.

Espace Conceptuel ( $C$ ) : Un espace métrique sur des attributs où les concepts sont définis comme des sous-espaces convexes.
Espace de Croyance Conceptuelle ( $B$ ) : Un espace métrique de distributions de probabilité sur $C$ , représentant les états de croyance du modèle.
Trajectoires de Croyance : Une séquence d'états de croyance ( $b_{1:T}$ ) au fur et à mesure que le modèle traite une histoire $x_{1:T}$ , formant un chemin à travers l'espace de croyance.

Configuration Expérimentale

Jeu de Données : Les auteurs utilisent le jeu de données SimpleStories, composé de courts récits générés synthétiquement dans divers styles (aventure, classique, léger, mélancolique, tragique).
Domaines : Trois domaines conceptuels ont été testés :
1. Émotions : Joie, Tristesse, Colère, Surprise, Peur, Dégoût.
2. Genres : Léger, Conte de fées, Aventure, Suspense, Tragique, Horreur.
3. Arbitraire : Magie, Animaux, Curiosité, Travail d'équipe, Créativité, Responsabilité (servant d'exemple contre avec aucune structure attendue).
Modèle : Llama-3.1-8b-instruct (quantifié sur 4 bits).

Techniques Principales

Élicitation de Croyance : Le modèle est sollicité après chaque phrase d'une histoire pour évaluer l'applicabilité de concepts spécifiques sur une échelle de 0 à 10. L'état de croyance comportementale $y_{t,c}$ est calculé comme la valeur attendue des probabilités de tokens du modèle.
Réduction de Dimensionnalité : L'approximation et la projection de variétés uniformes (UMAP) et l'ACP sont appliquées à la fois aux données comportementales ( $Y$ ) et aux activations résiduelles ( $Z$ ) pour identifier des variétés de faible dimension ( $\mathcal{M}_y$ et $\mathcal{M}_z$ ).
Sondes Linéaires : Des modèles de régression linéaire sont entraînés pour prédire les croyances comportementales ( $y_{t,c}$ ) à partir des activations de couches cachées ( $z_{t,\ell}$ ) afin de tester si les croyances sont encodées linéairement.
Pilotage des Activations : Les auteurs interviennent sur les activations latentes en ajoutant des vecteurs de pilotage (dérivés des poids de la sonde linéaire ou de la différence des moyennes) pour tester le contrôle causal sur les trajectoires de croyance.

Contributions et Résultats Clés

1. Variétés Structurées de Faible Dimension

L'étude révèle que les mises à jour de croyance dans les LLM sont bien décrites comme des trajectoires sur des variétés structurées de faible dimension.

Alignement Comportemental et Représentationnel : Les variétés dérivées du comportement du modèle ( $\mathcal{M}_y$ ) et des activations internes ( $\mathcal{M}_z$ ) sont fortement corrélées et partagent des propriétés structurelles.
Structure du Domaine : Pour les domaines Émotions et Genres, les variétés présentent une structure claire. Pour Émotions, la géométrie de la variété apprise correspond étroitement à l'espace Valence-Arousal validé par l'humain (Russell & Mehrabian, 1977), avec une corrélation de $r=0,93$ entre les évaluations humaines et la variété comportementale du modèle.
Contraste avec l'Arbitraire : Le domaine Arbitraire, dépourvu de structure sémantique inhérente, a montré une structure de variété moins claire et une corrélation plus faible entre les variétés comportementales et d'activation ( $r=0,71$ ), soutenant l'hypothèse que la structure émerge de relations conceptuelles significatives.

2. Décodabilité Linéaire des Croyances

Les sondes linéaires entraînées sur les activations cachées peuvent prédire avec précision les croyances comportementales du modèle.

Les sondes à la couche $\ell=9$ ont obtenu une faible erreur quadratique moyenne (RMSE) dans la prédiction des dynamiques de croyance : 0,09 pour les Émotions, 0,09 pour les Genres et 0,11 pour l'Arbitraire.
Cela suggère que l'information concernant les « croyances » du modèle sur l'histoire est accessible linéairement dans le flux résiduel, même lorsque le modèle n'est pas explicitement instruit de considérer des concepts spécifiques.

3. Pilotage Causal et Géométrie

Les interventions sur les représentations cachées pilotent causalement les trajectoires de croyance, et les effets de ces interventions sont prévisibles à partir de la géométrie de l'espace conceptuel.

Effet de Pilotage : L'ajout de vecteurs de pilotage pour un concept cible (par exemple, la tristesse) déplace la trajectoire du modèle dans la variété de croyance vers ce concept.
Enchevêtrement du Pilotage : Le pilotage d'un concept affecte souvent des concepts liés (par exemple, le pilotage pour la tristesse augmente la colère et diminue la joie). Cet enchevêtrement reflète les distances géométriques entre les centroïdes des concepts dans la variété.
Prévisibilité : Le degré d'enchevêtrement du pilotage entre les concepts est significativement corrélé à la distance entre leurs centroïdes dans la variété apprise ( $r=0,65$ pour les Émotions).
Dynamique des Couches : Le pilotage à une seule couche échoue souvent à persister jusqu'à la sortie en raison de l'auto-correction du modèle ; cependant, le pilotage sur une plage de couches (par exemple, les couches 7 à 14) modifie avec succès le comportement de sortie final.

Signification et Revendications

L'article revendique fournir une explication géométrique des dynamiques de croyance dans les LLM, ancrant les interprétations bayésiennes de l'apprentissage en contexte dans des représentations conceptuelles structurées.

Unification des Cadres : Le travail comble le fossé entre les théories probabilistes de l'apprentissage (inférence bayésienne) et les théories géométriques de la représentation conceptuelle (espaces conceptuels) en sciences cognitives.
Interprétabilité : Il démontre que des mises à jour de croyance complexes et dynamiques dans du texte libre peuvent être comprises comme des trajectoires lisses à travers un espace de faible dimension, qui peuvent être décodées et manipulées.
Modestie : Les auteurs reconnaissent les limites, notant que l'étude repose sur des domaines et des concepts sélectionnés manuellement, traite les concepts comme unitaires plutôt que compositionnels, et se concentre sur des croyances globales au niveau de l'histoire plutôt que spécifiques aux personnages. Ils présentent cela comme une première étape vers une fondation théorique pour l'interprétabilité des LLM, suggérant que les travaux futurs devraient explorer des méthodes d'« auto-interprétabilité » pour découvrir des domaines conceptuels et investiguer comment ces espaces façonnent l'incertitude dans la génération de textes longs.

En résumé, l'article soutient que les LLM ne traitent pas simplement le texte comme une séquence de tokens, mais naviguent dans un espace de croyance conceptuel structuré et de faible dimension, mettant à jour leur état interne le long de trajectoires lisses qui reflètent le contenu sémantique et émotionnel du récit.