💬 NLP

How Context Shapes Truth: Geometric Transformations of Statement-level Truth Representations in LLMs

Cet article fournit la première caractérisation géométrique de la manière dont le contexte transforme les vecteurs de vérité dans les grands modèles de langage, révélant que le contexte amplifie généralement l'amplitude des représentations de vérité tandis que les modèles plus larges distinguent le contexte pertinent du contexte conflictuel principalement par des changements directionnels dans l'espace d'activation plutôt que par des différences d'amplitude.

Auteurs originaux : Shivam Adarsh, Maria Maistro, Christina Lioma

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shivam Adarsh, Maria Maistro, Christina Lioma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme une immense bibliothèque à plusieurs étages où chaque livre représente une pensée ou une information différente. À l'intérieur de cette bibliothèque, la « vérité » concernant une affirmation n'est pas écrite en mots ; elle est stockée sous la forme d'une flèche spécifique pointant dans une certaine direction.

Si le modèle pense qu'une affirmation est vraie, la flèche pointe d'un côté. S'il pense qu'elle est fausse, la flèche pointe de l'autre côté. Le document que vous avez partagé étudie ce qui arrive à ces « flèches de vérité » lorsque nous donnons au modèle une information supplémentaire (le contexte) à lire avant de répondre.

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. Le voyage en trois étapes d'une flèche

Les chercheurs ont observé ces flèches de vérité alors qu'elles voyageaient à travers les différents « étages » (couches) de la bibliothèque. Ils ont trouvé un schéma cohérent en trois étapes :

Le sous-sol (Couches précoces) : Lorsque le modèle lit l'affirmation pour la première fois, la « flèche de vérité » avec le contexte et la « flèche de vérité » sans contexte pointent dans des directions complètement différentes. Elles sont comme deux personnes dos à dos ; elles sont orthogonales (à un angle de 90 degrés). Le modèle est simplement en train de traiter les mots bruts, donc le contexte supplémentaire n'a pas encore donné de sens à la vérité.
La salle principale (Couches intermédiaires) : À mesure que l'information monte, les flèches commencent soudainement à s'aligner. Elles convergent, pointant presque dans la même direction. C'est là que le modèle « comprend ». Il a traité le sens, et que l'idée centrale de la « vérité » soit accompagnée d'un contexte ou non, elle est désormais représentée de manière similaire.
Le grenier (Couches tardives) : Dans les derniers étages, les choses deviennent intéressantes. Parfois, les flèches restent parfaitement alignées. D'autres fois, elles commencent à s'écarter à nouveau. Cela se produit principalement lorsque le contexte supplémentaire contredit ce que le modèle « sait » déjà de son entraînement. C'est comme si le modèle avait un débat interne, provoquant un vacillement ou un changement de direction de la flèche alors qu'il essaie de décider quelle information croire.

2. Monter le volume (Magnitude)

Les chercheurs ont également mesuré la longueur de ces flèches.

La découverte : Lorsque vous ajoutez du contexte, les flèches deviennent généralement plus longues.
L'analogie : Imaginez la différence entre une affirmation vraie et une fausse comme la distance entre deux personnes se tenant dans une pièce. Sans contexte, elles pourraient se tenir à 1,5 mètre l'une de l'autre. Lorsque vous ajoutez du contexte, le modèle les repousse plus loin, peut-être à 3 mètres. La « séparation » entre la vérité et le mensonge devient plus distincte et plus facile à voir. Le contexte agit comme un projecteur qui rend la différence entre le bien et le mal plus claire.

3. Grands modèles vs Petits modèles : Différentes stratégies

Le papier a découvert que les grands modèles et les petits modèles gèrent cette « information supplémentaire » de différentes manières, comme deux types de navigateurs différents :

Les grands modèles (ex. LLaMA, Mistral) : Ces modèles sont comme des cartographes experts dotés de cartes immenses. Lorsqu'ils reçoivent un contexte pertinent, ils changent la direction de leur flèche. Ils pivotent physiquement pour faire face à un nouvel angle plus précis. Ils utilisent l'espace supplémentaire dans leur « cerveau » pour pointer dans une direction complètement nouvelle afin de montrer qu'ils comprennent la nuance.
Les petits modèles (ex. Qwen, SmolLM) : Ces modèles ont des cartes plus petites. Ils ne peuvent pas toujours se permettre de faire pivoter la flèche dans une nouvelle direction sans heurter d'autres idées. Au lieu de cela, ils gardent la flèche pointant à peu près dans la même direction mais la rendent plus longue. Ils signalent qu'ils comprennent le contexte en « amplifiant » le signal (en rendant la flèche plus longue) plutôt qu'en changeant son angle.

4. Bon contexte vs Bruit aléatoire

Les chercheurs ont testé ce qui se passe lorsque le contexte est réellement utile par rapport à lorsqu'il s'agit de gibberish aléatoire (comme une liste de mots aléatoires ou un paragraphe mélangé).

Le résultat : Un contexte pertinent et utile provoque une réaction beaucoup plus importante dans les « flèches de vérité » du modèle que le bruit aléatoire.
L'exception : Si le contexte est contradictoire (disant au modèle quelque chose qui va à l'encontre de son entraînement), il provoque le plus grand changement géométrique de tous. C'est comme si le modèle était choqué ; la flèche oscille violemment car il doit réconcilier deux faits opposés.
Le problème du texte juridique : Curieusement, lorsque le contexte était un texte juridique très complexe et technique, les modèles avaient du mal à le distinguer du bruit aléatoire. Les « flèches » ne bougeaient pas beaucoup. Il semble que lorsque le langage est trop dense et spécialisé, le modèle ne peut pas faire la différence entre un indice utile et une phrase aléatoire.

Résumé

En bref, ce papier montre que lorsqu'un LLM lit une affirmation avec un contexte supplémentaire, il ne se contente pas de « lire » les mots ; il remodèle physiquement la géométrie de ses pensées internes.

Au début, les pensées sont confuses et pointent partout.
Au milieu, elles s'alignent pour trouver la vérité.
À la fin, la « flèche de vérité » devient plus longue (plus de confiance) ou change de direction (si le contexte est délicat).
Les grands modèles changent la direction de la flèche pour montrer qu'ils comprennent ; les petits modèles changent la longueur de la flèche.

Cela aide à comprendre que la « vérité » dans une IA n'est pas un interrupteur statique ; c'est une forme dynamique qui change en fonction de ce que l'IA est en train de lire.

Résumé Technique : Comment le Contexte Façonne la Vérité

Énoncé du Problème

Bien que des recherches antérieures aient établi que les grands modèles de langage (LLM) encodent la véracité des énoncés sous forme de directions linéaires (vecteurs) au sein de leurs activations de flux résiduel, l'évolution géométrique de ces « vecteurs de vérité » lorsque des informations contextuelles sont introduites reste inexplorée. Les études existantes démontrent que la vérité peut être séparée des faussetés dans l'espace d'activation et que les sondes peuvent se généraliser à travers différents contextes, mais elles ne caractérisent pas la manière dont la géométrie de ces représentations — spécifiquement leur direction et leur magnitude — se transforme lorsque le modèle traite un énoncé accompagné d'un contexte. Cette lacune est cruciale pour comprendre comment les LLM intègrent des informations externes, particulièrement dans les scénarios de génération augmentée par récupération (RAG) et d'apprentissage en contexte.

Méthodologie

Les auteurs proposent un cadre pour mesurer les transformations géométriques des vecteurs de vérité induites par le contexte. Le dispositif expérimental implique quatre LLM ajustés par instruction (LLaMA-3.1-8B, Mistral-Nemo-12B, Qwen3-4B, et SmolLM3-3B) et quatre ensembles de données couvrant divers domaines (vérification de faits, juridique, synopsis de films et conflits de connaissances synthétiques).

Procédure de base :

Construction des Prompts : Pour chaque énoncé, quatre prompts sont générés en faisant varier le [Choix Sélectionné] (appuyant ou réfutant l'énoncé) et la présence de [Contexte] (avec ou sans). Le modèle reçoit l'instruction de générer une complétion commençant par un jeton spécifique (par exemple, ")") afin d'assurer une comparaison équitable.
Extraction des Vecteurs : Les vecteurs de vérité sont extraits des activations du flux résiduel (post-MLP) à la position du premier jeton généré. Le vecteur de vérité sans contexte ( $v_{k,nc}^{(l)}$ ) et avec contexte ( $v_{k,c}^{(l)}$ ) pour un énoncé $k$ à la couche $l$ sont définis comme la différence entre les activations pour les complétions vraies et fausses :
$v_{k,nc}^{(l)} = a_{k,True, nc}^{(l)} - a_{k,False, nc}^{(l)}$
$v_{k,c}^{(l)} = a_{k,True, c}^{(l)} - a_{k,False, c}^{(l)}$
Métriques Géométriques : Deux propriétés sont mesurées pour quantifier le changement :
- Changement Directionnel ( $\theta$ ) : L'angle entre le vecteur de vérité avec contexte et sans contexte, calculé via la similitude cosinus.
- Magnitude Relative : Le ratio de la norme L2 du vecteur de vérité avec contexte sur la norme sans contexte ( $||v_{k,c}^{(l)}||_2 / ||v_{k,nc}^{(l)}||_2$ ). Des valeurs $>1$ indiquent une amplification de la séparation entre les représentations vraies et fausses.

L'étude compare également un contexte pertinent à cinq types de contextes aléatoires ou non pertinents (caractères aléatoires, mots aléatoires, phrases incohérentes, texte Wikipédia aléatoire et contextes de jeux de données mélangés) pour évaluer la sensibilité à la pertinence.

Résultats Clés

1. Modèle de Changement Directionnel en Trois Phases

À travers tous les modèles et jeux de données, le changement directionnel ( $\theta$ ) suit un schéma cohérent en trois phases à travers les couches :

Phase 1 (Couches Précoces) : Les vecteurs de vérité avec et sans contexte sont approximativement orthogonaux ( $\theta$ élevé), suggérant des représentations distinctes lors des premières étapes de traitement.
Phase 2 (Couches Médianes) : Les vecteurs convergent fortement, atteignant un $\theta$ minimal. Cela s'aligne sur le rôle connu des couches médianes dans l'encodage sémantique et la récupération de connaissances. Notamment, $\theta$ n'atteint jamais zéro, indiquant que le contexte laisse toujours une signature géométrique distincte.
Phase 3 (Couches Tardives) : Le comportement varie. Pour certains jeux de données, les vecteurs se stabilisent. Pour d'autres (spécifiquement lorsque le contexte entre en conflit avec la connaissance paramétrique, ex: ConflictQA-Counter), $\theta$ augmente à nouveau, suggérant un traitement continu des signaux conflictuels dans les couches plus profondes.

2. Amplification de la Séparation de la Vérité

L'ajout de contexte augmente généralement la magnitude relative des vecteurs de vérité (valeurs $>1$ ). Cela indique que le contexte amplifie la séparation entre les représentations vraies et fausses dans l'espace d'activation. Cet effet est plus prononcé dans les couches médianes, où la magnitude relative atteint souvent un pic avant de se stabiliser dans les couches ultérieures.

3. Taille du Modèle et Mécanismes de Sensibilité

Une divergence significative existe entre les modèles plus grands et les plus petits concernant la manière dont ils encodent la pertinence du contexte :

Modèles Plus Grands (LLaMA, Mistral) : Distinguent le contexte pertinent du non pertinent principalement par le changement directionnel ( $\theta$ ). Le contexte pertinent induit des décalages directionnels nettement plus élevés que le contexte aléatoire.
Modèles Plus Petits (Qwen, SmolLM) : Distinguent le contexte pertinent du non pertinent principalement par la mise à l'échelle de la magnitude. Alors que les changements directionnels sont souvent négligeables ou négatifs, la magnitude relative des vecteurs de vérité est nettement plus élevée pour le contexte pertinent. Les auteurs émettent l'hypothèse que cela est dû aux contraintes de capacité de représentation dans des espaces de plus faible dimension, rendant la mise à l'échelle de la magnitude plus faisable comme stratégie d'encodage qu'une direction distincte.

4. Impact du Conflit de Connaissances

Le contexte qui contredit la connaissance paramétrique (ConflictQA-Counter) produit des changements géométriques plus importants ( $\theta$ et magnitude plus élevés) que le contexte aligné avec la connaissance paramétrique. Cela suggère que l'information conflictuelle déclenche des décalages géométriques plus forts et plus persistants, reflétant potentiellement la compétition entre les voies de la mémoire et du contexte.

5. Spécificité du Domaine

Dans des jeux de données complexes et spécifiques à un domaine comme LegalBench (Corporate Lobbying), les modèles échouent souvent à montrer des différences géométriques significatives entre un contexte pertinent et un contexte aléatoire. Cela est corrélé à de faibles scores de lisibilité Flesch, suggérant qu'un langage hautement technique peut submerger la capacité du modèle à extraire des signaux géométriques significatifs distinguant la pertinence.

Signification et Revendications

L'article affirme fournir la première caractérisation géométrique de la manière dont le contexte transforme les représentations de la vérité dans les LLM. Les conclusions offrent un prisme théorique pour comprendre le traitement interne du contexte et ont des implications pratiques pour :

Systèmes RAG : Les valeurs de $\theta$ par couche pourraient servir de signaux de diagnostic pour détecter quand un modèle échoue à intégrer le contexte récupéré (absence de convergence dans les couches médianes) ou quand des conflits de connaissances existent (divergence anormale dans les couches tardives).
Pilotage des Modèles Plus Petits : La découverte que les modèles plus petits reposent sur la magnitude plutôt que sur la direction suggère que les techniques de pilotage d'activation pour ces modèles devraient se concentrer sur la mise à l'échelle de la magnitude plutôt que sur de pures interventions directionnelles.

Les auteurs maintiennent une position modeste, notant que bien que ces changements géométriques soient significatifs, ils ne se traduisent pas toujours linéairement par des changements de probabilité de sortie. Ils reconnaissent également des limites, notamment l'accent mis sur le premier jeton, l'utilisation de jeux de données uniquement en anglais, et la nature spécifique des modèles ajustés par instruction étudiés.