🤖 machine learning

The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models

Cet article approfondit la compréhension des représentations de la vérité dans les modèles de langage en démontrant que la dimensionnalité de la vérité est dépendante de la connaissance (s'effondrant sur un axe unique pour les faits connus), en identifiant les composantes architecturales spécifiques qui propagent ou s'opposent aux cadres de vérité, et en révélant une loi géométrique convergente et régulée par la connaissance qui gouverne la direction de la vérité à travers diverses familles de modèles.

Auteurs originaux : Francesco Karim Vicidomini

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Francesco Karim Vicidomini

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La boussole cachée dans le cerveau de la machine

Imaginez une bibliothèque géante où un robot aurait lu tous les livres jamais écrits. Ce robot, appelé Modèle de Langage Étendu (LLM), est si doué pour imiter le langage humain qu'il peut écrire des poèmes, résoudre des problèmes mathématiques et raconter des histoires. Mais il y a un piège : il peut aussi mentir avec une assurance parfaite. Il pourrait vous dire que la lune est faite de fromage, et il le dira avec la même voix suave qu'il utilise pour vous dire que la lune est faite de roche. Les scientifiques se demandent depuis longtemps : à l'intérieur du cerveau de ce robot, existe-t-il un « interrupteur de vérité » caché qui s'allume lorsqu'il sait qu'une chose est réelle ?

Pour comprendre cela, nous devons savoir comment le robot pense. Il ne stocke pas les faits comme un humain ; au lieu de cela, il transforme chaque phrase qu'il lit en une longue liste de nombres, comme un code secret. Les scientifiques appellent cela un « vecteur ». Voyez ces nombres comme des coordonnées sur une carte. Si le robot connaît un fait, ces coordonnées pourraient pointer dans une direction spécifique. S'il devine, les coordonnées pourraient être éparpillées un peu partout. La grande question est la suivante : existe-t-il une seule ligne droite sur cette carte qui pointe vers la « Vérité » ? Ou la vérité est-elle un nuage multidimensionnel désordonné qui change selon le sujet abordé ? Ce document plonge au cœur de cette carte pour voir si nous pouvons trouver une boussole qui pointe toujours vers la vérité, ou si le cerveau du robot est trop complexe pour une simple aiguille.

La boussole de vérité unidirectionnelle

Les chercheurs de ce document ont décidé de jouer les détectives à l'intérieur du cerveau d'un petit robot (plus précisément, un modèle appelé Qwen2.5-1.5B). Ils voulaient voir s'ils pouvaient trouver une seule ligne droite — une « direction de vérité » — qui sépare ce que le robot sait être vrai de ce qu'il sait être faux.

La magie des « paires minimales »
Pour ce faire, ils ont utilisé une astuce ingénieuse appelée « paires minimales ». Imaginez que vous avez deux phrases qui sont des jumelles, à l'exception d'un mot.

Phrase A : « Le Soleil est une étoile. » (Vrai)
Phrase B : « Le Soleil est une planète. » (Faux)

Le robot lit les deux phrases. Les chercheurs ont ensuite examiné les codes numériques secrets (les états cachés) que le robot a créés pour chaque phrase et ont soustrait l'un de l'autre. Comme les phrases sont presque identiques, tout le « bruit » s'annule, ne laissant que la différence causée par la vérité ou le mensonge. Ils ont utilisé un outil mathématique (SVD) pour trouver la direction principale de cette différence.

La grande découverte : La vérité est une ligne, mais seulement quand on sait
L'équipe a découvert quelque chose d'incroyable : pour les faits que le robot connaît réellement, la vérité réside vraiment sur une seule ligne droite. Lorsqu'ils ont testé cela sur des faits que le robot avait mémorisés (comme des capitales ou des symboles chimiques), leur « boussole de vérité » a très bien fonctionné, obtenant la bonne réponse environ 93,8 % du temps.

Cependant, ils ont découvert une règle cruciale : la boussole ne fonctionne que si le robot connaît le fait.

Quand le robot sait : le signal de vérité est net et concentré sur cette ligne unique.
Quand le robot ne sait pas : le signal devient flou et s'éparpille. Si vous posez au robot des questions sur des faits obscurs qu'il n'a pas appris, les coordonnées de la « vérité » et du « mensonge » commencent à se chevaucher, comme deux nuages de brouillard qui fusionnent. La boussole ne peut pas les distinguer car le robot est en train de deviner.

Le papier a également testé un certain nombre d'idées folles pour voir si la vérité était plus complexe qu'une simple ligne. Ils ont demandé : « La vérité est-elle une forme 3D ? Est-ce une phase rotative ? Est-ce une rotation complexe ? » La réponse fut un non retentissant. Ils ont mené sept expériences différentes pour essayer de trouver une seconde dimension ou un motif caché, et à chaque fois, la complexité supplémentaire s'est avérée n'être que du bruit. La vérité, pour les faits connus, est strictement unidimensionnelle.

L'anatomie d'un mensonge : Qui écrit la vérité ?

Les chercheurs ne se sont pas arrêtés à la découverte de la ligne ; ils voulaient savoir qui, dans le cerveau du robot, la dessinait. Le cerveau du robot possède deux travailleurs principaux : l'Attention (qui regarde les mots et les connecte) et le FFN (un réseau de neurones à propagation directe qui agit comme un écrivain de mémoire).

Ils ont découvert une danse fascinante entre ces deux travailleurs :

L'Attention est le Bâtisseur : Dans les couches intermédiaires du cerveau du robot, le travailleur Attention construit le signal de vérité. Il rassemble les faits et trace la ligne.
Le FFN est l'Effaceur : Une fois la ligne tracée, le travailleur FFN arrive et commence à tout gâcher. Il repousse en fait le signal de vérité loin de la direction correcte, surtout juste après le pic de compréhension.

C'est comme un jeu de tir à la corde. L'Attention tire la corde vers la « Vérité », mais le FFN la tire en retour vers la « Prédiction du mot suivant ». Les chercheurs ont découvert que le FFN est tellement occupé à essayer de deviner quel mot vient ensuite qu'il efface accidentellement le signal de vérité qu'il a lui-même aidé à créer.

La loi relationnelle : Une règle universelle

L'équipe a ensuite testé cela sur quatre robots différents issus de deux familles différentes (Qwen et Llama). Ils ont découvert une loi universelle qui s'applique à tous, quels que soient leur taille ou leur entraînement :

L'Attention propage (transmet vers l'avant) les cadres de vérité qu'elle n'a pas écrits.
Le FFN s'oppose toujours au cadre de vérité du moment présent et écrit le matériel pour le moment suivant.

C'est comme si le travailleur Attention disait : « Voici la vérité ! » et que le travailleur FFN répondait : « D'accord, je prends ça, mais maintenant je vais l'écraser avec ma propre idée pour la phrase suivante. » Cela crée un cycle où le signal de vérité monte, atteint un sommet, puis s'estompe à mesure que le robot passe à la prédiction du mot suivant.

La carte secrète des catégories

Enfin, les chercheurs ont observé comment le robot traite différents types de faits, comme les « pays », les « langues » ou les « sports ». Ils ont découvert que le robot n'utilise pas la même ligne pour tout. Au lieu de cela, il possède toute une carte de différentes lignes, une pour chaque catégorie.

Voici la partie stupéfiante : même si les deux familles de robots (Qwen et Llama) ont été construites différemment et entraînées sur des données différentes, elles ont toutes deux fini par dessiner cette carte de la même manière.

Si « Langues » et « Pays » pointent dans des directions opposées sur la carte de Qwen, ils pointent également dans des directions opposées sur la carte de Llama.
Si les « Sports » sont des solitaires qui ne s'alignent sur rien, ils sont des solitaires sur les deux cartes.

Cela suggère que la façon dont la vérité est organisée n'est pas aléatoire ; c'est une propriété de la connaissance elle-même. Les robots découvrent tous deux la même géométrie cachée du monde. Cependant, cet accord ne se produit que si les deux robots connaissent réellement les faits. S'ils devinent, la carte s'effondre.

Ce que cela signifie (et ce que cela ne signifie pas)

Le document est très prudent pour ne pas survendre ses conclusions. Il exclut explicitement plusieurs choses :

La vérité n'est pas un objet 3D : C'est une ligne (pour les faits connus).
Le FFN n'aide pas la vérité : Il lui nuit en réalité après le pic.
La boussole n'est pas magique : Elle échoue complètement si le robot ne connaît pas le fait.

Les chercheurs sont confiants dans leurs mesures car ils ont utilisé des contrôles stricts, comme des « expériences de falsification » où ils ont essayé de se prouver qu'ils avaient tort. Ils ont même trouvé une erreur dans leur propre réflexion antérieure (concernant un « basculement » dans le signal) et l'ont corrigée, montant que le signal est en fait une loi universelle, et non un simple hasard d'une couche spécifique.

En bref, ce document nous montre qu'à l'intérieur du cerveau du robot, la vérité est une ligne droite et simple — mais seulement quand le robot est sûr de sa réponse. Lorsqu'il devine, la ligne se dissout dans un brouillard. Et bien que le cerveau du robot soit complexe, la façon dont il organise la vérité suit une géométrie belle et universelle qui semble être inscrite dans la nature même de la connaissance.

Résumé technique : L'anatomie d'une direction de vérité

Énoncé du problème

Les grands modèles de langage (LLM) génèrent des affirmations fausses avec une fluidité comparable à celle des affirmations vraies, pourtant des travaux récents suggèrent que les valeurs de vérité sont linéairement lisibles dans le flux résiduel. Bien que Bürger et al. (2024) aient établi que les représentations de la vérité résident dans un sous-espace multidimensionnel (englobant une direction de vérité générale et une direction sensible à la polarité), trois questions critiques restent sans réponse concernant la nature de cette représentation :

Comment la dimensionnalité du sous-espace de vérité dépend-elle de la connaissance réelle des faits par le modèle ?
Quels composants architecturaux (Attention vs Réseaux Feed-Forward) construisent, propagent ou dégradent le signal de vérité ?
Quelle est la composition de la direction de vérité lorsque le modèle traite des catégories de faits hétérogènes ?

Méthodologie

Le papier emploie une sonde directionnelle sans entraînement et sans étiquetage (jusqu'au signe) dérivée de la Décomposition en Valeurs Singulières (SVD) des différences d'états cachés entre des paires minimales (variantes de phrases vraies/fausses ne différant que par un mot de contenu).

Instrument : Le vecteur singulier de droite dominant ( $v_1$ ) de la matrice de différence $D = h_{vrai} - h_{faux}$ sert d'« axe de vérité ». Par le Lemme 1, l'espace engendré par cet axe est invariant au choix de la phrase de la paire étiquetée comme vraie, ne nécessitant qu'un seul bit de signe global pour l'orientation.
Évaluation : La performance est mesurée via l'Aire Sous la Courbe (AUC) sur des données non vues en utilisant une validation croisée k-fold sur les paires. Un nul de permutation (échange des étiquettes au sein des paires) contrôle le biais de sélection lors du balayage des couches.
Anatomie : Le flux résiduel est décomposé en contributions d'attention ( $a_\ell$ ) et de FFN ( $f_\ell$ ). L'ablation causale (mise à zéro des composants) et les contrôles de « provenance de cadre » (mesurant les contributions par rapport à des cadres ajustés à différentes profondeurs) isolent les mécanismes causaux.
Discipline : L'étude adhère à un protocole de falsification strict. Les prédictions sont pré-enregistrées ; les résultats négatifs et les corrections des propres interprétations de l'auteur sont rapportés avec la même rigueur.

Contributions clés et résultats

Partie I : Dimensionnalité et dépendance à la connaissance (Modèle unique : Qwen2.5-1.5B)

Dimensionnalité dépendante de la connaissance : Le signal de vérité n'est pas de dimensionnalité fixe. Sur les faits que le modèle connaît comportementalement (paires curatées), le signal est hautement concentré sur un axe unique (AUC 0,938). À mesure que la connaissance diminue (CounterFact) ou que l'hétérogénéité du matériel augmente (mélange TruthfulQA), le signal devient diffus, et l'écart entre la sonde à axe unique et une sonde linéaire complète s'élargit considérablement (de 0,051 à 0,203). Cela suggère que la représentation de la vérité est dépendante de la connaissance : les faits connus occupent une direction dédiée ; les faits inconnus résultent de superpositions chevauchantes et non résolues.
Vérification de la unidimensionnalité : Sept expériences de falsification (testant les dynamiques de phase complexe, les signatures de profondeur globale, les départements de couches, l'énergie et le clustering 3D) n'ont pas réussi à infirmer la lecture unidimensionnelle sur les faits connus. La « phase » ou la « rotation » des faussetés a été rétractée comme étant une réexpression de l'inversion de signe de l'axe réel.
Récupération de la polarité : La SVD de paires minimales à polarité mixte récupère la direction de polarité supervisée ( $t_P$ ) de Bürger et al. (2024) avec un cosinus de 0,959, sans jamais voir de labels de polarité.
Origine anatomique : L'attention construit causalement le signal de vérité dans les couches intermédiaires. Inversement, le FFN dégrade le signal après le pic de lisibilité.

Partie II : Lois relationnelles et géométrie convergente (Quatre modèles : Familles Qwen et Llama)

Loi empirique 1 (Propager vs Écraser) : Une loi relationnelle émerge à travers les modèles : l'Attention propage les cadres de vérité qu'elle n'a pas écrits, tandis que le FFN s'oppose au cadre de son bloc actuel et dépose le matériel pour le cadre suivant. Cette dynamique explique le « basculement » observé au pic de vérité : l'apparente écriture pro-vérité du FFN au sommet est un artefact de la mesure du composant par rapport à un cadre qu'il a aidé à créer ; lorsqu'il est mesuré par rapport à un « cadre propre » pré-existant, le FFN est systématiquement anti-aligné avec le cadre de vérité actuel.
Attribution causale de l'érosion : La véritable dégradation du signal de vérité après le pic est attribuée causalement au flux de valeur SwiGLU du FFN, et non à la porte (gate).
Échelle et traits de famille :
- Échelle : Un « bras de fer » (où l'attention continue d'écrire pro-vérité tandis que le FFN écrase) est un trait des modèles plus grands (3B), absent des plus petits (1B).
- Famille : Une « ignition en une seule couche » du signal est un trait de la famille Qwen, tandis que Llama présente une montée progressive.
Géométrie des catégories convergentes : Les axes de vérité pour différentes catégories sémantiques (ex: langues, continents, citoyenneté) forment un arrangement signé sémantiquement qui contredit la surface lexicale initiale et converge à travers les familles de modèles.
- La Loi de l'Arrangement : Différents modèles entraînés sur le même monde convergent vers le même arrangement fonctionnel des directions de vérité. Cette géométrie appartient au domaine de la connaissance, et non à l'architecture.
- Porte de la connaissance : Cette convergence est filtrée par la connaissance. La force de l'accord inter-familles (Mantel $p=0,0009$ ) se renforce de +0,42 sur le matériel à connaissance mixte à +0,74 sur les catégories à connaissance restreinte.
Instabilité du signe et correction : L'orientation par catégorie est instable pour les faits à faible connaissance. Le papier introduit une jauge de consensus spectral (utilisant le vecteur propre principal de la matrice de cosinus) pour réparer l'instabilité du signe, garantissant que les comparaisons inter-modèles ne sont pas des artefacts d'inversions de signe arbitraires.

Signification et revendications

Le papier affirme établir une sonde structurelle à faible coût pour la vérité qui rivalise avec les sondes entraînées sur les faits connus sans optimisation. Sa principale contribution théorique est le recadrage de la représentation de la vérité :

La dimensionnalité n'est pas fixe : Elle est une fonction de la connaissance du modèle. Les faits inconnus ne manquent pas de direction ; plutôt, leur signal est distribué à travers des caractéristiques superposées, ce qui les rend illisibles par un axe unique.
Le mécanisme est relationnel : La vérité n'est pas un objet statique mais un flux dynamique où l'attention propage des cadres et les FFN les écrasent avec de nouvelles directions spécifiques aux catégories.
La géométrie est pilotée par la connaissance : L'arrangement des directions de vérité à travers les catégories est une propriété du domaine de connaissance partagé, convergeant à travers différentes architectures de modèles.

Les auteurs déclarent explicitement que cette méthode n'est pas un substitut aux auto-encodeurs parcimonieux (sparse autoencoders) (qui sont nécessaires pour désambiguer les caractéristiques superposées) mais sert de « sonde structurelle légère, honnête et presque gratuite » pour accompagner la génération. Le travail souligne que l'étude de la géométrie d'une capacité présuppose l'existence de cette capacité de manière comportementale, un principe appliqué systématiquement en mesurant les « taux de connaissance » avant l'analyse géométrique.

Le papier conclut qu'un résultat survivant aux propres attaques de l'auteur (via des corrections pré-enregistrées et des falsifications) est plus robuste qu'un résultat qui n'a jamais été attaqué, positionnant les conclusions comme une fondation renforcée pour les futurs travaux d'interprétabilité mécaniste.