💬 NLP

The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models

Cet article révèle que les représentations internes de la véracité dans les modèles de langage forment une structure géométrique simple et de faible dimension définie par des centroïdes de classe, permettant une détection et une manipulation causale hautement efficaces des hallucinations grâce à des sondes linéaires et au pilotage d'activations.

Auteurs originaux : Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

Publié 2026-07-31

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un robot très intelligent, très rapide, qui a lu presque tous les livres jamais écrits. Vous lui posez une question, et il répond avec une grammaire parfaite et une confiance totale. Mais parfois, le robot se trompe. Il pourrait vous dire que la capitale de l'Australie est Sydney (c'est en réalité Canberra) ou qu'une figure historique célèbre est née au mauvais siècle. La partie effrayante, c'est que le robot semble tout aussi sûr de lui lorsqu'il ment que lorsqu'il dit la vérité. Il ne bégaye pas, il n'hésite pas, et son « indicateur de confiance » (les nombres qu'il calcule en interne) semble normal.

Pendant longtemps, les scientifiques se sont demandé : le robot sait-il qu'il a tort, même s'il ne le dit pas ? Existe-t-il un signal secret caché au plus profond de son cerveau qui dit : « Hé, ce fait est faux ! » ? Pour comprendre cela, nous devons savoir un peu comment ces robots fonctionnent. Ils ne pensent pas comme les humains ; ils traitent l'information sous forme de nuages massifs de nombres appelés « activations ». À mesure que le robot lit et réfléchit, ces nombres circulent à travers des couches d'un réseau numérique. Les scientifiques ont découvert que ces nuages de nombres ne sont pas aléatoires ; ils ont des formes et des structures. Parfois, la différence entre un fait vrai et un mensonge n'est pas un motif complexe et désordonné, mais une simple ligne droite dans cet espace numérique. La grande question est la suivante : pouvons-nous trouver cette ligne, et pouvons-nous l'utiliser pour attraper le robot en plein mensonge avant même qu'il n'ait fini sa phrase ?

C'est exactement ce que l'article « The Confidence Manifold » cherche à explorer. Les chercheurs, dirigés par Seonglae Cho et ses collègues, ont décidé d'examiner l'intérieur du cerveau de 11 modèles de langage différents, allant de petits modèles de 124 millions de paramètres à des modèles massifs de 14 milliards. Ils voulaient cartographier la « géométrie de la correction » — la forme et l'emplacement spécifiques dans le cerveau du robot où réside la vérité.

Considérez le cerveau du robot comme une immense pièce multidimensionnelle. Chaque fois que le robot pense à une phrase, il place un point dans cette pièce. Si la phrase est vraie, le point atterrit dans une zone ; si elle est fausse, il atterrit dans une autre. Les chercheurs ont découvert que ces points ne sont pas dispersés au hasard partout dans la pièce. Au contraire, ils sont organisés proprement en deux groupes distincts, comme deux tas de billes. Le tas de la « vérité » et le tas du « mensonge » sont séparés par un couloir très simple et de faible dimension.

Voici la partie la plus surprenante : vous n'avez pas besoin d'un ordinateur super complexe pour distinguer ces tas. Les chercheurs ont découvert que la différence entre une affirmation vraie et une affirmation fausse n'est qu'un simple décalage de la position moyenne de ces points. C'est comme si vous aviez un sac de billes rouges et un sac de billes bleues. Vous n'avez pas besoin de mesurer la taille, le poids ou la texture de chaque bille pour les distinguer ; vous avez juste besoin de savoir que les rouges sont, en moyenne, légèrement à gauche, et les bleues, légèrement à droite. Dans le cerveau du robot, cette « position moyenne » (ou centroïde) est tout ce qui importe. Les chercheurs ont découvert qu'ils pouvaient détecter les mensonges avec une précision de 90 % en utilisant seulement 25 exemples étiquetés pour trouver ces deux centres. Mieux encore, ils ont trouvé que ce « signal de vérité » ne vit que dans un minuscule couloir de seulement 2 à 8 dimensions, même si le cerveau du robot possède des milliers de dimensions à sa disposition.

L'équipe ne s'est pas contentée d'observer ; elle a aussi poussé et sondé le robot pour voir si ce signal était réel. Ils ont utilisé une technique appelée « pilotage d'activation » (activation steering), qui consiste à pousser doucement les nombres internes du robot dans une direction spécifique. Lorsqu'ils ont poussé le robot vers la direction de la « vérité », il a commencé à faire moins d'erreurs. Lorsqu'ils l'ont poussé vers la direction du « mensonge », il a commencé à halluciner davantage. Ils ont également essayé d'effacer complètement le signal en supprimant ce couloir spécifique du cerveau du robot, et soudain, le robot est devenu totalement incapable de distinguer le vrai du faux, ne performant pas mieux que le hasard. Cela a prouvé que le signal n'était pas une simple coïncidence ; c'était une partie nécessaire de la façon dont le robot traite les faits.

Cependant, l'article nous avertit également que ceci n'est pas une solution miracle pour toutes les situations. Les chercheurs ont constaté que ce « détecteur de vérité » interne fonctionne incroyablement bien lorsque le robot est sournois — par exemple, lorsqu'il affirme avec assurance une idée reçue courante. Mais sur des questions standards et banales où le robot n'essaie de tromper personne, sa propre production (ce qu'il dit à voix haute) est tout aussi efficace pour dire la vérité. Le signal interne brille le plus fort lorsque le robot est trompeur.

Une autre découverte intéressante concerne la façon dont ces signaux voyagent entre différents types de questions. Si vous apprenez au robot à repérer les mensonges dans un ensemble de données spécifique (comme un quiz d'histoire), il pourrait ne pas être capable de repérer les mensonges dans un autre ensemble de données (comme un quiz de science), à moins de l'entraîner sur les deux en même temps. C'est comme apprendre à conduire une voiture sur un circuit de course ne rend pas automatiquement bon pour conduire dans une ville enneigée ; vous devez pratiquer les deux. Les chercheurs ont montré qu'en entraînant le détecteur sur plusieurs ensembles de données simultanément, ils pouvaient créer une « boussole de vérité » universelle qui fonctionne sur différents sujets.

En fin de compte, cet article nous donne une image plus claire de la manière dont les modèles de langage gèrent la vérité. Il suggère que, profondément à l'intérieur de ces machines complexes, la différence entre le bien et le mal est étonnamment simple : c'est juste une question de savoir de quel côté d'une ligne les données tombent. Bien que cela ne signifie pas que nous puissions instantanément corriger tous les mensonges du robot dans toutes les situations, cela prouve que le robot sait quand il a tort, même s'il ne l'admet pas toujours. Le signal est là, il est géométrique, et il attend d'être trouvé.

Résumé Technique : Le Manifold de la Confiance

Énoncé du Problème

Les grands modèles de langage (LLM) affirment souvent des idées fausses avec la même fluidité et la même assurance que des faits, rendant les mesures d'incertitude basées sur la sortie (telles que l'entropie des tokens ou l'entropie sémantique) insuffisantes pour détecter les hallucinations. Bien que des travaux antérieurs aient établi que des signaux liés à la vérité existent linéairement dans le flux résiduel des LLM, la structure géométrique de ces signaux reste non caractérisée. Plus précisément, on ignore :

Combien de dimensions sont nécessaires pour séparer les affirmations correctes des incorrectes.
À quel point la règle de décision peut être simple avant que le signal ne soit perdu.
Si la direction de ce signal est causalement responsable de la sortie du modèle ou si elle ne fait que corréler avec elle.
Si un détecteur entraîné sur un ensemble de données se transfère à d'autres.

Cet article traite ces questions en caractérisant le « Manifold de la Confiance » (Confidence Manifold) — la structure géométrique des représentations de la correction — à travers 11 modèles allant de 124M à 14B de paramètres.

Méthodologie

Les auteurs emploient une approche multi-étapes impliquant la construction de données, l'analyse géométrique et la validation causale :

Construction de Données : En utilisant TruthfulQA, les auteurs construisent des paires contrastives où le même préambule de question est associé à une réponse correcte et une réponse incorrecte. Cela isole le signal de correction de la variation de contenu. Les états cachés sont extraits de la position du dernier token à travers toutes les couches.
Apprentissage de Direction et Analyse Géométrique :
- Entraînement de Sondes (Probes) : Des sondes de régression logistique sont entraînées pour prédire les étiquettes binaires de correction à partir des états cachés.
- Balayage de Dimensionnalité : Les auteurs utilisent la régression des moindres carrés partiels (PLS) pour projeter les activations sur des sous-espaces de dimensions ( $k$ ) variables afin de déterminer la dimensionnalité optimale pour la classification.
- Dimension Intrinsèque : L'estimateur MLE de Levina–Bickel est utilisé pour mesurer la dimension intrinsèque du manifold de représentation indépendamment de la classification.
- Analyse des Centroïdes : Les auteurs testent si la frontière de décision s'effondre vers une métrique simple de distance au centroïde (décalage de moyenne) plutôt que de nécessiter un hyperplan complexe.
Validation Causale : Trois méthodes complémentaires sont utilisées pour valider le sous-espace :
- Pilotage d'Activation (Activation Steering) : Intervenir dans le flux résiduel ( $h' = h + \alpha \hat{w}$ ) pour observer si le déplacement le long de la direction apprise modifie causalement les taux d'hallucination.
- Effacement de Concept (RLACE) : Projeter les activations sur l'espace nul de la direction de correction pour tester si le signal est nécessaire à la détection.
- Recherche d'Alignement Distribué (DAS) : Une méthode d'intervention par échange qui balaie explicitement le rang $k$ pour borner la dimensionnalité causale du sous-espace.

Résultats Clés

1. Sous-espace Discriminatif de Faible Rang

À travers 11 modèles, le signal de correction est concentré dans un sous-espace de 2 à 8 dimensions.

La performance culmine dans cette plage et se dégrade significativement lorsque les dimensions augmentent (par exemple, GPT-2 chute de 18 % en AUC en passant de 3D à 32D), indiquant que les dimensions supplémentaires introduisent du bruit plutôt que du signal.
La dimension intrinsèque du manifold d'embedding (8–12D) est plus élevée que la dimension discriminative (2–8D), suggérant que le signal est une caractéristique de faible rang au sein d'un espace de plus haute dimension.

2. Suffisance du Centroïde (Décalage de Moyenne)

La règle de décision pour la correction est remarquablement simple : deux centroïdes de classe suffisent.

La séparation entre les classes correctes et incorrectes est dominée par un décalage de moyenne plutôt que par une différence de covariance.
Les classificateurs géométriques (distance au centroïde, distance de Mahalanobis) performent à $\pm 0,02$ AUC près des sondes linéaires entraînées.
Les variantes multi-prototypes (par exemple, K-Means avec plusieurs centroïdes par classe) dégradent la performance, confirmant que les distributions par classe sont unimodales.
La détection basée sur les centroïdes est très efficace en termes de données, récupérant 90 % de la performance des données complètes avec seulement 25 exemples étiquetés.

3. Structure Causale

Efficacité : Le pilotage le long de la direction apprise déplace les taux d'hallucination de 9,1 points de pourcentage sur Qwen2-7B (le taux d'erreur passe de 0,56 à 0,52 ou 0,61 selon la direction).
Nécessité : L'effacement du sous-espace via RLACE fait s'effondrer la performance de détection au niveau du hasard ( $\approx 0,50$ AUC).
Rang Causal : Bien que le pilotage et l'effacement ne borne pas le rang, le DAS borne indépendamment le rang causal à au plus 5 dimensions à travers les modèles testés.

4. Avantage Spécifique au Régime

Les sondes internes surpassent les méthodes d'incertitude basées sur la sortie (P(Vrai), entropie sémantique) spécifiquement sur les données de méconception adverses (ex: TruthfulQA), où les modèles sont faussement confiants.

Sur TruthfulQA, les sondes internes atteignent 0,80–0,94 AUC, tandis que les méthodes de sortie chutent à 0,44–0,64.
Sur les jeux de données de QA standards (SciQ, FEVER, CommonsenseQA), l'écart se réduit et les méthodes de sortie performent de manière comparable aux sondes internes.
L'avantage n'est pas une supériorité universelle mais est spécifique aux régimes où la confiance du modèle est déconnectée de la correction.

5. Le Transfert Nécessite un Entraînement Conjoint

Les sondes entraînées sur un seul jeu de données (ex: TruthfulQA) se transfèrent de manière quasi aléatoire (0,39–0,66 AUC) à d'autres jeux de données.

Cet échec est attribué à un décalage directionnel (orthogonalité) entre les jeux de données plutôt qu'à l'absence de signal.
L'entraînement conjoint multi-jeux de données restaure la transférabilité, atteignant 0,73–0,91 AUC sur les modèles ajustés par instruction.
Cela suggère qu'un « hyperplan de véracité universel » nécessite de contraindre le sous-espace avec plusieurs jeux de données pour aligner l'orientation.

Signification et Revendications

L'article se positionne non pas comme une proposition de nouveau détecteur, mais comme une caractérisation de la géométrie de la correction.

Suffisance du Centroïde : La principale revendication est que la séparation de la vérité et de la fausseté dans les LLM est un simple décalage de moyenne dans un sous-espace de faible rang, et non une frontière de décision complexe de haut rang. Cela explique pourquoi des règles géométriques simples (distance au centroïde) correspondent à des sondes complexes entraînées.
Rang Causal Borné : Les auteurs fournissent des preuves que le mécanisme causal de la correction occupe un très petit nombre de dimensions (2–8 pour la détection, $\le 5$ pour la causalité), affinant l'hypothèse de la « Représentation Linéaire » en une hypothèse de « Séparateur Linéaire de Faible Rang ».
Transfert Dépendant de la Recette : Le papier précise que la transférabilité n'est pas automatique ; elle nécessite un entraînement conjoint pour résoudre le désalignement directionnel entre les jeux de données.
Limites : Les auteurs notent explicitement que leurs résultats sont dérivés de contextes de "teacher-forcing" (où le modèle reçoit les jetons de réponse de vérité terrain). Ils ne prétendent pas que ces résultats se traduisent directement par une génération libre sans validation supplémentaire, car le choix du juge dans les contextes de génération libre introduit un bruit significatif. De plus, la borne du rang causal est spécifique aux modèles et couches testés.

En résumé, l'article établit que la correction dans les LLM est encodée comme un signal de faible rang et de décalage de moyenne dans le flux résiduel, lequel est causalement nécessaire pour la sortie du modèle mais nécessite des régimes d'entraînement spécifiques pour se généraliser à travers les domaines.