💬 NLP

Detecting Hallucinations in Large Language Models via Internal Attention Divergence Signals

Ce papier propose une méthode légère en un seul passage pour détecter les hallucinations des LLM en utilisant la divergence de Kullback-Leibler dans les matrices d'attention comme signal prédictif et interprétable d'incertitude, qui se montre compétitive par rapport aux méthodes existantes sans nécessiter d'échantillonnage répété ni de modèles externes.

Auteurs originaux : Gijs van Dijk

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gijs van Dijk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le « menteur confiant »

Imaginez que vous demandez conseil à un ami très intelligent et bien informé. Parfois, il vous donne la réponse parfaite. D'autres fois, il invente avec assurance une histoire qui semble excellente mais qui est totalement fausse. C'est ce que nous appelons une hallucination en intelligence artificielle.

La partie délicate est que l'IA ne sait pas qu'elle ment. Elle a l'air tout aussi sûre d'elle lorsqu'elle a tort que lorsqu'elle a raison. Habituellement, pour déceler un mensonge, il faudrait poser la même question à l'IA dix fois et voir si elle donne des réponses différentes (comme demander à un témoin de raconter une histoire plusieurs fois). Mais cela prend beaucoup de temps et de puissance de calcul.

La Solution : Écouter le « monologue intérieur »

Ce document propose une nouvelle méthode, ultra-rapide, pour déceler ces mensonges. Au lieu d'attendre que l'IA termine sa réponse pour la vérifier, les auteurs examinent les « ondes cérébrales » internes de l'IA pendant qu'elle réfléchit.

Dans les modèles d'IA, il existe un mécanisme appelé Attention. Vous pouvez imaginer l'Attention comme un projecteur. Lorsque l'IA répond à une question, ce projecteur se pose sur différents mots dans sa mémoire pour décider lesquels sont importants pour le mot suivant qu'elle va écrire.

Quand l'IA connaît la réponse : Le projecteur est focalisé et stable. Il brille intensément sur les faits spécifiques dont elle a besoin (comme un nom de personne ou une date).
Quand l'IA devine ou ment : Le projecteur devient tremblant, dispersé ou erre sans but. L'IA ne sait pas où regarder, elle étale donc son attention partout.

Le « Test du projecteur » (La Méthode)

Les auteurs ont créé un test mathématique simple pour mesurer à quel point ce projecteur est « tremblant ».

La Référence Uniforme : Imaginez une pièce avec 100 personnes. Si vous êtes complètement incertain de qui aborder, vous pourriez regarder tout le monde également. C'est une distribution « uniforme » (1/100e de votre attention sur chaque personne). Cela représente l'incertitude maximale.
La Mesure : Les auteurs mesurent la différence entre le projecteur réel de l'IA et cette référence « dispersée ». Ils appellent cela la Divergence KL.
- Divergence Élevée : Le projecteur est très focalisé (brillant intensément sur quelques mots spécifiques). Cela signifie généralement que l'IA est confiante et probablement correcte.
- Divergence Faible : Le projecteur est dispersé (regardant tout le monde également). Cela signifie que l'IA est confuse ou qu'elle devine.

Attendez, le document ne dit-il pas le contraire ?
En fait, le document a trouvé une nuance : lorsque l'IA hallucine, elle tente souvent de forcer une réponse confiante sur un sujet qu'elle ne connaît pas. Dans ces cas, les motifs d'attention deviennent étrangement concentrés sur les mauvaises choses, ou les mathématiques montrent un signal de « divergence » spécifique qui signale l'erreur. Essentiellement, les mathématiques détectent que la « focalisation » interne de l'IA ne correspond pas au motif d'une réponse véridique et bien fondée.

Le « Détective léger »

Les auteurs ne se sont pas contentés d'observer le projecteur ; ils ont construit un détecteur minuscule et simple (une « sonde de régression logistique ») pour lire ces signaux.

Pas de relance : Cette méthode ne nécessite que l'IA réponde une seule fois.
Pas de modèles supplémentaires : Elle n'a pas besoin d'une deuxième IA pour vérifier la première.
Rapide : Cela se produit en un seul passage, comme lire une phrase une fois et savoir instantanément si elle semble « bizarre ».

Ce qu'ils ont découvert

Les chercheurs ont testé cela sur différents types de questions (faits, mathématiques, raisonnement) et différents modèles d'IA. Voici ce qu'ils ont découvert :

Le « Cerveau du milieu » est la clé : Les signaux qui nous indiquent si une réponse est vraie ou fausse se trouvent principalement dans les couches du milieu du cerveau de l'IA. Les couches du début et de la fin sont moins utiles pour cette tâche spécifique.
Les faits sont le déclencheur : Le signal du « projecteur tremblant » est le plus fort lorsque l'IA parle de faits — spécifiquement des noms, des dates et des nombres. Si l'IA discute simplement de « le » ou de « et » (mots-outils), le signal est calme. Mais lorsqu'elle tente de nommer une personne ou une année, le signal crie si elle est incertaine.
C'est un effort d'équipe : Le signal ne provient pas d'un seul neurone « détecteur de mensonge ». C'est un chœur de nombreuses parties différentes de l'IA travaillant ensemble. Si vous retirez une partie, le système fonctionne toujours, mais si vous retirez toute la section du milieu, le détecteur devient aveugle.

La Conclusion

Ce document montre que nous pouvons déceler les hallucinations de l'IA en écoutant son « projecteur » interne plutôt qu'en jugeant simplement ses mots finaux. C'est comme vérifier si un étudiant réfléchit vraiment à la réponse ou s'il devine simplement en regardant où ses yeux vagabondent, plutôt que d'attendre de voir s'il obtient la bonne note.

Cette méthode est rapide, peu coûteuse et fonctionne sur de nombreux types de questions, offrant une fenêtre « boîte blanche » sur la confiance de l'IA sans avoir besoin de l'exécuter plusieurs fois.

Résumé technique : Détection des hallucinations dans les grands modèles de langage via des signaux de divergence d'attention interne

1. Énoncé du problème

Les grands modèles de langage (LLM) génèrent fréquemment du contenu fluide mais factuellement incorrect, un phénomène connu sous le nom d'hallucination. Cela pose des risques significatifs dans des domaines à haut enjeu tels que la santé et le droit. Un défi majeur pour résoudre ce problème réside dans le fait que les LLM autoregressifs sont entraînés à générer des continuations fluides plutôt que des estimations de confiance calibrées. Par conséquent, les signaux d'incertitude standard basés sur la sortie (par exemple, la perplexité, la vraisemblance logarithmique ou les probabilités de jetons) échouent souvent à distinguer les erreurs sûres des connaissances fiables, car les affirmations hallucinées peuvent recevoir des vraisemblances élevées sous la distribution du modèle.

Les méthodes existantes de quantification de l'incertitude reposent souvent sur un échantillonnage répété (par exemple, l'entropie sémantique) ou sur des modèles vérificateurs externes, ce qui introduit une surcharge computationnelle substantielle. De plus, les approches basées sur le sondage des états cachés ont souvent du mal à se généraliser à travers les tâches, capturant des corrélations spécifiques à la tâche plutôt que des signaux de confiance globaux. Il existe un besoin d'une méthode légère, en un seul passage, qui extrait des signaux d'incertitude directement à partir des mécanismes internes du modèle sans nécessiter de modèles externes ni de multiples générations.

2. Méthodologie

La méthode proposée introduit une technique de quantification de l'incertitude en un seul passage basée sur la divergence d'attention. L'hypothèse centrale est que les hallucinations résultent d'échecs dans le calcul interne, caractérisés spécifiquement par des motifs d'attention mal alloués ou diffus lorsque le modèle manque de connaissances fiables.

2.1 Signal de divergence d'attention

La méthode utilise la divergence de Kullback–Leibler (KL) pour mesurer l'écart de la distribution d'une tête d'attention par rapport à une distribution de référence uniforme.

Distribution de référence ( $U$ ) : Une distribution uniforme sur les jetons du contexte, représentant un état d'incertitude maximale où le modèle prête une attention égale à toutes les positions.
Distribution d'attention ( $P$ ) : La distribution de probabilité discrète sur les positions des jetons générée par une tête d'attention spécifique à une étape de génération donnée.
Métrique : La divergence KL est calculée comme $D_{KL}(P \parallel U) = \log T - H(P)$ , où $T$ est le nombre de jetons dans la fenêtre de contexte et $H(P)$ est l'entropie de la distribution d'attention.

Intuitivement, une forte concentration d'attention (faible entropie) sur des jetons informatifs se traduit par une divergence KL élevée, suggérant de la confiance. À l'inverse, une attention diffuse (forte entropie) se traduit par une faible divergence, suggérant de l'incertitude. Les auteurs postulent que les hallucinations peuvent se manifester comme une confiance mal calibrée (divergence élevée sur des jetons trompeurs) ou, dans le contexte de l'agrégation du sondage, que le signal agrégé des motifs de divergence corrèle avec l'exactitude.

2.2 Extraction de caractéristiques et sondage

Construction de caractéristiques : Pour chaque réponse générée, la divergence KL moyenne est calculée pour chaque tête d'attention à travers toutes les étapes de génération. Ces valeurs forment un vecteur de caractéristiques $x_i \in \mathbb{R}^{L \times H}$ , où $L$ est le nombre de couches et $H$ le nombre de têtes.
Entraînement du sondage : Un sondage de régression logistique léger avec régularisation Lasso (L1) est entraîné pour prédire l'exactitude de la réponse ( $y=1$ pour correct, $y=0$ pour incorrect) sur la base de ces caractéristiques de divergence. La régularisation L1 sert à sélectionner un sous-ensemble épars des têtes d'attention les plus prédictives, offrant une interprétabilité concernant les parties du modèle qui encodent le signal.
Évaluation : La performance est mesurée à l'aide de l'AUROC (aire sous la courbe ROC), de l'erreur d'étalonnage attendue (ECE) et de la précision.

3. Contributions clés

Estimation de l'incertitude en un seul passage : La méthode opère en un seul passage avant, extrayant des signaux d'incertitude directement à partir des matrices d'attention sans nécessiter d'échantillonnage répété ni de modèles externes.
Interprétabilité : En analysant la divergence KL des distributions d'attention, la méthode fournit un signal « boîte blanche ». Les auteurs démontrent que le signal n'est pas aléatoire mais concentré dans des composants architecturaux spécifiques.
Généralisabilité : L'approche est validée sur plusieurs familles de modèles (Llama-3.2, Qwen3, Mistral) et des types de tâches divers (QA factuelle, raisonnement multi-sauts, raisonnement mathématique).

4. Résultats expérimentaux

4.1 Performance sur les jeux de données

La méthode a été évaluée sur quatre jeux de données : TruthfulQA (QA factuelle à choix multiples), TriviaQA (QA factuelle à domaine ouvert), HotpotQA (raisonnement multi-sauts) et GSM8K (raisonnement mathématique).

QA factuelle : La méthode a obtenu de solides performances sur TruthfulQA (AUROC > 0,89 pour tous les modèles) et TriviaQA (AUROC > 0,83).
Tâches de raisonnement : Les performances sur HotpotQA variaient de 0,77 à 0,80 AUROC. Sur GSM8K, les résultats variaient selon le modèle, Qwen3-4B atteignant 0,945 AUROC, tandis que Llama et Mistral montraient des résultats modérés mais significatifs au-dessus du hasard.
Comparaison avec les bases de référence : Sur HotpotQA, la méthode (AUROC 0,78) a surpassé les méthodes basées sur l'échantillonnage (par exemple, Entropie Sémantique, SelfCheckGPT) et d'autres bases de référence en un seul passage (par exemple, Perplexité, TOHA). Elle a également montré des performances compétitives ou supérieures par rapport aux méthodes de sondage d'états cachés sur TruthfulQA et TriviaQA.

4.2 Ablation et analyse

Localisation des couches et des têtes : Le signal n'est pas uniformément distribué. Les études d'ablation ont révélé que le retrait des couches intermédiaires provoquait la baisse de performance la plus significative, indiquant que le signal y est concentré. De plus, le signal est distribué sur plusieurs têtes corrélées plutôt que d'être localisé à une seule « tête d'hallucination ».
Spécificité des jetons : Le signal de divergence est le plus prononcé sur les jetons factuels (entités nommées et nombres). Les mots-outils et la ponctuation montraient une faible divergence. L'analyse de la queue extrême (99e percentile) a montré que ~73 % des mots à haute divergence étaient des entités nommées.
Influence de l'invite : Une partie du signal d'incertitude est présente même avant le début de la génération (calculée uniquement sur les jetons de l'invite), suggérant que certaines incertitudes sont aléatoires (liées à l'ambiguïté de l'invite) plutôt que purement épistémiques (lacunes de connaissances du modèle).
Vérifications de bon sens : La permutation des étiquettes de correction et les tests contre des propriétés de sortie simples (longueur, ponctuation) ont confirmé que le signal n'est pas un artefact de fuite de données ou de caractéristiques de sortie superficielles.

5. Signification et affirmations

L'article affirme que les dynamiques d'attention internes fournissent un signal efficace et interprétable pour détecter l'incertitude du modèle et les hallucinations. La signification principale réside dans la démonstration que :

Les hallucinations sont détectables via les états internes : L'échec à récupérer des connaissances fiables se manifeste par des motifs spécifiques dans la divergence d'attention, distincts des sorties fluides mais incorrectes produites par le modèle.
Efficacité : La méthode offre une alternative peu coûteuse en calcul à l'estimation de l'incertitude basée sur l'échantillonnage, la rendant viable pour des applications en temps réel où la latence est critique.
Insight architectural : Les résultats suggèrent que l'incertitude est encodée dans les couches intermédiaires et sur les ancres factuelles, soutenant la vue selon laquelle les hallucinations sont des échecs structurels dans le calcul interne plutôt que de simples erreurs de décodage.

6. Limites

Les auteurs notent explicitement plusieurs limites :

Corrélation vs Causalité : L'étude établit une corrélation prédictive entre la divergence d'attention et l'exactitude mais ne prouve pas une relation causale.
Dépendance au sondage : La méthode repose sur un sondage de régression logistique pour agréger les signaux. Le sous-ensemble spécifique de têtes sélectionné varie selon les jeux de données et les familles de modèles, suggérant que le sondage peut être trop spécifique et qu'une règle universelle, sans sondage, pour l'incertitude n'a pas encore été identifiée.
Exigence de boîte blanche : La méthode nécessite l'accès aux poids d'attention internes, la rendant inapplicable aux modèles boîte noire qui ne fournissent que du texte généré ou des probabilités de sortie.
Interprétabilité : Bien que le sondage identifie des têtes informatives, le modèle résultant reste difficile à interpréter comme une explication complète de comment l'incertitude est représentée, servant davantage d'outil d'extraction de signal que d'explication mécanistique complète.