💬 NLP

Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

Cet article étudie la corrélation entre les conflits de connaissances et les hallucinations dans les grands modèles de langage en analysant les représentations internes à travers différentes couches, concluant que bien que ces deux phénomènes soient conceptuellement liés, les schémas d'hallucination ne peuvent être pleinement expliqués par les représentations de conflit de connaissances, soulignant ainsi la valeur des outils d'interprétabilité à grain fin pour comprendre le comportement des LLM.

Auteurs originaux : Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Publié 2026-06-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez les modèles de langage de grande taille (LLM) comme des bibliothécaires incroyablement érudits qui ont mémorisé une bibliothèque de livres massive. Cependant, il y a un piège : ils ne peuvent pas mettre à jour leurs étagères. Si un livre dans leur bibliothèque est obsolète ou si on leur remet une note qui contredit ce qu'ils ont mémorisé, ils pourraient être confus.

Cette étude examine deux manières spécifiques dont cette confusion peut mal tourner :

L'« Hallucination » : Le bibliothécaire invente avec assurance un fait ou donne une réponse qui semble réelle mais qui est en fait fausse.
Le « Conflit de Connaissances » : On remet au bibliothécaire une note (le contexte) qui dit « Le ciel est vert », mais sa mémoire lui dit « Le ciel est bleu ». Il doit décider lequel croire.

La Grande Question

Les chercheurs voulaient savoir : ces deux problèmes sont-ils la même chose ?

Ils soupçonnaient que lorsqu'un bibliothécaire « hallucine », c'est parce qu'il est en plein « conflit de connaissances » interne. En d'autres termes, ils pensaient que le cerveau du bibliothécaire bourdonnait de confusion (conflit) juste avant de fabriquer un mensonge (hallucination). Si cela était vrai, nous pourrions construire un simple système d'alarme : si nous détectons le « bourdonnement de confusion », nous savons qu'un mensonge arrive.

Comment ils l'ont testé

Pour tester cela, les chercheurs ont agi comme des « scanners cérébraux » (une technique appelée probing ou sondage). Ils n'ont pas modifié les bibliothécaires ; ils ont simplement jeté un coup d'œil à l'intérieur de leurs têtes à différentes étapes de la réflexion (les couches cachées, les couches d'attention et les couches logiques) pour voir s'ils pouvaient repérer les signes de confusion ou de mensonge.

Ils ont utilisé deux « bibliothécaires » différents (modèles d'IA) :

LLaMA-3-8B : Ils ont essayé de voir si les « signaux de confusion » de ce bibliothécaire pouvaient prédire quand il allait mentir.
Falcon-7B : Ils ont essayé de voir si les « signaux de mensonge » de ce bibliothécaire pouvaient prédire quand il était confus.

Ce qu'ils ont trouvé

Les résultats ont été un peu surprenants. C'est comme vérifier un détecteur de fumée et constater que l'alarme pour le « feu » ne se déclenche pas quand on brûle des toasts, et que l'alarme pour « brûler des toasts » ne se déclenche pas quand un incendie commence.

Confusion $\neq$ Mensonge : Lorsqu'ils ont examiné les signaux de « confusion » à l'intérieur du modèle, ils n'ont pas pu les utiliser pour prédire quand le modèle hallucinerait. Les motifs internes de la confusion étaient différents des motifs de fabrication de mensonges.
Mensonge $\neq$ Confusion : Inversement, les signaux qui indiquent habituellement que le modèle ment n'ont pas aidé à repérer quand le modèle était confronté à un conflit de connaissances.

La conclusion : Même s'il semble que les hallucinations sont causées par des conflits de connaissances, l'étude montre qu'à l'intérieur du « cerveau » du modèle, il s'agit de deux processus différents. On ne peut pas simplement chercher la confusion pour trouver le mensonge. Ils sont des phénomènes distincts.

Une bonne nouvelle

Bien qu'ils n'aient pas trouvé le lien qu'ils cherchaient, ils ont découvert que leur « scanner cérébral » (l'outil de sondage) fonctionne de manière très cohérente. Il fonctionne aussi bien en anglais qu'en italien, en espagnol, en chinois et dans de nombreuses autres langues. Cela signifie que l'outil lui-même est fiable, même si la théorie spécifique sur le lien entre conflit et hallucination n'a pas été prouvée.

En bref

Les chercheurs espéraient trouver un unique « détecteur de fumée » capable de détecter à la fois la confusion et le mensonge dans les modèles d'IA. Ils ont découvert que le cerveau de l'IA gère ces deux problèmes différemment. Bien qu'ils soient liés dans le monde réel, ils ne se ressemblent pas dans le code informatique. Cela nous indique que nous avons besoin d'outils plus complexes pour comprendre et corriger les erreurs de l'IA, plutôt que de chercher une seule cause simple.

Résumé Technique : Analyse de la corrélation entre les hallucinations et les conflits de connaissances dans les grands modèles de langage

Énoncé du problème
Les grands modèles de langage (LLM) sont confrontés à des limitations significatives dans les tâches intensives en connaissances, principalement en raison de leurs données d'entraînement fixes et statiques qui ne peuvent être mises à jour après l'entraînement. Lorsque les modèles rencontrent des informations situées en dehors de leur connaissance paramétrique ou en conflit avec celle-ci, ils génèrent souvent des « hallucinations » — des sorties factuellement incorrectes, incohérentes ou invérifiables. Une hypothèse prédominante suggère que ces hallucinations découlent de conflits de connaissances internes, où la connaissance paramétrique stockée par le modèle entre en conflit avec les indices contextuels fournis dans l'entrée. Cependant, la relation spécifique entre les représentations internes des conflits de connaissances et les comportements d'hallucination reste sous-explorée. Bien que des travaux antérieurs aient développé avec succès des techniques de sondage pour détecter les conflits de connaissances (Zhao et al.) et les hallucinations (Snyder et al.) de manière indépendante, il n'est pas clair si ces deux phénomènes partagent un codage interne commun ou si l'un peut être utilisé pour prédire l'autre.

Méthodologie et conception expérimentale
Cette étude emploie un cadre basé sur le sondage (probing) pour étudier la corrélation bidirectionnelle entre les conflits de connaissances et les hallucinations. Les auteurs émettent l'hypothèse que si les hallucinations sont causées par des conflits de connaissances, les motifs d'activation interne d'une sortie hallucinée devraient être détectables par un classifieur entraîné à identifier les conflits de connaissances, et vice versa.

La conception expérimentale implique deux directions distinctes :

Des conflits de connaissances vers les hallucinations :
- Modèle : LLaMA-3-8B.
- Entraînement : Des modèles de sondage de conflit de connaissances ( $KC_{a,i}$ ) ont été entraînés en utilisant la régression logistique sur le jeu de données NQ-Swap (un jeu de données synthétique de paires QA conflictuelles) pour détecter les signaux de conflit dans les activations des couches cachées, d'attention et MLP.
- Évaluation : Ces détecteurs de conflit entraînés ont été appliqués aux activations extraites de Mu-SHROOM, HaluEval et HaluBench (jeux de données contenant des paires QA hallucinées). L'objectif était de déterminer si le détecteur de conflit pouvait prédire avec précision la présence d'hallucinations.
Des hallucinations vers les conflits de connaissances :
- Modèle : Falcon-7B.
- Entraînement : Des modèles de sondage d'hallucination ( $H_l, H_{a,i}$ ) ont été entraînés à l'aide de classificateurs de type feed-forward sur le jeu de données TriviaQA pour détecter les signaux d'hallucination dans les logits de sortie et les activations intermédiaires (attention et MLP).
- Évaluation : Ces détecteurs d'hallucination ont été appliqués au jeu de données NQ-Swap pour déterminer si la présence d'un conflit de connaissances pouvait être prédite par le détecteur d'hallucination.

Résultats clés
L'analyse empirique a produit les conclusions suivantes :

Absence de corrélation forte : Contrairement à l'hypothèse selon laquelle les hallucinations sont directement réductibles aux conflits de connaissances, l'étude a constaté qu'il n'existe aucune corrélation significative entre les représentations internes des deux phénomènes.
- Lors du sondage des hallucinations à l'aide de modèles de conflit de connaissances (LLaMA-3-8B), la précision a fluctué mais est restée faible (souvent proche du niveau du hasard, avec un AUROC proche de 0,5). Notamment, la performance a décliné dans les couches intermédiaires (15–25) où les conflits de connaissances sont généralement détectés avec le plus de précision de manière isolée.
- Inversement, lors du sondage des conflits de connaissances à l'aide de modèles d'hallucination (Falcon-7B), les détecteurs ont fonctionné au niveau du hasard (précision $\approx$ 0,5, AUROC $\approx$ 0,5) à travers toutes les couches. Cela contraste avec l'étude de référence de Snyder et al., où la détection d'hallucination s'améliorait dans les couches ultérieures ; ici, la tendance était négligeable.
Spécificité des activations : L'étude a observé que les activations cachées dans LLaMA-3-8B étaient moins informatives pour la détection de conflit que les activations d'attention ou de MLP. Dans Falcon-7B, la tendance inverse a été observée par rapport à la littérature antérieure, les activations d'attention dépassant parfois les MLP dans ce contexte de tâche croisée spécifique.
Robustesse linguistique : Malgré l'absence de corrélation entre les phénomènes, la méthodologie de sondage elle-même s'est avérée robuste. Appliquée au jeu de données multilingue Mu-SHROOM (couvrant 14 langues), les modèles de sondage ont maintenu une performance stable à travers différentes langues, indiquant que la technique n'est pas fortement biaisée par des structures linguistiques spécifiques.

Signification et contributions
L'article contribue à la compréhension globale de l'interprétabilité des LLM en fournissant des preuves empiriques systématiques que les hallucinations et les conflits de connaissances ne sont pas fortement alignés au niveau des représentations internes.

Découplage des phénomènes : Les résultats remettent en question l'hypothèse intuitive selon laquelle les hallucinations sont uniquement ou principalement pilotées par des conflits de connaissances internes. Cela suggère que les hallucinations peuvent provenir de mécanismes plus complexes et orthogonaux qui ne sont pas pleinement capturés par les seuls signaux de détection de conflit.
Validation méthodologique : Bien que l'hypothèse de corrélation n'ait pas été soutenue, l'étude valide l'utilité du sondage comme outil robuste pour analyser le comportement interne des modèles à travers différents types d'activations (cachées, attention, MLP) et de langues.
Orientations futures : Les auteurs soulignent la nécessité de découpler ces phénomènes dans les recherches futures afin de développer des stratégies de mitigation plus ciblées. Ils proposent d'étendre ces méthodologies de sondage à des domaines à enjeux élevés tels que la santé numérique, l'éducation et la gestion des ressources humaines, tout en notant l'importance critique des considérations éthiques concernant les biais et la mauvaise interprétation des résultats de sondage dans des contextes multilingues et sensibles.

Le code source pour la reproduction de ces expériences est publiquement disponible, facilitant ainsi l'investigation approfondie des mécanismes internes des LLM.