💬 NLP

Detecting Hallucinations for Large Language Model-based Knowledge Graph Reasoning

Cet article introduit LUCID, une nouvelle méthode de détection d'hallucinations pour le raisonnement sur les graphes de connaissances basé sur les grands modèles de langage, qui atteint des performances de pointe en exploitant conjointement les scores d'attention des LLM, les similitudes sémantiques et les informations structurelles du graphe via un réseau de neurones sur graphes.

Auteurs originaux : Xinyan Zhu, Yaoqi Liu, Yue Gao, Huadong Ma, Cheng Yang, Chuan Shi

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinyan Zhu, Yaoqi Liu, Yue Gao, Huadong Ma, Cheng Yang, Chuan Shi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un assistant très intelligent et cultivé (le Grand Modèle de Langage, ou LLM) pour répondre à une question complexe. Pour vous assurer que votre assistant ne se contente pas d'inventer des choses, vous lui donnez un immense classeur de faits organisé appelé Graphe de Connaissances (GC). Vous lui dites : « Regardez dans ces dossiers spécifiques et dites-moi ce que vous y trouvez. »

Le problème ? Même avec le classeur juste devant lui, votre assistant se laisse parfois distraire, rêve éveillé ou invente avec assurance un fait qui ne figure pas dans les dossiers. C'est ce qu'on appelle une hallucination. Dans le monde réel, si votre assistant aide un médecin ou un avocat, inventer un fait peut être désastreux.

Le document que vous avez fourni présente un nouvel outil appelé LUCID (qui signifie halLUcination deteCtIon method for LLM-based knowleDge graph reasoning / méthode de détection d'hallucinations pour le raisonnement sur les graphes de connaissances basé sur les LLM). Considérez LUCID comme un agent de sécurité hyper observateur qui surveille votre assistant pendant son travail.

Voici comment fonctionne LUCID, décomposé en analogies simples :

1. Le Problème : L'assistant qui « rêve éveillé »

Les auteurs ont découvert que même lorsque l'assistant a les faits corrects sous les yeux, il invente des réponses environ 29,65 % du temps.

L'Exemple : Imaginez que le classeur indique clairement : « PLS Inc. parraine 'MarketMakers' ». Mais l'assistant regarde le classeur, voit un dossier nommé « Dealmakers Expo » (qui ressemble beaucoup) et affirme avec assurance : « PLS Inc. parraine Dealmakers Expo ». L'assistant hallucine car il a choisi un mot qui semblait correct au lieu de celui qui était réellement présent.

2. La Solution : L'agent de sécurité à trois couches (LUCID)

Les agents de sécurité précédents ne surveillaient que deux choses :

Le Gardien de l'« État Interne » : L'assistant semblait-il nerveux ou incertain ? (Cela rate le fait que l'assistant peut être convaincu de sa propre erreur).
Le Gardien de la « Correspondance de Texte » : La réponse correspondait-elle aux mots dans le classeur ? (Cela rate la structure des faits).

LUCID est différent. Il agit comme un agent de sécurité à trois yeux qui vérifie simultanément trois choses spécifiques :

Œil 1 : Le Suiveur de « Focus » (Attention du LLM)
Imaginez que l'assistant possède un pointeur laser. LUCID surveille où le pointeur laser est dirigé pendant que l'assistant rédige la réponse.
- L'astuce : Si l'assistant parle de « PLS Inc. », mais que son pointeur laser survole le mauvais dossier (« Dealmakers ») au lieu du bon (« MarketMakers »), LUCID sait que quelque chose ne va pas. Il mesure précisément quelles parties du classeur l'assistant est réellement en train de « regarder ».
Œil 2 : Le Vérificateur de « Sens » (Sémantique du GC)
Cet œil vérifie si les mots utilisés par l'assistant font sens dans le contexte de la question. C'est comme un traducteur qui vérifie si la relation entre deux faits est logique.
Œil 3 : Le Lecteur de « Carte » (Structure du GC)
C'est la partie la plus importante. Le classeur n'est pas seulement une liste ; c'est un réseau de connexions. LUCID observe la forme des connexions.
- L'analogie : Si les faits sont connectés comme une toile d'araignée, LUCID vérifie si l'assistant suit correctement la toile. Si l'assistant tire une conclusion qui brise le motif de la toile, LUCID le repère immédiatement.

3. Comment il apprend (L'Entraînement)

LUCID ne se contente pas de deviner ; il a été entraîné sur un Réseau de Neurones sur Graphe (GNN).

Considérez cela comme un détective qui a étudié des milliers d'affaires où l'assistant a réussi et des milliers où il a échoué.
Le détective a appris à reconnaître le « motif » spécifique d'une hallucination : Quand le pointeur laser est sur le mauvais dossier, que le sens est légèrement décalé et que la toile de faits est brisée.
Une fois entraîné, LUCID peut regarder une nouvelle réponse et dire : « Il y a 80 % de chances que ceci soit une hallucination. »

4. Les Résultats : L'agent de sécurité fonctionne

Les auteurs ont testé LUCID contre 15 autres agents de sécurité (méthodes existantes) en utilisant neuf jeux de données différents (différents types de classeurs et de questions).

Le Score : LUCID a gagné à chaque fois, battant tous les autres. Il était le plus précis pour détecter le « rêve éveillé ».
Le Gain Pratique : Le document montre une astuce ingénieuse utilisant LUCID pour économiser de l'argent.
- Imaginez que vous ayez un assistant bon marché et rapide (Qwen2.5-7B) et un assistant très intelligent et coûteux (Qwen3-235B).
- Vous laissez l'assistant bon marché faire tout le travail.
- LUCID surveille l'assistant bon marché. Si LUCID dit : « Hé, cette réponse ressemble à une hallucination ! », vous envoyez uniquement cette question spécifique à l'assistant coûteux pour une double vérification.
- Le Résultat : Vous obtenez presque la même précision qu'en utilisant l'assistant coûteux pour tout, mais vous économisez 55 % d'argent car vous n'avez payé pour les vérifications d'experts que lorsqu'ils étaient réellement nécessaires.

Résumé

En bref, ce document dit : « Les LLM sont excellents pour utiliser les graphes de connaissances, mais ils mentent parfois. Nous avons construit LUCID, un outil qui surveille comment l'IA regarde les faits, ce que ces faits signifient et comment ils sont connectés. En combinant ces trois points de vue, LUCID détecte les mensonges mieux que n'importe quel autre outil actuel, et il peut même nous aider à économiser de l'argent en ne faisant appel aux "experts" que lorsque les "novices" sont sur le point de commettre une erreur. »

Résumé Technique : LUCID - Détection des Hallucinations pour le Raisonnement sur Graphes de Connaissances basé sur les LLM

1. Énoncé du Problème

Bien que les modèles de langage de grande taille (LLM) intégrés aux graphes de connaissances (KG) aient fait progresser les tâches de raisonnement telles que le questionnement (QA) et l'aide à la décision, ils restent susceptibles de produire des hallucinations. Même lorsque des triplets de KG pertinents sont extraits et incorporés dans les prompts, les LLM peuvent générer des réponses factuellement incorrectes qui contredisent les preuves extraites.

Les méthodes existantes de détection d'hallucinations font face à des limitations significatives dans ce domaine spécifique :

Les méthodes générales (ex: EigenScore, Perplexity) se concentrent sur les états internes du LLM mais ignorent le contexte externe du KG.
Les méthodes spécifiques au RAG (ex: RAGAs, Trulens) vérifient la cohérence entre les réponses et le texte extrait mais négligent l'information structurelle inhérente aux KG.
Lacune : Aucune méthode existante ne tire conjointement parti de l'attention interne du LLM, de la sémantique du KG et de la topologie structurelle du KG pour détecter les hallucinations dans les cadres de raisonnement LLM-KG.

Les auteurs quantifient ce problème en annotant manuellement les réponses de trois frameworks (Readi, ToG, StructGPT) à travers trois jeux de données (GrailQA, WebQSP, QALD-10), révélant un taux d'hallucination moyen de 29,65 %.

2. Méthodologie : LUCID

Le papier propose LUCID (halLUcination deteCtIon method for LLM-based knowleDge graph reasoning), la première méthode conçue spécifiquement pour ce scénario. LUCID fonctionne en fusionnant trois sources d'informations distinctes dans un réseau de neurones sur graphe (GNN) afin de prédire la probabilité d'hallucination.

2.1 Extraction de Caractéristiques

La méthode traite l'interaction entre le LLM et le sous-graphe de KG extrait ( $G = (V, E)$ ) à travers trois étapes :

Information sur l'état interne du LLM (Scores d'attention) :
- Le modèle extrait les scores d'attention de l'architecture multi-couches et multi-têtes du LLM pendant la génération de la réponse.
- Il calcule le score d'attention moyen pour chaque jeton (token) de la réponse sur l'ensemble des jetons correspondant aux nœuds (entités) et aux arêtes (relations) du KG.
- Ces scores sont agrégés en deux matrices d'attention moyennes : $M_e$ (pour les nœuds) et $M_r$ (pour les arêtes) à travers toutes les couches et toutes les têtes.
Information sémantique du KG :
- Pour distinguer les arêtes pertinentes de celles qui ne le sont pas, la méthode calcule la similitude sémantique entre la requête (query) et les relations (arêtes) dans le KG.
- En utilisant un modèle de langage pré-entraîné (all-MiniLM-L6-v2), des plongements (embeddings) sont générés pour la requête et les relations.
- Les scores de similitude cosinus $s(r, Q)$ sont calculés. Note : La pertinence sémantique est calculée pour les relations, et non pour les entités, car les formes de surface des entités sont souvent ambiguës.
Construction de Caractéristiques :
- Caractéristiques des Nœuds ( $x_e$ ) : Formées par l'aplatissement (flattening) de la matrice d'attention des nœuds $M_e$ .
- Caractéristiques des Arêtes ( $x_r$ ) : Formées par la concaténation de la matrice d'attention des arêtes $M_r$ aplatie avec le score de similitude sémantique $s(r, Q)$ .

2.2 Modèle de Détection (GNN)

Le sous-graphe enrichi, doté des caractéristiques de nœuds et d'arêtes construites, est injecté dans un Graph Isomorphism Network avec caractéristiques d'arêtes (GINE).
GINE est choisi plutôt qu'un GIN standard car il incorpore explicitement les caractéristiques d'arêtes dans le mécanisme de passage de messages, lui permettant de tirer parti des riches attributs structurels et sémantiques du KG.
Le GNN agrège l'information du graphe via $K$ couches de passage de messages. Une représentation au niveau du graphe est obtenue en sommant les caractéristiques des nœuds, qui est ensuite transmise à un classificateur (MLP + Sigmoid) pour produire la probabilité d'hallucination.
Le seuil de détection est déterminé en maximisant la moyenne géométrique de la sensibilité et de la spécificité sur la courbe ROC.

3. Contributions Clés

Identification du Problème et Benchmarking : Les auteurs sont les premiers à identifier et quantifier systématiquement les hallucinations dans les cadres de raisonnement KG basés sur les LLM. Ils ont construit des jeux de données de référence annotés manuellement à travers trois frameworks et trois jeux de données de QA, établissant un taux d'hallucination de base de 29,65 %.
Méthode Novatrice (LUCID) : Ils proposent LUCID, un cadre de détection qui intègre de manière unique :
- L'état interne du LLM (mécanismes d'attention).
- L'information sémantique du KG (similitude relation-requête).
- L'information structurelle du KG (topologie du graphe).
Performance de l'État de l'Art : Des expériences approfondies démontrent que LUCID surpasse 15 bases de comparaison (incluant des méthodes de détection générales et des outils spécifiques au RAG) à travers tous les frameworks et jeux de données testés.
Utilité Pratique : Le papier démontre que les probabilités d'hallucination de LUCID peuvent être utilisées pour affiner les stratégies de QA, réduisant considérablement les coûts d'inférence tout en maintenant une précision élevée.

4. Résultats Expérimentaux

Les expériences ont été menées sur GrailQA, WebQSP et QALD-10 en utilisant trois frameworks de raisonnement : Readi, ToG et StructGPT.

Performance : LUCID a atteint des performances de l'état de l'art (SOTA) sur tous les jeux de données.
- En moyenne, il a surpassé la meilleure base de comparaison (SelfCheckGPT) de 6,76 % et REDEEP (chunk) de 5,48 % en termes de métrique moyenne (AVG de ACC, AUC, PCC).
- Il a montré les gains les plus importants sur le framework Readi (+2,81 % de gain moyen), attribués aux sous-graphes de KG plus denses de Readi qui se prêtent mieux au mécanisme de passage de messages de LUCID.
- Sur WebQSP, LUCID a obtenu un gain moyen de +2,57 %, gérant efficacement les questions centrées sur les relations où les hallucinations proviennent souvent d'une sélection de relation incorrecte.
Application de l'Efficacité des Coûts : Une stratégie "Mixte" a été testée où Qwen2.5-7B génère les réponses initiales, et LUCID signale les hallucinations à haute probabilité pour une régénération par un modèle plus grand (Qwen3-235B).
- Cette approche a atteint une précision comparable à l'utilisation du grand modèle pour toutes les requêtes (différence de seulement 1,18 %).
- Elle a réduit les coûts monétaires de 55,4 % en moyenne par rapport à l'utilisation exclusive du grand modèle.
Études d'Ablation :
- Caractéristiques : Supprimer la similitude sémantique ou remplacer les matrices d'attention par des scores aléatoires ou des scores de couches cachées a considérablement dégradé les performances, confirmant la nécessité des signaux d'attention et sémantiques.
- Architecture du Modèle : GINE a surpassé GCN, GAT et MLP, validant l'importance de modéliser explicitement les caractéristiques d'arêtes et la topologie du graphe.
- Hyperparamètres : La performance optimale a été atteinte avec 2 couches GINE, 512 canaux cachés et un taux d'apprentissage de $1 \times 10^{-3}$ .

5. Signification et Revendications

Le papier affirme que LUCID répond à une lacune critique dans la fiabilité du raisonnement KG basé sur les LLM. En allant au-delà des vérifications de cohérence de surface pour analyser l'alignement structurel et sémantique entre l'attention du LLM et le KG, LUCID fournit un mécanisme plus robuste pour détecter la désinformation.

Les auteurs positionnent LUCID non pas seulement comme un outil de détection, mais comme un composant fondamental pour améliorer les applications en aval. La capacité de filtrer les hallucinations permet :

Un support à la décision et une découverte de connaissances automatisée plus fiables.
Des stratégies de déploiement rentables (utilisation de modèles plus petits avec un raffinement sélectif).
Une base nécessaire pour les améliorations futures de l'intégration LLM-KG.

Le travail conclut en notant que bien que LUCID soit efficace, les travaux futurs se concentreront sur l'attribution fine des hallucinations pour une meilleure interprétabilité et sur l'extension de l'évaluation aux environnements multilingues et trans-domaines.