💬 NLP

Hallucination Detection in LLMs with Topological Divergence on Attention Graphs

L'article présente TOHA, un détecteur d'hallucinations basé sur la topologie pour les systèmes de génération augmentée par récupération, qui identifie les sorties factuellement incorrectes en mesurant la divergence topologique entre les graphes d'attention du prompt et de la réponse, atteignant des performances de pointe avec des données et des ressources computationnelles minimales.

Auteurs originaux : Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Baran

Publié 2026-05-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un conteur très talentueux mais parfois trop confiant. Lorsqu'on lui pose une question, il ne « pense » pas seulement en mots ; il examine un immense réseau invisible de connexions entre chaque mot qu'il a jamais vu et chaque mot qu'il est sur le point de dire. Ce réseau est appelé une carte d'attention.

L'article présente un nouvel outil appelé TOHA (Détecteur d'HAllucinations basé sur la Topologie) pour attraper ce conteur lorsqu'il commence à inventer des choses (halluciner). Voici comment cela fonctionne, expliqué simplement :

1. Le Réseau du Conteur (Le Graphique d'Attention)

Imaginez la carte d'attention du LLM comme un plan de ville.

L'Invite (Votre Question) : Ce sont les bâtiments situés sur le côté gauche de la carte.
La Réponse (La Réponse) : Ce sont les nouveaux bâtiments en cours de construction sur le côté droit.
Les Lignes : Les lignes reliant les bâtiments montrent à quel point le modèle « regarde » un mot en écrivant un autre. Si le modèle dit la vérité, les nouveaux bâtiments (la réponse) devraient être étroitement connectés aux anciens (les faits de votre question).

2. Le Problème de l'« Hallucination »

Lorsque le modèle hallucine, il commence à construire de nouvelles structures qui ne se connectent pas bien à la ville d'origine. C'est comme si le modèle dessinait un pont vers un bâtiment qui n'existe pas dans votre question.

Réponse Véridique : Les nouveaux bâtiments sont reliés par des ponts courts et solides aux anciens.
Réponse Hallucinée : Les nouveaux bâtiments flottent dans les airs, ou sont reliés par des ponts très longs, faibles, ou inexistants.

3. Le Détective TOHA (Divergence Topologique)

TOHA est un détective qui mesure la forme de ces connexions. Il utilise un concept mathématique appelé « Divergence Topologique ».

L'Analogie : Imaginez que vous avez un tas de pierres (les mots de votre question) et que vous essayez d'en construire un nouveau (la réponse) juste à côté.
- Si vous construisez une copie fidèle, vous utilisez de courtes cordes pour attacher les nouvelles pierres aux anciennes. La longueur totale de la corde nécessaire est courte.
- Si vous inventez des choses, vos nouvelles pierres sont loin ou flottent. Pour les relier au tas ancien, vous avez besoin de cordes très longues, coûteuses.
Le Score : TOHA calcule la longueur totale de ces « cordes » (mathématiquement, la longueur d'une Forêt Étendue Minimale).
- Courte longueur totale de corde = La réponse est ancrée dans les faits (Score d'hallucination faible).
- Longue longueur totale de corde = La réponse s'éloigne des faits (Score d'hallucination élevé).

4. Les « Yeux Spéciaux » (Têtes Conscientes des Hallucinations)

Les LLM possèdent de nombreuses « têtes » (différentes parties du cerveau qui examinent le texte). L'article a découvert que toutes les têtes ne sont pas également bonnes pour repérer les mensonges.

Certaines têtes agissent comme des machines à copier. Elles ont tendance à regarder le tout premier mot de la phrase si elles sont confuses.
Les chercheurs ont constaté que certaines « têtes » spécifiques montrent systématiquement une longueur de corde longue (divergence élevée) chaque fois que le modèle ment, indépendamment du sujet.
TOHA ne vérifie pas tout le cerveau ; il demande simplement l'avis de ces quelques « yeux spéciaux ». S'ils disent : « Hé, ces connexions sont trop longues », TOHA signale une hallucination.

5. Pourquoi C'est Important

Aucun Entraînement Supplémentaire : Contrairement à d'autres méthodes qui ont besoin de milliers d'exemples de « mensonges » pour apprendre à les repérer, TOHA est « sans entraînement ». Il examine simplement les mathématiques des connexions en temps réel.
Super Rapide : D'autres méthodes demandent souvent au modèle de raconter l'histoire 10 ou 20 fois pour voir si les réponses correspondent (comme demander à un témoin de répéter son histoire). TOHA n'a besoin de regarder l'histoire qu'une seule fois. Il est jusqu'à 70 fois plus rapide que ces méthodes plus lentes.
Fonctionne Partout : Les chercheurs l'ont testé sur différents modèles (comme Llama et Mistral) et différentes tâches (répondre à des questions, résumer des actualités). Il a fonctionné de manière constamment efficace, même lorsque le modèle parlait de sujets complètement différents.

Résumé

TOHA est comme un inspecteur de contrôle qualité pour les histoires de l'IA. Au lieu de lire l'histoire pour vérifier les faits, il examine le plan (la carte d'attention). Si le plan montre que les nouvelles parties de l'histoire flottent loin des faits originaux, TOHA lève un drapeau rouge. Il le fait rapidement, à moindre coût, et sans avoir besoin de mémoriser un dictionnaire de mensonges.

Résumé technique : TOHA – Détection d'hallucinations basée sur la topologie des graphes d'attention

Énoncé du problème

Les modèles de langage de grande taille (LLM), en particulier lorsqu'ils sont déployés dans des scénarios de génération augmentée par la récupération (RAG), restent sujets aux « hallucinations », c'est-à-dire à la génération de contenu factuellement ou contextuellement incorrect. Bien que des méthodes de détection existantes soient disponibles, elles font face à des contraintes pratiques significatives : les approches supervisées nécessitent des jeux de données annotés rares ; les méthodes basées sur la cohérence (par exemple, la génération de multiples échantillons) entraînent des coûts computationnels élevés ; et les métriques basées sur l'incertitude (par exemple, la perplexité) échouent souvent à capturer l'incertitude réelle du modèle ou les nuances de son état interne. Il existe un besoin d'un mécanisme de détection qui soit efficace en données, léger sur le plan computationnel, et capable de tirer parti des propriétés structurelles internes des LLM sans nécessiter de réentraînement approfondi.

Méthodologie

L'article présente TOHA (un détecteur d'hallucinations basé sur la TOpologie), un cadre sans entraînement conçu pour détecter les hallucinations en analysant la structure topologique des cartes d'attention au sein des LLM.

1. Graphes d'attention en tant qu'objets topologiques

La méthode reformule le mécanisme d'auto-attention des LLM de type décodeur uniquement comme un graphe complet pondéré $G$ . Dans ce graphe :

Les nœuds représentent les tokens, partitionnés en tokens de prompt ( $P$ ) et tokens de réponse ( $R$ ).
Les arêtes sont pondérées par $1 - w_{ij}$ , où $w_{ij}$ est le score d'attention du token $i$ vers le token $j$ , représentant des pseudo-distances.
Le sous-graphe du prompt est traité comme une structure de référence, tandis que le sous-graphe de la réponse représente le contenu généré.

2. Métrique MTop-DivG(R, P)

Le cœur de TOHA est MTop-DivG(R, P), une adaptation de la Divergence de Topologie de Variété (MTop-Div) pour les contextes de graphes.

Calcul : La méthode annule les poids des arêtes entre les tokens de prompt ( $P$ ) pour isoler la relation structurelle entre le prompt et la réponse. Elle calcule ensuite le code-barres d'homologie d'ordre 0 du graphe modifié résultant.
Définition : Le score de divergence est la somme des longueurs des intervalles dans le code-barres d'ordre 0 ( $B_0$ ).
Interprétation géométrique : Ce score est égal à la longueur de la Forêt d'Arbre Couvrant Minimal (MSF) qui connecte les tokens de réponse ( $R$ ) aux tokens de prompt ( $P$ ).
Interprétation informationnelle : Le score sert de proxy pour la « nouveauté » de la réponse par rapport au prompt. Une divergence plus élevée implique que les tokens de réponse sont moins étroitement connectés à la structure du prompt, suggérant l'introduction de nouvelles informations, potentiellement hallucinées.

3. Têtes conscientes des hallucinations

Une découverte critique de l'article est que toutes les têtes d'attention ne contribuent pas également à la détection des hallucinations.

En analysant les valeurs de divergence à travers différentes couches et têtes, les auteurs ont identifié un sous-ensemble spécifique de têtes « conscientes des hallucinations ».
Ces têtes produisent systématiquement des scores de divergence plus élevés pour les échantillons hallucinés par rapport aux échantillons ancrés, et ce sur divers jeux de données (par exemple, MS MARCO, CoQA, SQuAD).
Fait intéressant, ces têtes spécifiques exhibent souvent un « comportement de copie » (portant une forte attention au premier token lorsque les occurrences précédentes sont absentes), ce qui s'aligne avec des découvertes antérieures en interprétabilité mécaniste.

4. L'algorithme TOHA

L'algorithme fonctionne en deux phases :

Sélection de têtes (Phase de sondage) : En utilisant un petit ensemble de données de sondage annotées (hallucinées vs ancrées), la méthode classe les têtes d'attention en fonction de leur capacité à séparer les deux classes (mesurée par $\Delta_{ij}$ ). Elle sélectionne les $N_{opt}$ meilleures têtes (limitées à 10) qui maximisent la surface sous la courbe caractéristique d'opération du récepteur (AUROC).
Prédiction : Pour un échantillon de test, le score final d'hallucination est la valeur moyenne de MTop-DivG(R, P) calculée uniquement sur les $N_{opt}$ têtes sélectionnées.

Contributions clés

Cadre TOHA : Un détecteur d'hallucinations basé sur la topologie et sans entraînement qui exploite les propriétés structurelles des graphes d'attention. Il fonctionne significativement plus vite que les méthodes de qualité comparable et nécessite un minimum de données annotées.
MTop-DivG(R, P) : Une métrique novatrice adaptant la Divergence de Topologie de Variété aux graphes d'attention. Elle quantifie la dissimilarité topologique entre le prompt et la réponse, capturant efficacement la nouveauté de la réponse dans les scénarios RAG.
Découverte de têtes conscientes des hallucinations : L'identification d'un petit sous-ensemble cohérent de têtes d'attention qui distinguent de manière fiable les hallucinations à travers les jeux de données. Cette découverte permet une détection robuste en utilisant seulement environ 10 têtes, assurant une transférabilité inter-domaine.
Efficacité et performance : La méthode obtient des résultats à l'état de l'art ou compétitifs sur plusieurs benchmarks tout en étant efficace sur le plan computationnel (environ 70 fois plus rapide que les méthodes basées sur la cohérence comme SelfCheckGPT en pratique).

Résultats expérimentaux

Les auteurs ont évalué TOHA sur cinq jeux de données (MS MARCO, CNN/DM, CoQA, SQuAD, XSum) en utilisant cinq LLM open-source (LLaMA-2-7B/13B, LLaMA-3.1-8B, Mistral-7B, Qwen2.5-7B).

Performance : TOHA a systématiquement surpassé les baselines basées sur l'incertitude (Perplexité, Entropie Maximale) et a égalé ou dépassé les méthodes basées sur la cohérence (SelfCheckGPT, Entropie Sémantique) et les méthodes basées sur l'état interne (ReDEEP, HaloScope).
- Des améliorations notables comprenaient +11,7 % sur MS MARCO (Mistral-7B) et +21,6 % sur CoQA (LLaMA-2-7B) par rapport à des baselines solides.
- Sur le jeu de données multi-sauts HotpotQA, TOHA a démontré une performance supérieure, validant son efficacité dans des scénarios de requêtes complexes et réels.
Efficacité : TOHA est environ 7 fois plus rapide que SelfCheckGPT avec une seule génération et plus de 70 fois plus rapide lorsque SelfCheckGPT nécessite plusieurs générations (10-20). Son temps d'exécution est comparable à celui de baselines d'entropie légères.
Robustesse : La méthode a montré une forte transférabilité ; la performance sur les jeux de données de transfert (par exemple, entraînement sur MS MARCO, test sur XSum) est restée dans les écarts-types de la performance de la méthode sur les données en distribution.
Efficacité des données : La méthode ne nécessite qu'un petit ensemble de sondage (aussi peu que 50 échantillons) pour sélectionner les têtes optimales, après quoi elle fonctionne sans entraînement supplémentaire.

Importance et affirmations

L'article affirme que l'analyse de la structure topologique des matrices d'attention fournit un indicateur robuste et efficace de la fiabilité factuelle des LLM. L'importance de TOHA réside dans sa capacité à :

Combler le fossé entre l'analyse topologique des données (TDA) théorique et la détection pratique des hallucinations.
Surmonter la rareté des données en nécessitant un minimum de données annotées pour l'étalonnage, contrairement aux classificateurs supervisés.
Réduire la surcharge computationnelle en évitant la génération de multiples échantillons, le rendant adapté aux applications en temps réel ou à ressources limitées.
Fournir de l'interprétabilité en reliant les signaux d'hallucination à des têtes d'attention spécifiques « conscientes des hallucinations », offrant des perspectives sur les origines mécanistes des hallucinations (spécifiquement leur lien avec le comportement de copie).

Les auteurs concluent que TOHA offre une solution pratique et évolutive pour garantir la sécurité et la fiabilité des LLM dans des domaines sensibles, en particulier au sein des systèmes RAG où l'exactitude factuelle est primordiale. Ils reconnaissent des limitations concernant les dépendances spécifiques aux modèles (les têtes spécifiques peuvent varier selon l'architecture) et la restriction actuelle aux modalités textuelles uniquement.