💬 NLP

Decomposed Entailment for Factuality Checking and Hallucination Detection

Cet article introduit HallDetect, un cadre léger, sans référence et boîte noire, qui détecte les hallucinations dans la génération de LLM ancrée sur une source en décomposant le contenu en affirmations atomiques, en les vérifiant par implication contrastive par rapport à des segments de la source, et en agrégeant les résultats avec un mécanisme de notation asymétrique pour surpasser les bases de comparaison comparables tout en fournissant des pistes d'audit d'erreurs localisées.

Auteurs originaux : Achir Oukelmoun, Nasredine Semmar, Gaël De Chalendar

Publié 2026-08-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Achir Oukelmoun, Nasredine Semmar, Gaël De Chalendar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous lisez une histoire écrite par un robot très confiant et super intelligent. Ce robot peut écrire n'importe quoi, des articles de presse aux conseils médicaux, et il le fait avec une vitesse incroyable. Mais il y a un piège : parfois, le robot se montre un peu trop créatif. Il peut inventer des faits qui semblent parfaitement réels mais qui sont en réalité fabriqués, ou bien il peut déformer la vérité juste assez pour être trompeur. C'est ce qu'on appelle une « hallucination ». Dans le monde de l'Intelligence Artificielle, ce ne sont pas de simples rêveries ; ce sont des erreurs dangereuses qui peuvent propager de la désinformation ou donner de mauvais conseils.

Pour détecter ces erreurs, nous avons besoin d'un moyen de vérifier le travail du robot par rapport au matériel source original, comme un professeur corrigeant la dissertation d'un élève en s'appuyant sur le manuel scolaire. Traditionnellement, nous avons essayé de le faire en demandant à un autre robot puissant et imposant de jouer le rôle de juge. Mais ces juges sont coûteux, lents, et parfois ils se laissent confondre ou deviennent biaisés eux-mêmes. Ils peuvent être si sophistiqués qu'ils nécessitent un centre de données massif pour fonctionner, ce qui n'est pas pratique pour un usage quotidien. La grande question que se posent les chercheurs est la suivante : pouvons-nous construire une méthode plus petite, moins chère et plus intelligente pour repérer ces mensonges sans avoir besoin d'un superordinateur ?

C'est ici qu'intervient un nouvel outil appelé HallDetect. Voyez HallDetect comme un vérificateur de faits méticuleux qui n'essaie pas de lire toute l'histoire d'un coup. Au lieu de cela, il décompose la réponse du robot en de minuscules phrases individuelles — comme si l'on démontait un grand puzzle pour examiner chaque pièce une par une. Pour chaque petite pièce, il pose une question simple : « Cette phrase spécifique correspond-elle à l'histoire originale, ou la contredit-elle ? »

La partie ingénieuse réside dans sa méthode de vérification. Au lieu de demander à un robot géant et lent de réfléchir profondément à chaque phrase, HallDetect utilise un modèle « détective » léger et rapide. Ce détective scanne le texte source original sous différentes formes — en regardant des phrases isolées, de petits paragrapurs ou des sections entières — pour trouver la meilleure preuve. S'il trouve ne serait-ce qu'un minuscule fragment de la réponse du robot qui contredit clairement la source, HallDetect déclenche l'alarme. C'est comme un système de sécurité qui se déclenche si une seule fenêtre est laissée ouverte, plutôt que d'attendre que toute la maison s'effondre.

Les chercheurs ont testé cette idée sur quatre types différents de tâches d'écriture, allant du résumé d'articles de presse à la réponse à des questions médicales. Ils ont mené leur expérience avec un budget strict, utilisant les mêmes puces informatiques petites et économes en énergie pour chaque méthode comparée. Les résultats ont été surprenants : HallDetect était beaucoup plus stable et précis que les autres méthodes, surtout lorsque la puissance informatique était limitée. Alors que les gros robots « juges » trébuchaient et commettaient des erreurs lorsqu'ils étaient forcés de fonctionner sur du matériel bon marché, HallDetect gardait son sang-froid et trouvait les erreurs. Il ne se contentait pas de dire si le robot avait menti ; il montrait exactement où se trouvait le mensonge, créant ainsi une piste de preuves claire pour que les humains puissent les examiner.

En résumé, HallDetect suggère que nous n'avons pas besoin de construire des robots plus gros et plus coûteux pour attraper les mensonges. Au lieu de cela, en décomposant les problèmes en petites pièces et en utilisant une approche intelligente et ciblée, nous pouvons construire un filet de sécurité fiable qui fonctionne même sur un ordinateur domestique ordinaire. C'est un rappel que, parfois, la meilleure façon de trouver la vérité est d'examiner les détails, un par un.

Résumé technique : HallDetect – Décomposition de l'implication pour la vérification de la facticité

Énoncé du problème

Le déploiement des modèles de langage de grande taille (LLM) dans des contextes professionnels et décisionnels critiques est entravé par les hallucinations : des affirmations confiantes mais factuellement non fondées. Les méthodes de détection existantes font face à des limitations significatives :

Les métriques de surface (ex. : ROUGE, similitude d'encodage/embedding) ne parviennent pas à capturer les incohérences logiques.
Les paradigmes « LLM-as-a-judge » souffrent de coûts de calcul élevés, de latence, de problèmes de reproductibilité et de biais de préférence envers soi-même, particulièrement lorsqu'ils sont déployés sur du matériel grand public ou via des API propriétaires de type « boîte noire ».
Les approches « boîte blanche » s'appuyant sur des signaux internes (probabilités de jetons/tokens) sont inapplicables aux modèles à code source fermé.
Les vérificateurs de faits existants nécessitent souvent des modèles en pleine précision, des bases de connaissances externes (mesurant la facticité extrinsèque plutôt qu'intrinsèque) ou manquent de granularité pour localiser des erreurs spécifiques au sein d'un texte généré.

Il existe un besoin pour un cadre léger, sans référence, de type « boîte noire » capable de détecter les hallucinations intrinsèques (incohérences avec une source fournie) sous des budgets de calcul stricts tout en fournissant une piste d'audit pour des erreurs spécifiques.

Méthodologie : Le cadre HallDetect

HallDetect est un pipeline agnostique au domaine et économiquement efficient qui décompose le texte généré en affirmations atomiques et les vérifie par rapport à un document source à l'aide d'un modèle de logique textuelle (NLI) discriminatif. Le cadre fonctionne sous un budget strict de quantification en 4 bits sur du matériel de classe grand public.

Architecture du pipeline

Le processus se compose de quatre phases distinctes :

Extraction d'affirmations atomiques (Phase I) :
- Un LLM déployé localement et quantifié en 4 bits (ex. : Llama 3.1, Gemma 2 ou Mistral) décompose la réponse $R$ en un ensemble d'affirmations atomiques $\{c_1, \dots, c_n\}$ .
- L'extraction est « fidèle à la copie » (copy-faithful), reproduisant les affirmations textuellement pour garantir que la vérification cible les assertions réelles du modèle.
Découpage contextuel multi-échelle (Phase II) :
- Le document source $D$ est partitionné en une bibliothèque de contexte hiérarchique $\mathcal{K}$ à cinq granularités ( $m \in \{1, 2, 4, 8, 16\}$ segments/chunks).
- Cet ordonnancement dyadique garantit que les preuves sont capturées à diverses échelles (du niveau de la phrase au document entier) sans engendrer une croissance linéaire des coûts. La taille totale de la bibliothèque est plafonnée à 31 segments par document.
Vérification NLI contrastive (Phase III) :
- Un modèle NLI compact basé sur un encodeur (DeBERTa-v3-Large, affiné sur MNLI, FEVER-NLI, etc.) vérifie chaque affirmation $c_i$ par rapport à chaque segment $k \in \mathcal{K}$ .
- Score contrastif : Pour chaque affirmation, le système identifie indépendamment le segment présentant la probabilité d'Implication ( $P(E)$ ) la plus élevée et le segment présentant la probabilité de Contradiction ( $P(C)$ ) la plus élevée.
- Le score est calculé comme suit : $Score(c_i) = \max_k P(E|k, c_i) - \max_k P(C|k, c_i)$ .
- La classe Neutre est gérée implicitement ; les affirmations pour lesquelles tous les segments sont principalement neutres reçoivent des scores faibles tant pour l'implication que pour la contradiction, résultant en un score proche de zéro (indiquant un contenu non supporté).
Agrégation asymétrique (Phase IV) :
- Le score de décomposition de l'implication de la facticité (FEDscore) final agrège les scores par affirmation en utilisant une moyenne géométrique.
- Asymétrie : L'agrégation est conçue pour l'audit. Si une seule affirmation présente un score $\le 0$ (indiquant une contradiction certaine), l'ensemble de la réponse est marqué comme hallucinée ($FEDscore = 1$). Cela donne la priorité au rappel (recall), garantissant qu'une seule assertion non supportée invalide la sortie.

Contributions clés

Les auteurs présentent quatre contributions principales :

Un pipeline de décomposition et de vérification frugal : HallDetect couple l'extraction d'affirmations atomiques à une formulation NLI multi-échelle et contrastive. Il ne nécessite que la paire source-génération et est compatible avec n'importe quel générateur de type « boîte noire », évitant ainsi le recours à des « juges » génératifs lors de la phase de vérification.
Évaluation contrôlée sous budgets fixes : Le cadre est évalué sous une parité de ressources stricte (tous les composants quantifiés en 4 bits, tournant sur un matériel grand public identique). Sous ces contraintes, HallDetect surpasse les bases de comparaison génératives (LLM CoT) et basées sur l'encodage (embeddings) de ressources comparables sur trois des quatre benchmarks, tout en restant compétitif sur le quatrième.
Stabilité à travers les architectures et les domaines : En déléguant la vérification à un encodeur discriminatif, HallDetect présente une variance nettement plus faible que les juges génératifs de type Chaîne de Pensée (CoT) à travers différentes familles d'architectures (Mistral, Gemma, Llama) et domaines (actualités, dialogue, adversaire, biomédical).
Piste d'audit au niveau de l'affirmation : Contrairement aux méthodes de notation scalaire, HallDetect produit une correspondance entre les affirmations atomiques et les segments de preuve de la source, permettant de localiser les contradictions et les ajouts non supportés.

Résultats quantitatifs

Évalué sur quatre benchmarks (QAGS-CNN/DM, TofuEval, FalseSum, PubMedQA) avec des modèles quantifiés en 4 bits :

QAGS-CNN/DM (Résumé d'actualités) : HallDetect a atteint un score F1 de 0,771 (Gemma-2), surpassant la base de comparaison LLM CoT (0,589) et la base NLI monolithique (0,638). Il a démontré un rappel supérieur (1,000) par rapport aux bases de comparaison, grâce à la stratégie de décomposition qui empêche la « dilution » des erreurs localisées.
Stabilité : Alors que la performance de LLM CoT s'est effondrée de manière significative à travers différentes architectures (ex. : chute du F1 de 0,589 à 0,321 sur Llama-3.1), HallDetect est resté stable (plage de F1 de 0,734 à 0,771).
Stress adversaire (FalseSum) : HallDetect a maintenu une performance solide (F1 0,731), surpassant la base de comparaison LLM CoT (0,375) et la base SelfCheck (0,649).
Généralisation du domaine (PubMedQA) : HallDetect est resté compétitif mais n'a pas surpassé la base de comparaison SelfCheck (F1 de HallDetect 0,632 contre F1 de SelfCheck 0,668). Bien que des évaluateurs spécialisés aient parfois égalé ou dépassé HallDetect dans ce domaine, celui-ci a conservé la capacité unique de localiser les affirmations médicales spécifiques manquant de fondement, une caractéristique absente des bases de comparaison scalaires.

Signification et revendications

L'article positionne HallDetect non pas comme un détecteur de pointe surpassant les systèmes en pleine précision ou basés sur des API, mais comme une solution robuste et efficace en ressources pour les scénarios où les budgets de calcul sont contraints (ex. : déploiement local, matériel grand public).

Robustesse à la quantification : L'étude démontre que le découplage de l'extraction d'affirmations et de la vérification (en utilisant un encodeur discriminatif) protège le jugement des biais de décodage et de l'instabilité qui affectent les modèles génératifs quantifiés.
Auditabilité : Le cadre fournit une piste d'audit « affirmation-vers-segment », localisant les erreurs plutôt que de fournir un simple score scalaire, ce qui est crucial pour l'audit humain.
Faisabilité opérationnelle : En opérant entièrement avec des modèles quantifiés en 4 bits avec des exigences de VRAM inférieures à 1 Go, HallDetect offre une alternative pratique aux paradigmes coûteux de « LLM-as-a-judge » pour la vérification de la facticité intrinsèque.

Les auteurs notent explicitement des limitations, notamment l'absence de comparaison avec des vérificateurs discriminatifs spécialisés comme MiniCheck, l'incapacité à vérifier les faits extrinsèques (affirmations non présentes dans la source), et le point de fonctionnement orienté vers le rappel qui peut abaisser la précision dans les scénarios à faible taux d'hallucination.