💬 NLP

Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection

Cet article propose un algorithme de détection d'hallucinations à deux étapes et économique qui combine dynamiquement l'auto-cohérence avec des vérifications de cohérence inter-modèles afin de réduire considérablement les coûts de calcul tout en maintenant une performance de détection élevée, appuyé par des résultats empiriques et une interprétation théorique géométrique.

Auteurs originaux : Yihao Xue, Kristjan Greenewald, Youssef Mroueh, Baharan Mirzasoleiman

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yihao Xue, Kristjan Greenewald, Youssef Mroueh, Baharan Mirzasoleiman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Menteur Arrogant

Imaginez que vous demandiez des faits à un bibliothécaire très éloquent et cultivé (l'IA). Parfois, le bibliothécaire est sûr de lui à 100 %. Mais d'autres fois, il invente avec assurance une histoire qui semble parfaite, mais qui est complètement fausse. C'est ce qu'on appelle une hallucination.

Dans le monde réel, nous ne pouvons souvent pas voir comment le bibliothécaire réfléchit ; nous voyons seulement la réponse finale qu'il écrit. C'est le problème de la « boîte noire ». Nous ne pouvons pas regarder à l'intérieur de son cerveau pour vérifier sa logique ; nous recevons seulement le résultat.

L'Ancienne Méthode : Poser la même question deux fois au même bibliothécaire

Auparavant, les chercheurs essayaient de démasquer ces mensonges en utilisant une astuce appelée Auto-Cohérence (Self-Consistency).

L'Analogie : Imaginez que vous posiez la même question au bibliothécaire cinq fois, mais en lui demandant d'être un peu plus « aléatoire » ou « créatif » à chaque fois (comme si vous lui demandiez de raconter l'histoire avec une voix différente).
La Logique : Si le bibliothécaire connaît la réponse, les cinq histoires seront très similaires (comme une famille heureuse où tout le monde se ressemble). Si le bibliothécaire invente des choses, les cinq histoires seront totalement éparpillées, se contredisant les unes les autres (comme des familles malheureuses, chacune étant malheureuse à sa manière).
Le Constat : Les auteurs ont testé cela et ont découvert que nous avons déjà extrait presque tout le jus de cette méthode. Demander cinq fois la même chose au même bibliothécaire est presque le maximum de ce que l'on peut obtenir. Nous avons atteint un « plafond » où faire plus de la même chose n'aidera pas beaucoup plus.

La Nouvelle Idée : Faire intervenir un second bibliothécaire

Pour briser ce plafond, les auteurs suggèrent de faire intervenir un Vérificateur (un second bibliothécaire).

L'Analogie : Vous avez maintenant votre bibliothécaire principal (la Cible) et un second bibliothécaire (le Vérificateur). Vous posez la même question aux deux.
La Logique : Si les deux bibliothécaires racontent la même histoire, c'est probablement vrai. S'ils racontent des histoires complètement différentes, au moins l'un d'eux ment.
La Surprise : Même si le second bibliothécaire est plus faible ou moins intelligent que le premier, avoir un deuxième avis aide quand même à démasquer plus de mensonges qu'en demandant simplement au premier bibliothécaire de se répéter.

La Solution Intelligente : Le « Budget en Deux Étapes »

Le problème, c'est que faire appel à un second bibliothécaire coûte de l'argent et du temps. Si vous avez 1 000 questions, interroger deux bibliothécaires pour chacune d'elles double votre facture. Les auteurs voulaient obtenir les bénéfices sans payer le double pour tout.

Ils ont créé un Système de Détection en Deux Étapes (comme un point de contrôle de sécurité) :

Étape 1 (Le Scan Rapide) : Vous demandez au bibliothécaire principal de répéter l'histoire cinq fois (Auto-Cohérence).
- Si les histoires correspondent parfaitement : Vous supposez que c'est vrai. Arrêt. Pas besoin d'appeler le second bibliothécaire.
- Si les histoires sont un chaos total : Vous supposez que c'est un mensonge. Arrêt. Pas besoin d'appeler le second bibliothécaire.
- Si les histoires sont « bof » (un peu similaires, mais pas tout à fait) : C'est la Zone d'Incertitude. Vous ne savez pas encore si c'est vrai ou faux.
Étape 2 (L'Analyse Approfondie) : Vous ne faites appel au second bibliothécaire que pour ces cas « bof » dans la Zone d'Incertitude.
- Vous comparez l'histoire du bibliothécaire principal avec celle du second bibliothécaire.
- S'ils sont d'accord, vous marquez comme vrai. S'ils ne sont pas d'accord, vous marquez comme faux.

Les Résultats : Haute Performance, Faible Coût

Le papier montre que cette approche en « deux étapes » est gagnante :

C'est Moins Cher : Vous n'appelez le second bibliothécaire coûteux que pour une petite fraction des questions (celles dont vous n'êtes pas sûr).
C'est Intelligent : En concentrant l'effort supplémentaire uniquement là où il est nécessaire, ils ont obtenu une précision presque aussi élevée que si l'on vérifiait chaque question avec deux bibliothécaires, mais avec jusqu'à 28 % de coût de calcul en moins.
La Géométrie : Les auteurs ont même utilisé une « carte » mathématique (interprétation géométrique) pour montrer que cette méthode fonctionne comme un filtre : elle attrape facilement les vérités et les mensonges évidents, et n'utilise la « machinerie lourde » que pour les cas plus complexes du milieu.

Résumé

Le papier soutient que nous ne pouvons pas faire beaucoup mieux en demandant simplement à la même IA de se répéter. Pour faire mieux, nous avons besoin d'une seconde IA pour vérifier le travail. Cependant, pour économiser de l'argent, nous ne devrions pas demander à la seconde IA de vérifier tout. Au lieu de cela, nous ne devrions faire appel à la seconde IA que lorsque la première semble un peu incertaine. Cela permet de gagner du temps et de l'argent tout en maintenant une précision très élevée.

Résumé Technique : Vérifier en cas d'incertitude : Au-delà de l'auto-cohérence dans la détection des hallucinations en boîte noire

Énoncé du Problème

Les grands modèles de langage (LLM) produisent fréquemment des hallucinations — des contenus plausibles mais factuellement incorrects — ce qui compromet leur fiabilité dans les applications sensibles. La détection de ces hallucinations dans des environnements de boîte noire (où seuls les sorties du modèle sont accessibles, et non ses états internes ou ses logits) est un défi critique. Les approches existantes reposent principalement sur l'auto-cohérence (self-consistency) : l'intuition selon laquelle un modèle générant une réponse correcte produira des réponses mutuellement impliquantes lorsqu'il est échantillonné de manière stochastique, tandis que les hallucinations entraînent des sorties incohérentes. Cependant, il reste à déterminer si les méthodes d'auto-cohérence ont atteint leur plafond de performance compte tenu des informations limitées disponibles dans les scénarios de boîte noire, et comment améliorer la détection sans encourir de coûts computationnels prohibitifs.

Méthodologie

1. Analyse du plafond de l'auto-cohérence

Les auteurs formalisent d'abord les méthodes d'auto-cohérence existantes (par exemple, l'entropie sémantique, la distance moyenne par paires, les métriques basées sur les valeurs propres) comme des fonctions $f$ appliquées à une matrice d'auto-implication $P^{self}$ . Pour déterminer la limite de performance théorique de ce paradigme, ils entraînent des réseaux de neurones convolutionnels sur graphes (GCN) pour approximer la fonction optimale $f$ qui mappe $P^{self}$ vers l'étiquette de vérité terrain de l'hallucination.

Résultat : Les résultats empiriques sur plusieurs LLM (Llama-2, Llama-3, Mixtral) et jeux de données (SQuAD, TriviaQA) montrent que les méthodes existantes performent déjà presque aussi bien que cet oracle supervisé. Cela suggère que les gains supplémentaires au sein du seul paradigme de l'auto-cohérence sont limités.

2. Introduction de la cohérence inter-modèles

Pour dépasser le plafond de l'auto-cohérence, l'article propose d'incorporer un modèle vérificateur ( $M_v$ ) pour vérifier la cohérence entre le modèle cible ( $M_t$ ) et le vérificateur.

Mécanisme : Une matrice de cohérence croisée $P^{cross}$ est construite en comparant les échantillons de $M_t$ et $M_v$ .
Insight théorique : Même si le vérificateur est plus faible que le modèle cible, l'accord ou le désaccord entre les deux fournit des informations que l'auto-cohérence seule ne peut capturer.
Combinaison linéaire : Les auteurs démontrent qu'une simple moyenne pondérée des métriques d'auto-cohérence et de cohérence croisée, $(1-\lambda)MPD(P^{self}) + \lambda MPD(P^{cross})$ , peut atteindre une performance très proche du plafond théorique dérivé de l'oracle GCN.

3. Algorithme de détection à deux étapes sensible au budget

Reconnaissant que l'interrogation d'un vérificateur pour chaque question introduit un surcoût computationnel important (particulièrement si le vérificateur est un modèle de grande taille), les auteurs proposent un algorithme adaptatif à deux étapes :

Étape 1 (Auto-cohérence) : Calculer le score d'auto-cohérence ( $s_{self}$ $s_{se l f}$ ).
- Si $s_{self}$ est inférieur à un seuil inférieur $t_1$ , classer comme Pas d'hallucination.
- Si $s_{self}$ est supérieur à un seuil supérieur $t^*$ , classer comme Hallucination.
- Si $s_{self}$ tombe dans la zone d'incertitude intermédiaire ( $t_1 < s_{self} < t^*$ ), passer à l'Étape 2.
Étape 2 (Cohérence croisée) : Pour le sous-ensemble ambigu, échantillonner des réponses du vérificateur, calculer le score de cohérence croisée ( $s_{cross}$ ), et appliquer un seuil $t_2$ pour effectuer la classification finale.

Interprétation géométrique : Les auteurs interprètent ce processus dans l'espace des plongements de moyenne de noyau (Kernel Mean Embeddings). L'auto-cohérence correspond à la norme de l'imprégnation moyenne du modèle cible ( $\|\mu_t\|$ ), tandis que la cohérence croisée correspond au produit scalaire entre les imageries cible et vérificateur ( $\langle \mu_t, \mu_v \rangle$ ). Le processus à deux étapes filtre efficacement les échantillons basés sur la norme de $\mu_t$ et utilise le vérificateur pour définir un hyperplan séparateur pour la région incertaine.

Sélection des seuils : Les seuils $t_1$ et $t_2$ sont sélectionnés à l'aide d'un ensemble de validation pour maximiser la probabilité de détection pour un taux de fausse alerte donné. L'article fournit un théorème (Théorème 5.1) garantissant que cette procédure de sélection se généralise bien aux données de test.

Résultats Clés

Plafond de performance : Les méthodes d'auto-cohérence existantes sont proches du plafond de performance pour la détection en boîte noire sans vérificateur.
Efficacité du vérificateur : L'introduction d'un vérificateur améliore significativement la performance du plafond approximé (mesurée par l'AUROC et l'AURAC), même lorsque le vérificateur est plus petit ou plus faible que le modèle cible.
Compromis Coût-Performance : L'algorithme à deux étapes proposé atteint une haute performance de détection avec un coût computationnel minimal.
- Les expériences montrent que les courbes de performance sont convexes, ce qui signifie qu'une petite fraction d'appels au vérificateur produit la majorité du gain de performance.
- Plus précisément, la méthode peut réduire les coûts computationnels de 13,5 % à 28 % tout en conservant 95 % du gain de performance maximal par rapport à l'interrogation du vérificateur pour toutes les questions.
Robustesse : L'approche fonctionne bien à travers diverses combinactions cible-vérificateur (20 paires testées) et jeux de données (SQuAD, TriviaQA, Natural Questions). Les seuils appris sur un ensemble de questions se transfèrent efficacement à différentes questions.

Signification et Revendications

L'article affirme offrir une solution pratique au compromis entre la précision de la détection des hallucinations et le budget computationnel dans les contextes de boîte noire.

Au-delà de l'auto-cohérence : Il établit que si l'auto-cohérence est proche de sa limite, la cohérence inter-modèles est une étape suivante nécessaire et efficace.
Efficacité : La contribution principale est le mécanisme adaptatif à deux étapes sensible au budget, qui bascule dynamiquement entre l'auto-cohérence et la cohérence croisée. Cela permet aux systèmes de maintenir une haute fiabilité sans le coût prohibitif de l'exécution d'un second grand modèle pour chaque requête.
Fondement théorique : En fournissant une interprétation géométrique via les imageries de moyenne de noyau, ce travail offre des perspectives théoriques plus profondes sur la raison pour laquelle la détection basée sur la cohérence fonctionne et comment l'incertitude peut être formellement caractérisée.
Portée : Les auteurs se concentrent explicitement sur les benchmarks de Réponse aux Questions (QA) comme cadre contrôlé pour étudier les signaux de cohérence, notant que l'extension à la génération de longs textes reste difficile en raison de l'ambiguïté de l'équivalence sémantique dans le texte ouvert.

Le travail conclut que bien qu'un ensemble de validation soit actuellement requis pour ajuster les seuils, le cadre proposé est indépendant de la tâche concernant la distribution des relations d'implication et pourrait potentiellement être adapté à d'autres contextes de génération où l'équivalence sémantique peut être évaluée.