🤖 AI

Entropy Distribution as a Fingerprint for Hallucinations in Generative Models

Cet article présente le Calibrated Entropy Score (CES), une méthode boîte noire légère en un seul passage qui exploite les distributions d'entropie au niveau des tokens pour détecter les hallucinations des grands modèles de langage avec des garanties d'erreur formelles et des performances comparables aux approches multi-échantillons coûteuses en calcul.

Auteurs originaux : Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Romina Yalovetzky, Niraj Kumar

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Romina Yalovetzky, Niraj Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous écoutez un conteur. Parfois, il raconte une histoire parfaitement vraie qui s'écoule naturellement. D'autres fois, il commence à « halluciner » : il invente des faits, se trompe ou divague d'une manière qui n'a aucun sens.

Pendant longtemps, les ordinateurs tentant de déceler ces mensonges devaient faire l'un des deux choix suivants : soit demander au conteur de répéter l'histoire cinq ou six fois pour vérifier si les détails concordent (ce qui est lent et coûteux), soit jeter un coup d'œil dans le cerveau du conteur pour voir ses notes secrètes (ce qui est souvent impossible avec les systèmes fermés).

Ce papier présente une nouvelle méthode ingénieuse pour démasquer un menteur, qui ne nécessite d'écouter l'histoire qu'une seule fois. Elle s'appelle le Score d'Entropie Calibrée (SEC).

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Mètre de Confiance » (Entropie)

À chaque fois qu'un Grand Modèle de Langage (LLM) écrit un mot, il dispose d'un « mètre de confiance » pour ce qui va suivre.

Confiance élevée : Le modèle sait exactement quoi dire. C'est comme un chef qui connaît parfaitement la recette. L'« entropie » (une mesure de l'incertitude) est faible.
Confiance faible : Le modèle devine. C'est comme un chef regardant un réfrigérateur vide, incertain de ce qu'il doit cuisiner. L'« entropie » est élevée.

2. L'Ancienne Méthode vs La Nouvelle Méthode

L'Ancienne Méthode (Perplexité) :
Les méthodes précédentes examinaient la moyenne de la confiance de toute l'histoire.

Analogie : Imaginez un étudiant passant un examen. L'ancienne méthode ne regarde que sa note moyenne. Si la moyenne est de 70 %, il pourrait être admis. Mais cela cache la vérité : a-t-il obtenu 70 % à chaque question ? Ou a-t-il eu 10 questions parfaites (100 %) et 10 questions complètement ratées (0 %) ? La moyenne est la même, mais le second étudiant est beaucoup plus instable.

La Nouvelle Méthode (SEC) :
Les auteurs ont réalisé que la forme du mètre de confiance importait plus que la moyenne.

Analogie : Lorsqu'un modèle raconte la vérité, son mètre de confiance est stable et prévisible. Lorsqu'il commence à halluciner, le mètre s'affole. Il peut rester calme un moment, puis brusquement exploser dans une confusion totale, avant de repartir d'un coup.
Le papier affirme que ce « motif sauvage » est une empreinte digitale d'un mensonge. Même si la moyenne de la confiance semble normale, les pics (l'incertitude maximale) et la forme globale de la courbe trahissent la vérité.

3. Comment Fonctionne la SEC (La Vérification de l'« Empreinte Digitale »)

La méthode fonctionne en deux étapes :

Apprentissage du Motif de « Vérité » : D'abord, le système écoute de nombreuses histoires connues pour être vraies. Il construit une « carte de référence » (une courbe statistique) de l'apparence du mètre de confiance d'une histoire véridique. Il note : « D'accord, les histoires vraies ont généralement de petits renflements ici, mais rarement de gros pics là-bas. »
Le Test en Une Seule Fois : Lorsqu'une nouvelle histoire arrive, le système l'écoute une seule fois. Il ne demande pas un deuxième avis. Il compare le mètre de confiance de l'histoire à la « Carte de Vérité ».
- Si l'histoire présente un pic étrange ou une forme qui ne correspond pas à la carte, le système l'alerte : « Cela ressemble à une hallucination ! »

4. Pourquoi C'est une Révolution

Vitesse : Il ne faut qu'un seul passage sur le texte. C'est comme attraper un menteur en l'écoutant parler une seule fois, plutôt que de le faire répéter l'histoire cinq fois.
Compatible avec les Boîtes Noires : Vous n'avez pas besoin de voir le code interne du modèle ou ses pensées cachées. Vous avez juste besoin des « logits » (les chiffres bruts de confiance que le modèle émet avant de choisir un mot), que la plupart des API fournissent.
Preuve Statistique : Les auteurs n'ont pas simplement deviné que cela fonctionnait. Ils ont utilisé les mathématiques pour prouver que, à mesure que l'histoire s'allonge, la chance de manquer un mensonge chute à presque zéro, et la chance de faussement accuser une histoire vraie chute également à presque zéro.

Résumé

Pensez à la SEC comme à un détecteur de mensonge qui n'a pas besoin d'un polygraphe ou d'un deuxième entretien. Il écoute simplement le rythme de l'incertitude dans le texte. Si le rythme est régulier, c'est probablement vrai. Si le rythme présente des sauts erratiques et sauvages (même si la moyenne semble correcte), c'est probablement une hallucination.

Le papier a testé cette méthode sur 10 modèles d'IA différents et 8 types de questions différents (des mathématiques aux anecdotes) et a constaté que cette méthode « en un seul passage » démasque les mensonges aussi bien que les méthodes coûteuses à multiples passages, mais beaucoup plus rapidement et à moindre coût.

Résumé technique : Distribution d'entropie comme empreinte digitale des hallucinations dans les modèles génératifs

Énoncé du problème

Les modèles de langage de grande taille (LLM) génèrent fréquemment des sorties factuellement incorrectes, un phénomène connu sous le nom d'hallucination, qui sape la confiance et limite le déploiement dans des domaines à haut risque. Les méthodes de détection existantes souffrent de limitations significatives :

Les méthodes basées sur la cohérence (par exemple, Entropie Sémantique, SelfCheckGPT) nécessitent plusieurs passes avant ( $K \ge 5$ ), entraînant des coûts de calcul élevés.
Les méthodes basées sur l'état interne nécessitent l'accès aux représentations cachées ou aux matrices d'attention, ce qui est impossible avec les modèles d'API en boîte noire.
Les heuristiques en passe unique (par exemple, Perplexité, Entropie normalisée par la longueur) réduisent le signal d'entropie complet à un seul résumé scalaire, éliminant des informations distributionnelles riches qui peuvent être critiques pour la détection.

Les auteurs postulent que la distribution des entropies au niveau des tokens, plutôt que simplement leur moyenne, sert d'« empreinte digitale » unique de l'hallucination.

Méthodologie : Score d'Entropie Calibré (CES)

L'article propose un cadre qui formalise la détection des hallucinations comme un test d'hypothèse statistique, ne nécessitant qu'une seule passe avant et un accès en boîte noire aux logits des tokens.

1. Fondement théorique

L'hypothèse centrale est que lorsque un modèle hallucine, la distribution des entropies des tokens diverge de la distribution observée lors des générations fidèles. Cette divergence n'est pas simplement un décalage de la moyenne ; la forme et le comportement de la queue de la distribution portent un signal indépendant.

Hypothèse nulle ( $H_0$ ) : La séquence d'entropies générée est cohérente avec une Fonction de Distribution Cumulée (CDF) de référence, $F_0$ , dérivée de données non hallucinées.
Hypothèse alternative ( $H_1$ ) : La séquence est incohérente avec $F_0$ , indiquant une hallucination.

2. Le Score d'Entropie Calibré (CES)

Le CES est un algorithme léger qui combine deux statistiques de résumé de la séquence d'entropies :

Entropie moyenne ( $\bar{h}$ ) : Capture la tendance centrale.
Entropie maximale ( $h_{max}$ ) : Capture les anomalies de queue (pics d'incertitude élevée).

Le score est calculé comme la moyenne géométrique des valeurs de la CDF de référence à ces points :
$\text{CES}(h) = \sqrt{\hat{F}_0(\bar{h}) \cdot \hat{F}_0(h_{max})}$
où $\hat{F}_0$ est la CDF empirique estimée hors ligne à partir d'un ensemble de calibration. Une génération est signalée comme une hallucination si le CES dépasse un seuil calibré.

3. Calibration et robustesse

Calibration supervisée : Utilise un oracle (par exemple, un expert humain ou un juge LLM) pour filtrer les données de calibration, construisant $\hat{F}_0$ strictement à partir d'instances fidèles.
Variante non supervisée : Lorsque les étiquettes d'oracle ne sont pas disponibles, la méthode estime $F_0$ directement à partir de tous les échantillons de calibration. L'analyse théorique (Proposition 1) prouve que si le taux de contamination des échantillons hallucinés est faible, la CDF estimée reste robuste.
Garanties théoriques : Les auteurs généralisent l'inégalité de Dvoretzky–Kiefer–Wolfowitz (DKW) aux vecteurs de longueur aléatoire pour fournir des garanties de calibration à échantillon fini. Ils prouvent en outre que les taux de faux positifs et de faux négatifs du test CES décroissent exponentiellement avec la longueur de la génération.

Contributions clés

Distributions d'entropie comme empreintes digitales : L'article fournit des preuves empiriques et théoriques que la forme de la distribution d'entropie des tokens (au-delà de la moyenne) distingue les générations hallucinées des générations fidèles. Une expérience de décalage de moyenne synthétique confirme que les différences de forme persistent même après suppression des décalages de position.
Cadre statistiquement fondé : Le CES formalise la détection comme un test d'hypothèse, séparant la définition de l'hallucination (déléguée à un oracle) du mécanisme de détection. Cela rend la méthode agnostique au modèle spécifique, à la tâche ou à la taxonomie des hallucinations.
Garanties théoriques : Le travail établit une convergence exponentielle des taux d'erreur avec la longueur de la génération et fournit des bornes à échantillon fini via une nouvelle inégalité DKW à longueur aléatoire.
Validation empirique extensive : Le CES a été évalué sur 8 benchmarks de questions-réponses et 10 modèles (couvrant les familles open-source Llama/Falcon/Mistral et les variantes propriétaires GPT-4).

Résultats expérimentaux

Performance : Sur 80 expériences modèle-ensemble de données, le CES (non supervisé) a obtenu un rang moyen de 6,29 parmi 17 méthodes, le plaçant dans le groupe statistique de tête aux côtés de méthodes multi-échantillons complexes comme l'Entropie Linguistique à Noyau (KLE).
Comparaison avec les références :
- Le CES a nettement surpassé les références en passe unique comme la Perplexité et l'Entropie normalisée par la longueur.
- Le CES a obtenu un taux de victoire de 66,8 % dans des comparaisons par paires contre 16 méthodes de référence.
- Fait remarquable, le CES (passe unique, boîte noire) était statistiquement indiscernable des méthodes multi-échantillons nécessitant $K \ge 5$ passes avant, fermant efficacement l'écart entre la détection légère et coûteuse.
Robustesse : La méthode a démontré une résilience à la contamination de la calibration (jusqu'à 50 % de tokens hallucinés dans l'ensemble de référence) et aux étiquettes d'oracle bruitées, les performances restant stables même lorsque 50 % des étiquettes de calibration étaient inversées.
Généralisation API : Le CES s'est transféré avec succès aux modèles accessibles uniquement par API (famille GPT-4) en utilisant uniquement les probabilités log top-k, atteignant des performances comparables à celles des modèles à poids ouverts.

Importance et affirmations

L'article affirme que le CES représente une avancée significative en fournissant des garanties formelles d'erreur (bornes d'erreur de type I et II) que les heuristiques existantes ne possèdent pas, tout en maintenant l'efficacité computationnelle d'une seule passe avant.

Déploiement pratique : En ne nécessitant que l'accès aux logits en boîte noire et une seule passe, le CES convient au déploiement en temps réel et à grande échelle dans des contextes à haut risque où les méthodes multi-passes sont trop coûteuses et les méthodes d'état interne inaccessibles.
Insight théorique : Le travail déplace le paradigme de la vision de l'entropie comme une métrique d'incertitude scalaire vers son traitement comme une empreinte digitale distributionnelle, démontrant que la « queue » de la distribution d'entropie est un signal critique pour l'hallucination.
Limites : Les auteurs reconnaissent que la puissance du CES se dégrade pour les générations très courtes ( $m < 10$ tokens) en raison d'un nombre insuffisant d'échantillons pour les tests distributionnels. De plus, si un modèle est entraîné sur des données incorrectes (hallucination systématique), la distribution d'entropie peut ne pas diverger, rendant le test impuissant. La méthode dépend également de l'accès aux probabilités du token suivant, que certains fournisseurs d'API peuvent restreindre.

En conclusion, l'article soutient que le CES offre les performances de détection les plus fortes réalisables sous des contraintes d'accès minimal, fournissant une alternative rigoureuse et statistiquement fondée aux méthodes heuristiques en passe unique et aux approches multi-échantillons coûteuses en calcul.