📊 statistics

MMD-Flagger: Leveraging Maximum Mean Discrepancy to Detect Hallucinations

Le document présente MMD-Flagger, une méthode de détection des hallucinations au moment de l'inférence pour les grands modèles de langage qui exploite la divergence de moyenne maximale (Maximum Mean Discrepancy) pour analyser la stabilité des sorties à travers diverses températures de décodage, permettant ainsi une identification fiable des erreurs factuelles sans étiquettes de vérité terrain.

Auteurs originaux : Kensuke Mitsuzawa, Damien Garreau

Publié 2026-08-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kensuke Mitsuzawa, Damien Garreau

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle en évolution rapide, les grands modèles de langage sont devenus des outils puissants capables de générer du texte semblable à celui de l'humain, de répondre à des questions complexes et même d'assister la prise de décision autonome. Cependant, ces systèmes possèdent un défaut persistant : ils produisent parfois des affirmations qui semblent fluides et assurées mais qui sont entièrement erronées sur le plan des faits. Ce phénomène, connu sous le nom d'hallucination, pose un risque important pour la sécurité, en particulier lorsque ces modèles sont déployés dans des domaines critiques comme le droit, la médecine ou la conduite autonome, où une seule erreur pourrait entraîner des conséquences désastreuses. Le défi central pour les chercheurs est de savoir comment détecter ces erreurs en temps réel sans avoir accès à une clé de réponse « étalon ». Puisque ces modèles fonctionnent sans vérification externe lors de l'utilisation en direct, les scientifiques doivent trouver un moyen d'évaluer la fiabilité d'une réponse en se basant uniquement sur le propre comportement du modèle. La clé réside dans la compréhension de la façon dont le modèle réagit à de légers changements de ses paramètres internes ; si un modèle est véritablement confiant et ancré dans les faits, ses réponses doivent rester cohérentes même lorsque les conditions de sa génération changent légèrement. Si, en revanche, la réponse est une fabrication, la sortie du modèle a tendance à devenir instable et erratique sous ces mêmes changements.

S'appuyant sur ce principe, une équipe de chercheurs français et allemands a développé une nouvelle méthode appelée MMD-Flagger pour détecter ces hallucinations. Leur approche ne repose pas sur la vérification des faits par rapport à une base de données ou sur l'entraînement d'un nouveau modèle pour repérer les erreurs. Au lieu de cela, elle agit comme un moniteur de stabilité qui observe comment la sortie d'un modèle de langage change lorsque la température de son processus de génération est ajustée. Dans le contexte de ces modèles, la « température » est un paramètre qui contrôle la quantité de hasard introduite lors du choix du mot suivant par le modèle. Une température basse rend le modèle très prévisible et répétitif, tandis qu'une température élevée permet des réponses plus créatives et variées. Les chercheurs ont émis l'hypothèse qu'une réponse véridique resterait relativement stable à travers ces différents réglages, alors qu'une réponse hallucinée vacillerait et changerait de forme de manière spectaculaire à mesure que la température varie.

Pour tester cette idée, les chercheurs ont créé un système qui génère plusieurs versions d'une réponse pour une même question, en utilisant à chaque fois un réglage de température différent. Ils ont ensuite comparé la réponse originale à ces versions variées en utilisant un outil statistique appelé Maximum Mean Discrepancy (Discrépance Moyenne Maximale). Cet outil mesure à quel point deux groupes de données sont différents les uns des autres. En traçant ces différences à travers une gamme de températures, le système crée un chemin visuel, ou trajectoire. Les chercheurs ont découvert que lorsque le modèle dit la vérité, ce chemin est lisse et prévisible, augmentant souvent régulièrement à mesure que le hasard augmente. Cependant, lorsque le modèle hallucine, le chemin prend une forme en U distincte et abrupte. Ce creux au milieu de la courbe sert de signal clair indiquant que le modèle peine à maintenir un sens cohérent, signalant ainsi la réponse comme non fiable.

L'équipe a évalué cette méthode en utilisant des modèles de langage modernes, notamment les familles Llama-3 et Gemma-3, sur un ensemble de données de référence conçu pour tester l'exactitude factuelle dans plusieurs langues. Ils ont comparé leur nouvelle méthode à plusieurs techniques existantes qui reposent sur la similitude textuelle ou les états internes du modèle. Les résultats ont montré que l'efficacité de la détection des hallucinations dépend fortement de l'architecture spécifique du modèle ; alors que MMD-Flagger (Ensemble) a obtenu les meilleures performances sur Llama-3.1-8B et Gemma-3-4B, d'autres estimateurs ont été plus performants sur Lthe Llama-3.2-3B. Le système s'est avéré assez flexible pour fonctionner avec divers types de données extraites du modèle, tels que la signification brute des mots ou les couches cachées du réseau neuronal. Dans un cas de test spécifique concernant une question sur un chat dans une émission de télévision, le système a identifié avec succès une réponse hallucinée que d'autres méthodes avaient manquée, captant le moment où la sortie du modèle commençait à dériver vers l'absurde à mesure que la température changeait. Inversement, dans une autre étude de cas concernant un groupe de musique de Glasgow, l'analyse a révélé un scénario où MMD-Flagger n'a pas réussi à détecter une hallucination qu'une autre méthode (KLE) avait correctement identifiée, soulignant que la trajectoire de la sortie du modèle peut parfois rester trompeuse et fluide même lorsque le contenu est incorrect.

Malgré ces résultats prometteurs, les chercheurs reconnaissent que la méthode présente des limites. Parce qu'elle nécessite de générer de nombreuses variations d'une réponse pour construire un profil de stabilité fiable, elle peut être coûteuse en termes de calcul et plus lente que le simple fait de demander une réponse au modèle une seule fois. Cela la rend moins idéale pour les applications exigeant des réponses instantanées, bien qu'elle demeure un outil puissant pour les systèmes critiques où la précision est primordiale. L'étude suggère qu'en surveillant la stabilité de la sortie d'un modèle à travers différentes conditions, nous pouvons construire une couche de surveillance plus fiable pour l'intelligence artificielle. Cette approche offre un moyen d'auditer la fiabilité des agents autonomes sans avoir besoin de connaître la réponse correcte à l'avance, constituant une étape cruciale vers des systèmes d'IA plus sûrs et plus fiables.

Résumé Technique : MMD-Flagger

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des systèmes agentiques critiques pour la sécurité, pourtant leur propension à générer des hallucinations — un contenu fluide mais factuellement incorrect — demeure un obstacle significatif à la confiance. Dans les agents autonomes, une seule étape hallucinée dans un processus de décision séquentiel peut mener à des échecs catastrophiques. Un défi critique pour atténuer ce risque est la détection de ces erreurs factuelles au moment du test sans accès à des étiquettes de vérité terrain ou à des bases de connaissances externes. Bien que les méthodes existantes de quantification de l'incertitude (UQ) basées sur la cohérence comparent plusieurs séquences de sortie, elles sont souvent limitées aux similitudes sémantiques au niveau des jetons et ignorent les représentations internes du modèle. Inversement, les méthodes utilisant les états internes nécessitent fréquemment un entraînement supervisé ou dépendent d'architectures de modèles spécifiques, ce qui limite leur généralisabilité et leur flexibilité de déploiement.

Méthodologie

Les auteurs proposent MMD-Flagger, un cadre non supervisé et sans entraînement pour la détection d'hallucinations qui exploite la Discrépance de Moyenne Maximale (MMD) pour surveiller la stabilité des sorties des LLM à travers diverses températures de décodage.

Hypothèse Centrale

La méthode repose sur le postulat que les générations fidèles des LLM présentent une cohérence sémantique à travers différents chemins de décodage, tandis que les générations hallucinées sont hautement sensibles aux configurations de décodage, résultant en des significations sémantiques instables et incohérentes. Plus précisément, les auteurs émettent l'hypothèse qu'une incertitude élevée (hallucination) se manifeste par une trajectoire MMD en forme de U, caractérisée par une chute abrupte et non monotone, alors que les sorties fidèles affichent une croissance stable et monotone des valeurs MMD.

Cadre Algorithmique

Échantillonnage Stochastique : Pour un prompt $x$ donné et une hypothèse de génération cible $h_{hyp}$ (produite sous une stratégie de décodage spécifique $\theta_{hyp}$ ), la méthode génère un ensemble d'échantillons stochastiques $S_{sto}^{\tau}$ à travers une plage de températures de décodage $\tau \in \mathcal{T}$ .
Représentation de Caractéristiques : La méthode est agnostique à l'espace de caractéristiques, capable d'utiliser diverses représentations telles que les plongements de mots (embeddings), les états cachés (dernier jeton ou moyenne), les cartes d'attention ou les caractéristiques spectrales (valeurs propres des Laplaciens).
Construction de la Trajectoire MMD : La distance MMD au carré est calculée entre l'ensemble d'hypothèses $S_{hyp}$ et les ensembles d'échantillons stochastiques $S_{sto}^{\tau}$ pour chaque température. Cela crée une trajectoire $D(\theta_{hyp})$ représentant la distance distributionnelle en fonction de la température.
Score d'Incertitude : Le score d'incertitude $\delta$ est dérivé de la non-monotonie de cette trajectoire. L'algorithme identifie la valeur MMD minimale et calcule la différence absolue entre ce minimum et les maximums locaux aux températures précédente et suivante les plus proches ( $\delta_{prev}$ et $\delta_{post}$ ). Le score final est la somme : $\delta = \delta_{prev} + \delta_{post}$ . Une forme en U plus profonde et plus aiguë produit un score d'incertitude plus élevé.
Stratégie d'Ensemble : Pour exploiter des informations complémentaires à travers plusieurs domaines de caractéristiques, une version en ensemble agrège les scores des domaines actifs (filtrés par variance de trajectoire) en utilisant une combinaison pondérée du coefficient de variation (CV) et d'heuristiques basées sur l'entropie.

Contributions Clés

Détection Non Supervisée et Sans Entraînement : MMD-Flagger introduit un cadre qui ne nécessite aucun entraînement supervisé ni étiquette de vérité terrain, ce qui le rend adapté aux scénarios de déploiement en direct.
Agnosticisme des Caractéristiques : Contrairement aux méthodes restreintes aux embeddings textuels ou à des couches spécifiques, MMD-Flagger peut auditer la stabilité à travers divers espaces de caractéristiques, incluant les états cachés internes et les mécanismes d'attention.
Indicateur Basé sur la Trajectoire : Le papier identifie la "forme en U" caractéristique dans les trajectoires MMD comme une signature spécifique de l'hallucination, la distinguant du comportement monotone des générations fidèles.
Évaluation Approfondie : La méthode est évaluée sur le benchmark multilingue MUCH (Multilingual Claim Hallucination) en utilisant des familles de modèles modernes (Llama-3.1, Llama-3.2, et Gemma-3).

Résultats Empiriques

L'évaluation sur le jeu de données MUCH révèle les points suivants :

Dépendance au Modèle : L'estimateur de détection d'hallucination optimal est fortement dépendant de l'architecture spécifique du LLM.
Performance : MMD-Flagger (Ensemble) a obtenu les meilleurs scores ROC-AUC sur Llama-3.1-8B et Gemma-3-4B. Sur Llama-3.2-3B, une configuration de caractéristiques unique a surpassé l'ensemble, suggérant que différentes architectures peuvent bénéficier de stratégies de sélection de caractéristiques ou d'ensembles distinctes.
Comparaison : La méthode a généralement surpassé ou est restée compétitive par rapport aux bases de référence "boîte noire" (KLE, LexSim, Ecc) et "boîte blanche" (EigenScore, LapEigvals) à travers divers types de caractéristiques.
Limites : Dans une évaluation secondaire sur le jeu de données TriviaQA, MMD-Flagger a été moins performant que le Kernel Language Entropy (KLE), indiquant que l'efficacité de la méthode peut varier selon les caractéristiques du jeu de données et la nature des hallucinations (par exemple, divergence monotone vs dynamique de point de selle).

Signification et Revendications

Les auteurs affirment que MMD-Flagger fournit un mécanisme robuste et flexible pour auditer les sorties d'agents au moment du test sans dépendre de références externes. En utilisant la Discrépance de Moyenne Maximale pour suivre la stabilité des représentations internes et externes à travers les températures de décodage, la méthode offre une approche non paramétrique de la quantification de l'incertitude. Le papier positionne ce travail comme une étape vers la construction d'agents autonomes dignes de confiance en permettant la détection des hallucinations par l'instabilité intrinsèque du processus de génération lui-même. Les auteurs reconnaissent que, bien que prometteuse, la méthode nécessite plusieurs générations stochastiques par prompt, ce qui présente un surcoût computationnel pour les applications en temps réel, et les travaux futurs se concentreront sur la réduction de ce coût d'échantillonnage.