💬 NLP

MultiHaluDet: Multilingual Hallucination Detection via LLM Hidden State Probing

MultiHaluDet est un cadre novateur, agnostique à la langue et en trois étapes, qui détecte les hallucinations multilingues dans les grands modèles de langage figés en sondant les trajectoires complètes des états cachés avec une architecture d'attention hybride, atteignant des performances de pointe et une généralisation interlinguale robuste à travers les langues à ressources élevées, moyennes et faibles sans nécessiter de fine-tuning spécifique à la langue.

Auteurs originaux : Riasad Alvi, Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Riasad Alvi, Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un robot très intelligent et multilingue (un Modèle de Langage, ou LLM) qui adore raconter des histoires et répondre à des questions. Parfois, ce robot devient confiant mais invente complètement des choses. Ces faits inventés sont appelés des hallucinations.

L'article présente un nouvel outil appelé MULTIHALUDET (Détection d'Hallucinations Multilingue). Ne le voyez pas comme un vérificateur de faits qui cherche la réponse sur Google, mais plutôt comme un détecteur de mensonge qui écoute le battement de cœur du robot.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Pourquoi les anciennes méthodes échouent

Les anciennes façons de repérer les mensonges consistaient à demander au robot : « En êtes-vous sûr ? »

Le Piège de la Confiance : Si le robot dit : « Je suis sûr à 100 % », les anciennes méthodes pensaient qu'il disait la vérité. Mais l'article montre que le robot peut être confiant tout en ayant tort. C'est comme un menteur à l'aise qui est très convaincant.
Le Piège de la Vérification Unique : D'autres méthodes ne regardaient qu'une seule partie du cerveau du robot (une seule couche) ou seulement le dernier mot qu'il a prononcé. L'article soutient que les mensonges se cachent souvent dans le parcours du processus de pensée, et non seulement à la destination.

2. La Solution : Écouter les « Ondes Cérébrales »

MULTIHALUDET ne demande pas au robot ce qu'il pense. Au lieu de cela, il sonde les « états cachés » internes du robot pendant qu'il réfléchit.

L'Analogie : Imaginez que le robot écrit une histoire.
- Ancienne Méthode : Lit la phrase finale pour voir si elle a du sens.
- MULTIHALUDET : Observe la main du robot pendant qu'il écrit chaque lettre, sentant la pression, la vitesse et l'hésitation à chaque étape. Il cherche des « tremblements » dans le processus d'écriture qui signalent un mensonge, même si la phrase finale semble parfaite.

3. Comment cela fonctionne (Les Quatre Étapes)

Le système agit comme une agence de détectives en quatre étapes :

Le Scan (Extraction de Caractéristiques) : Le robot répond à une question. Le système fige le robot (ne modifie pas son cerveau) et enregistre une « vidéo » de ses pensées internes alors qu'il se déplace de la première couche de son cerveau à la dernière.
La Loupe (Attention Multi-échelle) : Le système ne regarde pas seulement la vidéo entière ou une seule image. Il utilise une « loupe » pour examiner la vue d'ensemble et les détails minuscules simultanément. Il cherche des changements soudains ou des motifs étranges dans l'évolution des pensées du robot.
La Réunion d'Équipe (Apprenant Métas Ensemble) : Au lieu qu'un seul détective prenne la décision, le système utilise une équipe d'experts différents (comme un détective basé sur des arbres, un détective basé sur les mathématiques et un détective basé sur un réseau de neurones). Ils votent tous pour déterminer si le robot ment.
Le Filet de Sécurité (Empilement Hors-Ensemble) : Pour s'assurer que l'équipe ne triche pas en mémorisant les réponses, ils s'entraînent d'une manière où ils ne voient jamais les questions de test pendant l'entraînement. Cela garantit qu'ils apprennent réellement à repérer les mensonges, et non à mémoriser simplement des faits.

4. Le Superpouvoir Multilingue

La plupart des détecteurs de mensonges ne fonctionnent bien qu'en anglais. MULTIHALUDET est spécial car il fonctionne en français, bengali et amharique (une langue avec très peu de ressources numériques) sans avoir besoin d'être réentraîné pour chaque langue.

Le Résultat : Il fonctionne presque aussi bien en français qu'en anglais. En bengali et en amharique, il fait toujours un excellent travail, bien mieux que toute méthode précédente, même si le robot n'est pas aussi « fluide » dans ces langues. Cela prouve que les « tremblements » d'un mensonge ressemblent dans le cerveau du robot, quelle que soit la langue qu'il parle.

5. Les Résultats

L'article a testé cela sur deux grands ensembles de questions (HaluEval et TriviaQA).

Le Score : Alors que les meilleures méthodes précédentes obtenaient environ 95 % de bonnes réponses, MULTIHALUDET a atteint 98,5 %.
La Robustesse : Il a fonctionné aussi bien sur deux types différents de cerveaux de robots (Mistral-7B et LLaMA2-7B), prouvant qu'il n'est pas juste chanceux avec un modèle spécifique.

6. L'Accroc (Limites)

L'article est honnête sur ce qu'il ne peut pas faire :

Boîte Blanche Uniquement : Vous devez pouvoir voir à l'intérieur du cerveau du robot pour utiliser cela. Vous ne pouvez pas l'utiliser sur des robots fermés et secrets (comme GPT-4) où vous ne pouvez pas voir le « battement de cœur » interne.
Travail Lourds : Il nécessite que le robot effectue un « passage avant » complet (réfléchir à toute la réponse) et enregistre toutes les données, ce qui utilise plus de mémoire informatique que de simplement demander « En êtes-vous sûr ? ».

Résumé

MULTIHALUDET est un stéthoscope haute technologie pour l'IA. Au lieu de faire confiance à ce que l'IA dit, il écoute comment l'IA pense. En analysant les motifs subtils et complexes des pensées internes du robot à travers de nombreuses langues, il peut repérer quand le robot invente des choses avec une précision incroyable.

Résumé Technique : MULTIHALUDET

Énoncé du Problème

Les hallucinations dans les grands modèles de langage (LLM) constituent un obstacle critique à leur déploiement fiable, en particulier dans les contextes non anglophones et à ressources limitées. Les méthodes de détection existantes présentent des limitations significatives :

Les méthodes basées sur des preuves dépendent de la récupération externe, introduisant une latence computationnelle et une dépendance à la qualité de la récupération.
Les heuristiques basées sur la confiance (par exemple, les probabilités de logit, l'entropie) échouent souvent à capturer les incohérences factuelles profondes, car les hallucinations peuvent se manifester sous forme de confabulations au niveau sémantique, même lorsque le modèle affiche une haute confiance de sortie.
Les méthodes de sondage de l'état interne se concentrent souvent sur des tokens uniques ou des couches spécifiques, peinant lorsque les tokens non factuels sont distribués à travers les séquences ou lorsque les modèles varient en profondeur. De plus, ces méthodes manquent fréquemment de robustesse à travers des langues typologiquement diverses sans un ajustement fin spécifique à la langue.

Méthodologie : MULTIHALUDET

Les auteurs proposent MULTIHALUDET, un cadre supervisé en quatre étapes conçu pour détecter les hallucinations multilingues en sondant les trajectoires complètes des états cachés de LLMs figés. Le cadre fonctionne sans nécessiter d'ajustement fin spécifique à la langue.

1. Extraction de Caractéristiques par LLM

Le processus commence par le passage de prompts structurés à travers un LLM figé et quantifié pour extraire les tenseurs d'état caché $\{H^{(l)}\}_{l=0}^L$ .

Échantillonnage Dynamique des Couches : Pour assurer la compatibilité entre des modèles de profondeurs variables ( $L$ ), une stratégie d'échantillonnage dynamique mappe les couches vers un nombre cible fixe ( $K=32$ ). Cela implique une mise en correspondance d'identité pour les modèles peu profonds, une répétition pour le remplissage, et une interpolation uniforme pour les modèles profonds.
Caractéristiques Séquentielles par Couche : Pour chaque couche échantillonnée, le cadre extrait des descripteurs compacts à partir de la représentation du dernier token et de la moyenne de la séquence. Ces descripteurs incluent des statistiques de distribution (par exemple, norme $\ell_2$ , moyenne, écart-type, parcimonie, kurtosis et Déviation Absolue Médiane) pour capturer l'évolution des dynamiques internes.
Sondage de Profondeur Basé sur des Ancres : Pour permettre une comparaison inter-architecture, les caractéristiques sont extraites de quatre couches « ancre » correspondant à des fractions de profondeur proportionnelles (stades précoce, intermédiaire, tardif), assurant une représentation sémantique cohérente indépendamment de la profondeur totale du modèle.
Vecteur de Caractéristiques Global : Un vecteur global agrège les probabilités du prochain token, les statistiques de logit, les trajectoires de norme par couche, et les termes d'interaction inter-caractéristiques entre la confiance de sortie et la géométrie interne.

2. Architecture MultiHaluDet

Les caractéristiques extraites sont traitées par une architecture d'apprentissage profond :

Attention Multi-échelle : L'entrée séquentielle est projetée et traitée à plusieurs résolutions temporelles. Une porte apprise position par position combine les contributions de différentes échelles, enrichissant les informations de couche fines avec un contexte multi-échelle.
Encodeur Transformer Pondéré par Couche : Un vecteur d'importance apprenable module la séquence fusionnée avant qu'elle ne soit encodée par une pile de couches Transformer Pre-LN. Cela permet au modèle de se concentrer sur des profondeurs spécifiques de LLM et de capturer les dépendances inter-couches à longue portée.
Regroupement par Auto-Attention : Au lieu d'un regroupement moyen, un mécanisme d'attention appris attribue des scores de pertinence à chaque position, permettant une sélection de profondeur adaptative à l'entrée pour se concentrer sur les couches les plus informatives.
Fusion par Porte : La représentation séquentielle est concaténée avec le vecteur de caractéristiques global. Une porte sigmoïde effectue un rééquilibrage élément par élément pour supprimer les dimensions non informatives avant de transmettre le résultat à un classifieur.

3. Empilement Hors-Pli (OOF)

Pour prévenir les fuites de données et obtenir des représentations profondes non biaisées, le cadre emploie un empilement OOF en K plis. Une instance fraîche du modèle est entraînée sur $K-1$ plis pour générer des représentations de fusion par porte pour le pli retenu. Ces caractéristiques OOF forment une matrice d'entraînement robuste pour le méta-apprenant.

4. Méta-Apprenant d'Ensemble

Les caractéristiques profondes OOF servent d'entrée à un ensemble diversifié de classifieurs (Arbres de Gradient Boosted, Forêts Aléatoires, SVM, MLP, Régression Logistique). Un méta-régresseur logistique empile les estimations de probabilité de ces apprenants de base, adaptant la composition de l'ensemble à la force discriminative de chaque composant.

5. Adaptation Multilingue

Pour évaluer la généralisation inter-langue, les jeux de données anglais (HaluEval et TriviaQA) ont été traduits en français (ressources élevées), en bengali (ressources moyennes) et en amharique (ressources faibles) en utilisant Gemini 2.5 Flash. Une évaluation humaine rigoureuse et une traduction inverse ont assuré l'intégrité sémantique. Le LLM figé traite ces entrées nativement dans leurs espaces de tokens respectifs, permettant au détecteur de sonder des signaux d'hallucination agnostiques à la langue.

Contributions Clés

Conception du Cadre : Introduction de MULTIHALUDET, un cadre en quatre étapes combinant l'extraction dynamique de caractéristiques, l'attention multi-échelle, la génération de caractéristiques profondes OOF et l'apprentissage de méta-ensemble appris pour capturer à la fois les motifs fins et grossiers d'incohérence factuelle.
Gains de Performance : Démonstration de performances de détection de pointe sur les benchmarks HaluEval et TriviaQA utilisant Mistral-7B et LLaMA2-7B, atteignant jusqu'à 98,55 % d'AUROC.
Généralisation Inter-Lingue : Évaluation complète montrant que le cadre maintient des signaux de détection forts à travers des niveaux linguistiques typologiquement divers (français, bengali, amharique) sans ajustement fin spécifique à la langue.

Résultats

Performance sur les Benchmarks : MULTIHALUDET surpasse significativement 13 lignes de base, y compris les méthodes basées sur la confiance (P(True), AvgProb), les méthodes basées sur la cohérence (INSIDE, Unigram) et d'autres approches de sondage (SAPLMA, MIND, Neural ODEs/CDEs/SDEs).
- Sur HaluEval avec LLaMA2-7B, il a atteint 98,55 % d'AUROC, comparé à la prochaine meilleure ligne de base (Neural CDEs) à 92,8 %.
- Sur TriviaQA avec LLaMA2-7B, il a atteint 98,26 % d'AUROC, comparé à 83,7 % pour la suivante.
Robustesse Inter-Architecture : Contrairement aux lignes de base qui subissent des baisses de performance lors du passage de Mistral-7B à LLaMA2-7B, MULTIHALUDET a maintenu une efficacité quasi identique à travers les architectures.
Robustesse Inter-Lingue :
- Français : La performance est restée élevée (96,2 % sur HaluEval), ne traînant les lignes de base anglaises que marginalement.
- Bengali : A montré une dégradation contrôlée (89,1 % sur HaluEval) mais a significativement surpassé les lignes de base (78,4 %).
- Amharique : Malgré le fait d'être une langue à ressources faibles où les modèles de base peinent avec le rappel factuel, MULTIHALUDET a atteint 78,5 % sur HaluEval, maintenant un avantage robuste par rapport au hasard et aux lignes de base de confiance standard.
Études d'Ablation : La suppression du mécanisme d'empilement OOF a causé la baisse de performance la plus sévère (~~10 %), suivie par la suppression de l'Attention Multi-échelle (~~7 %). Le remplacement du sondage de trajectoire par une représentation statique de la dernière couche a entraîné une baisse d'environ 5 %, confirmant la nécessité d'analyser l'évolution complète de l'état caché.

Importance et Limites

L'article affirme que MULTIHALUDET démontre que le sondage de l'état interne peut détecter efficacement les hallucinations à travers des langues et des architectures de modèles diverses sans ajustement fin. Il aborde la limitation des méthodes actuelles qui échouent à capturer les confabulations au niveau sémantique dans les contextes non anglophones.

Cependant, les auteurs reconnaissent des limites spécifiques :

Exigence de Boîte Blanche : Le cadre nécessite l'accès aux états cachés internes et aux logits, le rendant inapplicable aux modèles propriétaires en boîte noire (par exemple, GPT-4, Claude).
Surcharge Computationnelle : Bien qu'il évite l'ajustement fin, l'extraction et le traitement des états cachés de pleine profondeur entraînent une surcharge mémoire non négligeable et nécessitent des passes avant complètes.
Artéfacts de Traduction : L'évaluation multilingue repose sur des jeux de données traduits. Bien que l'assurance qualité ait été rigoureuse, des prompts natifs et naturellement occurring dans les langues à ressources faibles pourraient révéler des nuances non entièrement capturées par les benchmarks traduits.