💬 NLP

Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

Cet article propose une taxonomie géométrique des hallucinations des grands modèles de langage, identifiant trois types distincts basés sur la structure des clusters d'embeddings et validant des statistiques géométriques mesurables à travers une analyse comparative de onze modèles encodeurs et décodeurs.

Auteurs originaux : Matic Korun

Publié 2026-02-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matic Korun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que les grands modèles de langage (comme ceux qui génèrent du texte) soient comme des cartes géographiques immenses et invisibles. Sur cette carte, chaque mot est un lieu. Les mots qui se ressemblent (comme "chien" et "chat") sont regroupés dans les mêmes quartiers, formant des "villes" ou des clusters.

Ce papier de recherche propose une nouvelle façon de détecter quand une intelligence artificielle "hallucine" (c'est-à-dire qu'elle invente des choses fausses avec une grande confiance). Au lieu de simplement vérifier si la phrase a du sens, les auteurs regardent où le mot se trouve sur cette carte invisible et comment il s'y déplace.

Voici l'explication simplifiée de leurs découvertes, avec quelques analogies pour mieux comprendre :

1. La Carte des Mots : Une Ville Organisée

Les chercheurs ont découvert que l'espace mental de ces IA n'est pas un chaos. C'est une ville bien structurée :

Il y a des quartiers (clusters) pour les sujets similaires.
Il y a des centres-villes (le centre de la carte) où l'on trouve les mots très courants et génériques (comme "chose", "faire", "dire").
Il y a des banlieues lointaines pour les mots rares et précis.

2. Les Trois Types d'Hallucinations (Les Trois Accidents)

L'auteur classe les erreurs de l'IA en trois catégories, selon la "géographie" de l'erreur :

Type 1 : La Dérive vers le Centre (Le "Brouillard")
- L'analogie : Imaginez un touriste perdu qui, ne sachant pas où aller, finit par s'asseoir sur un banc au centre de la ville, juste parce que c'est le point de repère le plus évident.
- Ce qui se passe : Quand la question est floue, l'IA panique et se dirige vers le centre de la carte. Elle produit des phrases qui sont grammaticalement correctes mais vides de sens, pleines de mots génériques. C'est une hallucination "confiante mais vague".
Type 2 : La Convergence vers le Mauvais Quartier (Le "Voyageur Confiant")
- L'analogie : C'est le cas le plus dangereux. Imaginez quelqu'un qui veut aller à la plage, mais qui, avec une confiance absolue, se dirige vers une forêt dense. Il est très sûr de lui, il a une carte, mais il est dans le mauvais quartier.
- Ce qui se passe : L'IA trouve un quartier très cohérent (par exemple, un quartier "médical"), mais c'est le mauvais pour le contexte. Elle invente des détails très précis et plausibles, mais totalement faux. C'est l'hallucination "confabulation".
Type 3 : Le Trou dans la Carte (Le "Désert")
- L'analogie : L'IA demande à un touriste d'aller dans un endroit qui n'existe pas sur la carte. Le touriste se retrouve dans le vide, sans repères, et commence à dire n'importe quoi.
- Ce qui se passe : La question demande une combinaison de mots que l'IA n'a jamais vue. Elle atterrit dans une zone vide de la carte, sans aucun "quartier" autour. Le résultat est erratique, bizarre ou incompréhensible.

3. Les Outils de Détection (Les Thermomètres Géométriques)

Pour repérer ces erreurs, les chercheurs ont inventé trois mesures simples, comme des thermomètres pour la carte :

Le Thermomètre de la Polarité (α) : Vérifie si les mots opposés (comme "chaud" et "froid") sont bien dans le même quartier mais sur des côtés opposés. C'est comme vérifier si la ville a des rues bien définies. Résultat : Ça marche pour toutes les IA testées !
Le Thermomètre de la Cohésion (β) : Vérifie si les mots d'un quartier sont vraiment proches les uns des autres. Résultat : Oui, les quartiers sont réels, pas des illusions.
Le Thermomètre de la Distance (λr) : C'est le plus important. Il mesure la relation entre la "distance" d'un mot par rapport au centre et sa "rareté".
- Normalement, les mots rares sont loin du centre, et les mots communs sont proches.
- La découverte surprise : Deux modèles très compacts (ALBERT et MiniLM) ont une carte bizarre. Leur "thermomètre" ne fonctionne pas bien. Ils ont compressé la carte au point que les distances ne veulent plus rien dire.

4. Pourquoi c'est important ?

Cette recherche nous dit deux choses cruciales :

On peut prédire les faiblesses : Si vous utilisez un modèle très petit ou très compressé (comme MiniLM), il sera plus susceptible de faire des erreurs de type 1 (le "brouillard" au centre) parce que sa carte est trop écrasée.
Une nouvelle méthode de détection : Au lieu de lire le texte pour voir s'il est faux, on peut regarder la "position géométrique" du mot dans l'ordinateur. Si le mot est dans le "brouillard" (Type 1) ou dans un "quartier incohérent" (Type 2), on peut alerter l'utilisateur avant même qu'il ne finisse de lire.

En résumé :
Les auteurs nous disent que les hallucinations ne sont pas juste des "bugs" aléatoires. Ce sont des accidents géographiques prévisibles. En cartographiant la "ville" intérieure de l'IA, on peut repérer où elle risque de se perdre et l'empêcher de nous raconter des histoires inventées. C'est comme installer un GPS qui détecte non seulement si vous êtes perdu, mais pourquoi vous êtes perdu (brouillard, mauvais quartier, ou désert).

1. Problématique

Les grands modèles de langage (LLM) souffrent d'hallucinations : ils génèrent du texte fluide et confiant, mais factuellement erroné. Les méthodes actuelles de détection reposent principalement sur l'analyse des sorties du modèle (vérification de la cohérence, calibration des logit, augmentation par récupération). L'article identifie une limite fondamentale de ces approches : elles ne s'intéressent pas à la structure géométrique interne qui produit ces sorties.

L'auteur postule que les espaces d'incorporation (embeddings) des transformateurs ne sont pas homogènes mais possèdent une structure de clusters sémantiques. Différents types d'échecs de génération (hallucinations) correspondent à des relations géométriques spécifiques entre l'embedding d'un token et cette structure de clusters. L'objectif est de classifier ces échecs et de définir des signatures géométriques mesurables pour les détecter.

2. Méthodologie

A. Taxonomie Géométrique des Hallucinations

L'auteur propose une taxonomie en trois types basée sur la géométrie des clusters d'embeddings :

Type 1 (Dérive vers le centre - Center-drift) : Se produit sous un contexte faible ou ambigu. Le modèle génère des tokens génériques et fréquents proches du centroïde de l'espace d'embedding.
- Signature : Faible appartenance au cluster, norme d'embedding faible.
Type 2 (Convergence vers un mauvais puits - Wrong-well convergence) : Le modèle se fixe avec confiance sur une région de cluster localement cohérente mais contextuellement incorrecte (confabulation).
- Signature : Forte appartenance locale au cluster, mais discontinuités de trajectoire dans la séquence de génération.
Type 3 (Fossé de couverture - Coverage gap) : La requête nécessite des combinaisons sémantiques absentes de l'entraînement, atterrissant dans des zones sans structure de cluster.
- Signature : Faible appartenance à tous les clusters, forte variance de similarité locale.

B. Statistiques Géométriques Proposées

Pour valider les prérequis géométriques de cette taxonomie, trois statistiques sont introduites et calculées sur 11 modèles (encodeurs et décodeurs) :

$\alpha$ (Couplage de polarité) : Mesure la force des axes de polarité (ex: antonymes) au sein des clusters.
$\beta$ (Cohésion du cluster) : Mesure si les tokens d'un cluster sont plus proches de leur propre centroïde que de la moyenne des autres centroïdes (confirmant que les clusters sont réels et non des artefacts).
$\lambda_r$ (Gradient d'information radiale) : Coefficient quadratique décrivant la relation non linéaire entre la norme de l'embedding et l'information propre (self-information) du token. Il quantifie comment la densité d'information varie avec la distance à l'origine.

C. Expérimentation

L'étude analyse les espaces d'embeddings statiques de 11 modèles transformateurs (BERT, RoBERTa, ELECTRA, DeBERTa, ALBERT, MiniLM, DistilBERT, GPT-2) couvrant 7 familles d'architectures et deux paradigmes (encodeur/décodeur). Les embeddings sont filtrés (mots entiers) et soumis à un clustering K-means ( $k=40$ ).

3. Résultats Clés

A. Validation des Statistiques

Universalité de la structure : La structure de polarité ( $\alpha > 0.5$ ) et la cohésion des clusters ( $\beta > 0$ ) sont universelles (observées dans 11/11 modèles).
Gradient radial : Le gradient d'information radiale ( $\lambda_r$ $λ_{r}$ ) est statistiquement significatif ( $p < 0.05$ $p < 0.05$ ) dans 9 modèles sur 11.
- La plupart des modèles montrent un $\lambda_r$ négatif (profil concave), indiquant que l'information augmente avec la norme mais à un taux décroissant.
- Deux modèles (DeBERTa, RoBERTa-large) montrent un $\lambda_r$ positif, suggérant une organisation radiale différente.

B. Anomalies Architecturales

Deux modèles échouent à la significativité de $\lambda_r$ pour des raisons architecturales explicables :

ALBERT : Utilise des embeddings factorisés (compression dimensionnelle). L'espace est saturé (82% de la dimensionnalité utilisée), ce qui comprime les tokens dans une bande radiale étroite, effaçant le gradient.
MiniLM : Modèle distillé agressivement. Il présente une isotropie extrême (les vecteurs sont uniformément répartis), ce qui inverse le profil radial ( $\lambda_r > 0$ ) et efface la structure radiale tout en préservant la structure angulaire.

C. Architecture de Détection

L'article propose un système de détection en trois niveaux (tiers) :

Niveau 1 : Filtrage par appartenance au cluster et norme (détecte le Type 1).
Niveau 2 : Analyse de la trajectoire des clusters pour détecter les sauts abrupts (détecte le Type 2).
Niveau 3 : Analyse de densité locale pour identifier les zones vides (détecte le Type 3).
Les seuils de détection doivent être calibrés spécifiquement pour chaque modèle (ex: percentiles de la norme et de l'appartenance).

4. Contributions Principales

Taxonomie Opérationnelle : Une classification des hallucinations basée sur la géométrie des embeddings avec des critères de détection distincts et testables.
Nouvelles Métriques : Introduction et validation de trois diagnostics d'espace d'embedding ( $\alpha, \beta, \lambda_r$ ) à travers 11 modèles.
Indépendance vs Dépendance Architecturale : Démonstration que les propriétés géométriques de base sont universelles, mais que leurs signatures quantitatives dépendent de l'architecture (ex: compression, distillation).
Prédictions Testables : Hypothèse que les modèles à espaces compressés (ALBERT) ou isotropes (MiniLM) sont plus vulnérables aux hallucinations de Type 1 (dérive vers le centre) car leur signal d'alerte radial est dégradé.

5. Signification et Implications

Ce travail déplace le paradigme de la détection des hallucinations de l'analyse post-hoc des sorties vers l'analyse prédictive de la structure interne du modèle.

Compréhension des échecs : Il permet de distinguer comment un modèle échoue (vague, confabulation précise, ou nonsense) plutôt que de simplement dire qu'il échoue.
Robustesse Architecturale : Il révèle que certaines optimisations architecturales (distillation, factorisation) peuvent créer des "angles morts" spécifiques pour la détection d'hallucinations (notamment le Type 1).
Futur : La méthode ouvre la voie à des systèmes de détection plus précis, calibrés sur la géométrie spécifique du modèle utilisé, et suggère que les modèles plus grands ou différents pourraient présenter des profils de vulnérabilité distincts.

Limites notées : L'analyse porte sur les embeddings statiques (non contextuels), la taille des modèles est limitée (< 1.5B paramètres), et l'architecture de détection n'a pas encore été benchmarkée sur des ensembles de données standards comme HaluEval.