🤖 machine learning

FLaG: Fine-Grained Latent Grouping for Hallucination Detection

FLaG est un cadre de travail léger à modèle gelé qui détecte les hallucinations des LLM en les modélisant comme des mécanismes d'échec hétérogènes via un groupement d'indices latents basé sur l'énergie et une agrégation log-marginale fondée sur des principes, atteignant des performances de pointe sur divers benchmarks sans modifier le modèle sous-jacent.

Auteurs originaux : Wentao Ye, Liyao Li, Zhiqing Xiao, Muzhi Zhu, Jiaqi Hu, Zhanming Shen, Xiaomeng Hu, Sean Du, Haobo Wang

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wentao Ye, Liyao Li, Zhiqing Xiao, Muzhi Zhu, Jiaqi Hu, Zhanming Shen, Xiaomeng Hu, Sean Du, Haobo Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant en train de corriger la copie d'un élève. Parfois, l'élève écrit quelque chose qui semble parfait, qui coule de source, avec un vocabulaire riche, mais les faits sont complètement inventés. C'est ce qu'on appelle une « hallucination » dans les modèles de langage étendus (LLM).

Le problème est que ces réponses « fausses » ne se ressemblent pas toutes. Certaines sont des mensonges parce que le modèle est confus sur les faits ; d'autres parce qu'il essaie trop de vous plaire ; et d'autres encore parce qu'il devine de manière totalement aléatoire.

L'ancienne méthode : Le détective universel
Les méthodes précédentes tentaient de débusquer ces mensonges avec un test unique de « détecteur de mensonges ». Elles regardaient une seule chose — comme la confiance avec laquelle le modèle s'exprimait ou la bizarrerie du dernier mot utilisé — et donnaient une note unique à l'ensemble de la réponse.

La faille : C'est comme essayer d'attraper tous les types de voleurs avec un seul détecteur de métaux. Si un voleur cache un pistolet, le détecteur bipe. S'il cache un couteau, il pourrait ne pas réagir. S'il cache une bombe, il pourrait devenir complètement fou. Parce que les hallucinations viennent de nombreuses « saveurs » différentes, un score unique passe souvent à côté des plus subtiles ou s'embrouille.

La nouvelle méthode : FLaG (Regroupement latent à grain fin)
Les auteurs de cet article proposent un nouveau système appelé FLaG. Au lieu d'utiliser un seul détective, ils utilisent une équipe de spécialistes, chacun cherchant un type d'erreur différent.

Voici comment fonctionne FLaG, en utilisant des analogies simples :

1. Rassembler des indices provenant de deux sources différentes

Avant de rendre un jugement, FLaG examine le travail du modèle sous deux angles :

L'indice de la « Géométrie » : Imaginez les pensées du modèle comme une carte. FLaG vérifie si la réponse finale se trouve dans le bon quartier par rapport à la question. Le modèle s'est-il éloigné du sujet original ?
L'indice de la « Probabilité » : Cela observe la confiance interne du modèle. A-t-il trébuché sur certains mots ? Était-il incertain ? Ou était-il trop sûr de lui concernant quelque chose qui ne devrait pas l'être ?

2. Le système de tri « souple » (Les groupes latents)

C'est là que réside la magie centrale. FLaG ne force pas une réponse dans une case unique. Il utilise un système de routage souple.

L'analogie : Imaginez un infirmier de triage à l'hôpital. Quand un patient arrive, l'infirmier ne dit pas simplement « Malade » ou « Pas malade ». L'infirmier demande : « Est-ce une jambe cassée ? Une fièvre ? Ou un mal d'estomac ? »
Comment FLaG procède : Il regarde les indices et dit : « Cette réponse ressemble à 60 % à une erreur de "fabrication de faits", à 30 % à une erreur de "contradiction logique" et à 10 % à une erreur de "contexte confus". » Il ne choisit pas une seule option ; il reconnaît qu'une réponse peut être un mélange de différents problèmes.

3. Le vote du « panel d'experts »

Une fois la réponse triée dans ces différents « groupes » (ou types d'erreurs), FLaG interroge un expert spécifique pour chaque groupe : « Sur la base des indices pour ce type spécifique d'erreur, quelle est la probabilité qu'il s'agisse d'un mensonge ? »

Groupe A (Vérificateurs de faits) dit : « Cela semble faux. »
Groupe B (Vérificateurs de logique) dit : « Cela semble correct. »
Groupe C (Vérificateurs de confiance) dit : « Cela semble suspect. »

4. Le verdict final (Agrégation log-marginale)

Au lieu de simplement faire la moyenne de ces opinions (ce qui pourrait annuler la vérité), FLaG utilise une formule mathématique spéciale pour les combiner.

L'analogie : Pensez à un jury. Si même un seul expert dit : « Je suis sûr à 99 % qu'il s'agit d'un mensonge à cause du motif spécifique que je vois », le jury entier doit être très prudent. FLaG pondère les opinions de sorte que si n'importe quel spécialiste repère un motif clair de mensonge, le score final reflète ce danger.

Pourquoi est-ce meilleur ?

C'est flexible : Comme il ne repose pas sur une règle unique, il fonctionne bien même si le modèle change ou si le sujet change. C'est comme avoir une équipe de détectives capables de s'adapter à de nouveaux types de crimes, plutôt qu'un robot qui ne sait détecter qu'une seule arme spécifique.
Cela nécessite moins de données : L'article montre que FLaG fonctionne bien même si vous ne disposez pas d'une énorme quantité de données « étiquetées » (des réponses dont nous savons déjà si elles sont vraies ou fausses). Il peut identifier les différents « groupes » d'erreurs par lui-même.
C'est rapide et léger : Il n'est pas nécessaire de réentraîner le modèle d'IA géant. C'est comme ajouter un système de « post-it » intelligent au-dessus du modèle existant pour vérifier son travail, sans changer sa façon de penser.

L'essentiel

L'article affirme qu'en admettant que « les hallucinations sont désordonnées et se présentent sous de nombreuses formes », et en construisant un système capable de trier les réponses dans ces différentes formes avant de les juger, nous obtenons un moyen beaucoup plus fiable de détecter les mensonges dans l'IA. On passe de la question « Cette réponse est-elle fausse ? » à la question « Quel genre d'erreur est-ce, et ce genre spécifique est-il dangereux ? »

Résumé Technique : FLaG – Regroupement Latent à Granularité Fine pour la Détection d'Hallucinations

1. Formulation du Problème

Les grands modèles de langage (LLM) produisent fréquemment des hallucinations — des sorties qui sont fluides mais factuellement incorrectes. Le défi central abordé dans ce travail est que les hallucinations ne proviennent pas d'un mode de défaillance unique et homogène. Au contraire, elles émanent de mécanismes divers se manifestant sous forme de motifs hétérogènes dans les signaux au niveau de la représentation, les traces de probabilité au niveau du jeton (token) et la dynamique de génération.

Les méthodes de détection existantes reposent souvent sur un score d'incertitude global unique ou sur un classifieur monolithique entraîné sur une vue unifiée de l'évidence. Les auteurs soutiennent que de telles approches supposent implicitement une notion homogène de l'hallucination, ce qui conduit à des performances fragiles face aux changements de jeux de données ou aux variations de régimes de génération. Le papier postule qu'une détection fiable nécessite de traiter l'hallucination non pas simplement comme un problème de classification, mais comme un problème d'agrégation d'évidences sous incertitude de mécanisme latent. L'objectif est d'apprendre un score de fiabilité qui agrège des sources d'évidence hétérogènes tout en restant invariant aux seuils de décision et aux métriques d'évaluation.

2. Méthodologie : Le Cadre FLaG

Le cadre proposé, FLaG (Fine-Grained Latent Grouping), est une tête de modèle légère et gelée qui ne nécessite aucune modification du LLM sous-jacent. Il opère à travers trois étapes principales :

2.1 Représentation d'Évidence Multi-Vue

FLaG extrait des évidences complémentaires de deux sources distinctes concernant un prompt $q$ et une sortie générée $a$ :

Signaux de Géométrie Latente ( $\psi(x)$ ) : La séquence concaténée $q \oplus a$ est réinjectée dans le LLM gelé. Le cadre calcule les états cachés moyennés (mean-pooled) pour le prompt ( $\bar{h}_q$ ) et la sortie ( $\bar{h}_a$ ), ainsi que la dérive résiduelle ( $\bar{h}_a - \bar{h}_q$ ) et l'état caché du dernier jeton ( $h_{end}$ ). Cela capture la dérive sémantique et l'information de coordonnées absolues.
Signaux de Trace Probabiliste ( $\phi(x)$ ) : Un ensemble de fonctionnelles de trace est extrait des log-probabilités au niveau du jeton, incluant la moyenne, le minimum et l'écart-type des log-probs, l'entropie prédictive, la marge de logit, et une fonctionnelle de fréquence de queue comptant les valeurs aberrantes de faible probabilité.

Ces deux types d'évidences sont projetés dans un espace latent partagé et fusionnés via un perceptron multicouche (MLP) pour former une représentation unifiée $r(x)$ .

2.2 Raisonnement Sensible aux Groupes

Au lieu de mapper $r(x)$ directement vers un score, FLaG introduit $K$ groupes d'évidences latents, chacun représentant un mécanisme d'hallucination spécifique.

Allocation basée sur les Prototypes : Chaque groupe $g$ est défini par un vecteur prototype apprenable $c_g$ . Un mécanisme de routage basé sur l'énergie calcule la compatibilité $\alpha_g(x)$ entre l'évidence $r(x)$ et le prototype $c_g$ .
Routage Doux (Soft Routing) : La distribution de routage $\pi_g(x)$ est calculée à l'aide d'une forme de Boltzmann avec un paramètre de température $\tau$ , permettant aux instances d'être associées de manière douce à plusieurs groupes. Cette distribution agit comme une estimation a posteriori de l'appartenance de l'instance à un mécanisme spécifique.
Scoring Conditionnel au Groupe : Chaque groupe $g$ possède une fonction de scoring linéaire associée $s_g(x) = w_g^T r(x) + b_g$ . Différents groupes sont entraînés pour mettre l'accent sur différentes dimensions de l'évidence, reflétant des modes de défaillance distincts.

2.3 Agrégation d'Évidence Log-Marginale

Le score de véracité final $s(x)$ est obtenu en agrégeant les signaux conditionnels aux groupes via une règle d'agrégation log-marginale :
$s(x) = \log \sum_{g=1}^{K} \pi_g(x) e^{s_g(x)}$
Cette formulation marginalise efficacement sur les mécanismes latents concurrents plutôt que de s'engager sur une explication unique. La prédiction binaire finale est effectuée par seuillage de $s(x)$ (ex: $G(x) = \mathbb{I}[s(x) \geq 0]$ ).

2.4 Objectif d'Apprentissage

Le cadre supporte l'apprentissage supervisé, faiblement supervisé et semi-supervisé :

Objectif Supervisé : Une perte de classement basée sur la marge encourage les instances véridiques à recevoir des scores plus élevés que les instances hallucinées au sein de paires étiquetées.
Objectif Semi-Supervisé : Pour les données non étiquetées, le modèle identifie les instances de haute confiance pour chaque groupe et impose un ordre relatif cohérent au sein de ces groupes. Cela affine la structure des groupes latents sans nécessendre de pseudo-étiquettes explicites.

3. Analyse Théorique

Le papier fournit une justification théorique reliant FLaG à l'inférence statistique optimale (optimal hypothesis testing).

Statistique Bayes-Optimale : Sous un modèle de mélange de mécanismes où les données sont générées à partir d'un mélange de distributions conditionnelles aux groupes, les auteurs prouvent que le rapport de vraisemblance (LLR) Bayes-optimal pour détecter la véracité prend nécessairement une forme log-marginale sur les évidences conditionnées par le mécanisme.
Approximation : FLaG est présenté comme une approximation traitable et apprenable de cette statistique optimale. La distribution de routage $\pi_g(x)$ approxime l'a posteriori intraçable, et les scores de groupe $s_g(x)$ approximent les rapports de vraisemblance par groupe.
Borne d'Erreur : Les auteurs démontrent qu'à mesure que le nombre de groupes latents $K$ augmente, l'erreur d'approximation de la statistique Bayes-optimale décroît polynomialement ( $O(K^{-1/d})$ ), fournissant une borne d'erreur contrôlable.

4. Résultats Expérimentaux

Des expériences ont été menées sur quatre benchmarks (TruthfulQA, TriviaQA, CoQA, TyDiQA-GP) en utilisant deux backbones LLM (LLaMA-3-8B-Instruct et Qwen2.5-7B-Instruct).

Performance : FLaG atteint des performances de pointe (SOTA), surpassant 17 baselines (incluant des méthodes sans entraînement comme Semantic Entropy et des sondes entraînées comme SAPLMA et HaloScope). Sous pleine supervision, FLaG a amélioré l'AUROC de 3,03 % et 3,60 % par rapport aux meilleures baselines sur les deux backbones.
Robustesse Semi-Supervisée : Même avec seulement 20 % de données étiquetées, FLaG a surpassé la plupart des concurrents pleinement supervisés, démontrant son efficacité sous une supervision limitée.
Transférabilité : Le modèle a montré une forte transférabilité inter-jeux de données et inter-modèles. Les détecteurs entraînés sur un jeu de données ou un backbone de modèle donné ont maintenu des scores d'AUROC élevés lorsqu'ils étaient appliqués à des cibles inédites, suggérant que les signaux appris capturent des échecs de génération intrinsèques plutôt que des artefacts spécifiques aux jeux de données.
Robustesse : La performance est restée stable à travers diverses complexités d'instances (longueur) et températures d'échantillonnage, indiquant une résilience au bruit et aux divers régimes de génération.
Interprétabilité : L'analyse des groupes latents a révélé qu'ils partitionnent naturellement les hallucinations en catégories sémantiquement cohérentes (ex: fabrication de faits, contradiction logique, mésappariement d'entités) sans supervision de catégorie explicite.

5. Contributions Clés

Formulation : Le papier reformule la détection d'hallucinations comme un problème d'agrégation d'évidences sensible aux mécanismes, unifiant les signaux de niveau représentation et de niveau jeton sous un cadre qui rend compte de l'hétérogénéité des modes de défaillance latents.
Cadre (FLaG) : Il propose une tête de détection légère, avec un modèle gelé, qui utilise un routage doux vers des groupes latents et une agrégation log-marginale fondée sur des principes pour obtenir un classement insensible au seuil.
Théorie et Apprentissage : Il fournit une connexion théorique avec la statistique log-marginale de Bayes-optimal avec une borne d'erreur contrôlable et introduit un objectif de classement qui s'étend naturellement aux contextes semi-supervisés.

6. Signification et Limites

Signification : Ce travail soutient que la performance supérieure de FLaG provient de la modélisation explicite de l'hétérogénéité des mécanismes d'hallucination. En marginalisant sur de multiples explications latentes plutôt qu'en réduisant l'évidence à un classifieur unique, le cadre atteint une robustesse à travers les jeux de données, les modèles et les niveaux de supervision.

Limites :

Contrainte de "Boîte Noire" : FLaG repose sur la télémétrie interne de la génération (états cachés et statistiques de niveau jeton). Il n'est pas applicable dans des contextes strictement "boîte noire" où seule la sortie textuelle finale est observable.
Portée Théorique : La connexion théorique à l'agrégation Bayes-optimale est établie sous une vue de mélange de mécanismes. Les auteurs notent que l'extension de cette analyse à des contextes avec des changements de distribution plus forts ou des dépendances plus structurées entre les vues d'évidence reste une direction ouverte.