💬 NLP

Hallucination Detection via Activations of Open-Weight Proxy Analyzers

Ce papier présente un cadre proxy-analyseur qui détecte les hallucinations dans les grands modèles de langage en analysant les activations internes de petits modèles à poids ouverts hébergés localement, atteignant des performances de pointe à travers diverses architectures d'analyseur tout en démontrant qu'une taille de modèle plus grande ne correspond pas nécessairement à une meilleure précision de détection.

Auteurs originaux : Akshita Singh, Prabesh Paudel, Siddhartha Roy

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akshita Singh, Prabesh Paudel, Siddhartha Roy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un écrivain très intelligent mais parfois peu fiable (un Grand Modèle de Langage) qui tente de répondre à des questions en se basant sur un document spécifique. Parfois, cet écrivain invente des choses, ou « hallucine », en mélangeant faits et fiction.

Le problème est le suivant : comment démasquer l'écrivain en train de mentir sans avoir à regarder dans son cerveau ou lui demander d'expliquer son processus de pensée ? Habituellement, si l'écrivain est un système fermé (comme une grande API commerciale), vous ne pouvez pas voir son fonctionnement interne.

Ce papier présente une nouvelle solution ingénieuse : le « Proxy Analyzer » (Analyseur Mandataire).

L'idée centrale : Le détective de la « Deuxième Opinion »

Au lieu d'essayer de regarder dans le cerveau de l'écrivain, les auteurs ont construit un petit détective indépendant (un modèle d'IA plus petit) qui lit l'histoire terminée ainsi que le document source original.

Pensez-y ainsi :

L'Écrivain : Un élève passant un examen.
La Source : Le manuel scolaire.
L'Hallucination : L'élève écrivant une réponse qui semble bonne mais qui ne se trouve pas dans le manuel.
L'Ancienne Méthode : Tenter de regarder dans la tête de l'élève pour voir s'il devine. (Impossible si l'élève est une « boîte noire »).
La Nouvelle Méthode (Ce Papier) : Vous engagez un petit tuteur vif (l'Analyseur Mandataire) pour lire la réponse de l'élève et le manuel côte à côte. Le tuteur n'a pas besoin de savoir comment l'élève pense ; il cherche simplement la tension entre la réponse et le livre.

Si la réponse de l'élève contredit le livre, le « cerveau » du tuteur (les signaux électriques internes de l'IA) s'illumine d'une manière spécifique et prévisible. Le système détecte ces « éclairs » électriques pour repérer le mensonge.

Comment fonctionne le détective (les 18 indices)

Le détective ne lit pas seulement les mots ; il examine la mécanique de la façon dont l'IA traite le texte. Les auteurs ont créé 18 « indices » différents (caractéristiques) basés sur le fonctionnement des transformateurs d'IA. Voici quelques analogies pour les plus importants :

Le projecteur « Attention » (Signal 2) : Imaginez que l'IA possède un projecteur qui brille sur le texte source. Lorsqu'elle dit la vérité, le projecteur reste sur le livre. Lorsqu'elle ment, le projecteur s'égare ou se confond. Le système mesure exactement où la lumière brille.
Le combat « Mémoire » contre « Lecture » (Signal 4) : L'IA a deux façons de répondre : lire le livre (bon) ou s'appuyer sur ses propres faits mémorisés (risqué). Le système mesure lequel l'emporte. Si la « mémoire » crie plus fort que la « lecture », il s'agit probablement d'une hallucination.
Le compteur de « Confusion » (Signal 3) : Lorsqu'une IA lit la vérité, elle répartit son attention. Lorsqu'elle ment, elle reste souvent bloquée sur quelques mots mémorisés, créant un « effondrement » de l'attention. Le système repère cet effondrement.

Les grandes expériences

Les chercheurs ont testé ce détective en utilisant sept modèles d'IA différents de tailles variées, allant de minuscule (0,5 milliard de paramètres) à énorme (9 milliards de paramètres). Ils ont traité ces modèles comme les « détectives » pour voir lequel était le meilleur pour repérer les mensonges.

Les résultats surprenants :

Le plus gros n'est pas toujours le meilleur : Habituellement, nous supposons qu'un détective plus gros et plus cher est plus intelligent. Mais ici, un modèle de 3 milliards de paramètres a en fait battu le modèle de 8 milliards de paramètres de la même famille. C'est comme découvrir qu'une voiture compacte et agile est plus rapide sur une piste spécifique qu'un immense SUV de luxe. La conception du détective comptait plus que sa taille.
Le détective « Petit » est excellent : Un minuscule modèle de 0,5 milliard de paramètres (Qwen2.5) a performé presque aussi bien que les modèles massifs. Cela signifie que vous n'avez pas besoin d'un supercalculateur pour attraper les hallucinations ; un petit modèle, rapide et peu coûteux peut faire le travail tout aussi bien.
Battre les experts : Leur système a constamment surpassé la meilleure méthode précédente (ReDeEP), qui nécessitait l'accès aux données internes de l'écrivain original. L'Analyseur Mandataire l'a fait sans jamais toucher l'écrivain original.

Pourquoi cela compte

Le papier affirme que c'est un changement de donne car :

Cela fonctionne avec des écrivains « Boîte Noire » : Vous pouvez l'utiliser pour vérifier des réponses provenant de systèmes fermés (comme GPT-4) où vous ne pouvez pas voir le code interne.
C'est universel : Puisque le « mensonge » est un décalage entre la réponse et la source, n'importe quelle IA lisant le texte montrera la même « tension » électrique. Le détecteur se fiche de qui a écrit la réponse.
C'est efficace : Vous n'avez pas besoin d'exécuter le générateur massif deux fois pour le vérifier. Vous exécutez simplement un petit détecteur peu coûteux une fois.

Le hic (Limites)

Les auteurs admettent une faiblesse : leur détective a été entraîné sur de courts documents (environ 1 200 caractères). Lorsqu'ils l'ont testé sur des documents beaucoup plus longs (3 000 caractères), il s'est légèrement confus car la « longueur » du texte a modifié l'apparence des indices. Ils pensent pouvoir corriger cela en réentraînant le détective sur des textes plus longs, mais pour l'instant, il fonctionne mieux sur des documents de longueur standard.

En bref : Le papier prouve que vous pouvez attraper les hallucinations de l'IA en engageant une petite IA indépendante pour lire la réponse et la source, à la recherche de « tics » électriques spécifiques indiquant un mensonge. Et, de manière surprenante, un petit détective bien conçu est souvent meilleur qu'un géant.

Résumé Technique : Détection des Hallucinations via les Activations d'Analyseurs Proxy à Poids Ouverts

Énoncé du Problème
Les pipelines de Génération Augmentée par Récupération (RAG) sont essentiels pour les applications d'entreprise, mais souffrent de taux d'hallucination allant de 5 % à 20 % sur des tâches spécifiques à un domaine. Les méthodes de détection existantes présentent des limitations significatives : les vérifications a posteriori et les approches basées sur l'incertitude sont coûteuses en calcul, nécessitant plusieurs passages du modèle ; les méthodes mécanistiques en boîte blanche offrent une haute précision mais exigent un accès direct aux états internes du générateur. Cela exclut les modèles d'API fermés (par exemple, GPT-4), les systèmes multi-backends, ou les scénarios où le réexécution d'un générateur massif uniquement pour la détection est prohibitif en termes de coûts. Le défi central consiste à détecter les hallucinations sans accéder aux poids ni aux activations internes du générateur.

Méthodologie
Les auteurs proposent un cadre d'analyseur proxy qui découple le détecteur du générateur. Étant donné un document source ( $S$ ), une question ( $Q$ ) et une réponse candidate ( $A$ ), le système alimente ce texte dans un petit modèle « analyseur » à poids ouverts, hébergé localement. Le détecteur repose entièrement sur les activations internes de l'analyseur pour déterminer si $A$ est une hallucination, indépendamment du modèle ayant généré $A$ .

Le cadre extrait 18 caractéristiques ancrées dans la mécanique des transformateurs lors d'un seul passage avant :

Signaux d'Activation (S1–S4) :
- S1 (Norme Résiduelle) : Suit la croissance des normes du flux résiduel ; les réponses fidèles montrent une croissance régulière, tandis que les hallucinations plafonnent précocement.
- S2 (Attention à la Source par Tête) : La caractéristique la plus critique (~50 % de l'importance des caractéristiques), mesurant l'attention portée au document source par tête et par couche.
- S3 (Entropie de l'Attention) : Une lecture fidèle répartit l'attention ; les hallucinations s'effondrent sur des tokens mémorisés.
- S4 (Norme MLP) : Suit la force de déclenchement de la mémoire paramétrique, analogue à un « Score de Connaissance Paramétrique ».
Signaux de Logits et d'Interaction (S5–S7) : Inclut les trajectoires de lentille de logits, la perplexité conditionnelle et les termes d'interaction reflétant la domination de la mémoire paramétrique sur la lecture de la source.
Signaux Externes et Lexicaux (S8–S10) : Inclut un score Vectara HHEM, le ratio de longueur réponse-source et le chevauchement de tokens Jaccard.
Signaux de Fenêtre et de Pente (S11–S15) : Agrège S1 et S2 sur une fenêtre fixe de couches et analyse les pentes des normes résiduelles et des ratios d'ancrage.
Statistiques d'Ancrage au Niveau des Tokens (S16–S18) : Nouvelles statistiques capturant le score d'ancrage minimum, la variance et la pente des trajectoires d'ancrage par token.

Un score novateur d'Importance des Têtes d'Attention (AHI) est introduit pour identifier quelles têtes d'attention spécifiques séparent le mieux les réponses fidèles des réponses hallucinées, surpassant les signaux d'attention moyenne bruts dans des conditions hors distribution (OOD).

Le système emploie un ensemble de stacking (Régression Logistique, Forêt Aléatoire, HistGradientBoosting, XGBoost) entraîné sur 72 135 échantillons provenant de cinq jeux de données (HaluEval, RAGTruth, MedHallu, MiniCheck-Synthetic, ANLI). Un classifieur spécialisé, RagtStacking, est entraîné exclusivement sur les données RAGTruth pour capturer des motifs spécifiques d'échec de fidélité.

Contributions Clés

Cadre de Caractéristiques : Introduction de 18 caractéristiques ancrées mécanistiquement, incluant trois nouvelles statistiques d'ancrage au niveau des tokens, dérivées d'un seul passage avant d'un modèle à poids ouverts.
Importance des Têtes d'Attention (AHI) : Une métrique supervisée qui identifie les têtes d'attention spécifiques critiques pour l'ancrage, démontrant une stabilité supérieure aux moyennes d'attention brutes sous des décalages OOD.
Étude Échelle vs Architecture : Une évaluation complète sur sept modèles (0,5B à 9B paramètres) de quatre familles (Qwen2.5, Gemma-2, Pythia, LLaMA-3), révélant que la famille de modèles et la conception de l'architecture l'emportent souvent sur le nombre de paramètres.
Étalonnage des Performances : Démonstration que les analyseurs proxy peuvent surpasser les méthodes en boîte blanche de l'état de l'art (ReDeEP) sans accès au générateur.
Corrélation Tâche-Profondeur : Découverte que les signaux de détection d'hallucination atteignent leur pic à différentes profondeurs de couches selon le type de tâche (par exemple, la QA atteint un pic plus profond que la vérification d'affirmations).

Résultats

Étalonnage Principal (RAGTruth) : Sur les sept architectures d'analyseur, le système a constamment surpassé l'AUC au niveau des tokens de ReDeEP (0,73) de 7,4 à 10,3 points de pourcentage.
- Qwen2.5-7B a atteint un F1 de 0,717 et un AUC de 0,834 (avec RagtStacking), dépassant le F1 au niveau des tokens de ReDeEP (0,713).
- Gemma-2-9B a atteint le plus haut AUC de 0,836.
- Qwen2.5-0,5B a atteint un F1 de 0,706, démontrant que les modèles sub-milliard sont viables.
Convergence de la Taille du Modèle : Malgré une différence de 18 fois dans le nombre de paramètres, l'écart d'AUC sur les sept modèles n'était que de 2,3 points de pourcentage (0,814 à 0,837).
L'« Anomalie LLaMA » : Contrairement aux lois d'échelle, LLaMA-3-3B a surpassé LLaMA-3-8B sur RAGTruth (AUC 0,822 contre 0,819 ; F1 0,698 contre 0,687). Le modèle 8B ne s'est rétabli que sur des données OOD, suggérant que, au sein d'une même famille, une taille plus grande ne garantit pas une meilleure détection.
Performance OOD : Sur LLM-AggreFact, tous les modèles se sont regroupés à moins de 2,8 points de pourcentage de la précision équilibrée. Les écarts de performance par rapport aux bases ont été attribués à des incohérences de longueur de document source (1 200 caractères dans l'entraînement contre ~3 000 dans AggreFact), et non à un échec fondamental du signal. Six des 18 signaux sont restés stables malgré les décalages de longueur.
Agnosticisme du Générateur : Le système a performé de manière cohérente à travers les générateurs (GPT-4, GPT-3.5, Mistral-7B, variantes Llama-2), confirmant la détection de motifs d'hallucination de document source plutôt que d'artefacts spécifiques au générateur.

Signification et Revendications
L'article revendique que la conception de l'architecture est un moteur plus fort de la qualité de détection que le nombre brut de paramètres. Les résultats défient l'intuition selon laquelle « plus c'est gros, mieux c'est », montrant qu'un modèle Qwen de 0,5B peut égaler ou surpasser des modèles dix fois plus grands, et qu'un LLaMA de 3B peut surpasser son homologue de 8B.

Les auteurs affirment que leur approche fournit une garde universelle pour les systèmes RAG. En séparant le détecteur du générateur, le système peut être déployé sur des backends divers (y compris les API fermées) avec une seule implémentation. Les résultats suggèrent que l'hallucination est une propriété du décalage entre la réponse et la source, détectable à travers l'état interne de n'importe quel transformateur lisant le texte, rendant le générateur spécifique sans importance pour le processus de détection. L'article conclut que, bien que des écarts OOD actuels existent en raison des contraintes des données d'entraînement (longueur de la source), la stabilité fondamentale du signal indique que l'approche est fondamentalement solide pour un déploiement plus large.