💬 NLP

Layer-Resolved Optimal Transport for Hallucination Detection in NMT and Abstractive Summarization

Cet article étend l'analyse du transport optimal résolu par couche des distributions d'attention croisée pour détecter les hallucinations dans la traduction automatique neuronale et le résumé abstractif, démontrant son efficacité pour identifier le désengagement de la source tout en soulignant ses limites intrinsèques dans la détection des échecs de fidélité où l'attention reste correcte mais le contenu est mal représenté.

Auteurs originaux : Mariia Onyshchuk, Maksym-Vasyl Tarnavskyi, Marta Sumyk

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mariia Onyshchuk, Maksym-Vasyl Tarnavskyi, Marta Sumyk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot traducteur (ou un résumeur) très intelligent qui lit une histoire puis écrit sa propre version de celle-ci. Parfois, le robot réussit parfaitement. D'autres fois, il « hallucine » — il invente des faits, se répète ou ignore complètement l'histoire originale, même si le nouveau texte semble fluide et assuré.

Ce document est comme un détective essayant de comprendre comment attraper le robot en train de mentir, simplement en observant le mouvement de ses yeux pendant qu'il lit.

Voici la décomposition de leur enquête en utilisant des analogies simples :

1. L'outil du détective : « Le transport optimal »

Les chercheurs utilisent un outil mathématique appelé Transport Optimal (OT).

L'analogie : Imaginez que l'attention du robot est comme un projecteur éclairant le texte original.
- Bon comportement : Le projecteur se déplace, balayant différentes parties du texte au fur et à mesure que le robot écrit, vérifiant les faits et le contexte.
- Mauvais comportement (Hallucination) : Le projecteur reste bloqué sur un point (ou sur quelques points aléatoires) et refuse de bouger, même si le robot écrit quelque chose de complètement différent.
La mesure : Les chercheurs mesurent la « distance » entre l'endroit où le projecteur devrait être (étendu et en mouvement) et l'endroit où il se trouve réellement. Si la distance est étrange, ils savent que le robot est probablement en train d'halluciner.

2. La première étude de cas : Traduction automatique (DE-EN)

Ils ont d'abord testé cela sur un modèle traduisant l'allemand vers l'anglais. Ils ont examiné le « cerveau » du robot couche par couche (comme si l'on regardait les différents étages d'un gratte-ciel).

Les couches : Ils ont découvert que le cerveau du robot n'est pas uniforme.
- Étages 1 à 4 : Ce sont les « étages des détectives ». C'est ici que le robot vérifie s'il prête attention aux bons mots. Si le robot ment, ces étages montrent un schéma très clair de blocage du projecteur.
- Étage 5 : C'est l'étage du « boss final ». Curieusement, pour certains types de mensonges, cet étage devient en fait moins bon pour les détecter. C'est comme si l'étage final était tellement concentré sur la fin de la phrase qu'il cesse de se soucier de savoir si les faits sont exacts.
- La phase d'« exploration » : Lorsqu'un robot traduit correctement, il commence par « scanner » le texte (déplacer le projecteur) avant de se fixer sur des mots spécifiques. Lorsqu'il hallucine, il saute la phase de scan. Il se verrouille immédiatement sur un mauvais mot dès la toute première étape.

Le verdict sur la traduction : Cette méthode est un super-héros pour attraper les « mensonges complets » (où le robot ignore totalement le texte source). Elle les attrape avec une grande précision. Cependant, elle a du mal avec les « mensonges partiels » (où le robot se souvient de certains mots mais se trompe sur le sens).

3. La deuxième étude de cas : Résumé (CNN/XSum)

Ensuite, ils ont essayé d'utiliser ce même « détecteur de projecteur » sur un autre travail : résumer des articles de presse.

Le problème : En traduction, un mensonge signifie généralement que le robot ignore le texte source. Mais en résumé, un mensonge peut survenir même si le robot regarde les bons mots.
- L'analogie : Imaginez un étudiant lisant un livre d'histoire.
  - Mensonge de traduction : L'étudiant ferme le livre et écrit une histoire de dragons. (Le projecteur est hors du livre).
  - Mensonge de résumé : L'étudiant lit le livre parfaitement, mais écrit ensuite : « Le livre dit que la guerre s'est terminée en 1990 », alors qu'elle s'est terminée en 1980. L'étudiant regardait la bonne page, mais a mal interprété le contenu.
Le résultat : Le « détecteur de projecteur » pouvait toujours repérer certains mensonges (il était meilleur qu'une supposition aléatoire), mais il n'était pas aussi performant qu'un professeur qui connaît réellement les faits (une IA supervisée).
Pourquoi ? Parce que le détecteur vérifie seulement si le robot regarde le texte. Il ne peut pas vérifier si le robot comprend le texte correctement. Si le robot regarde les bons mots mais en détourne le sens, le détecteur reste silencieux.

4. Cartographier le cerveau du robot (Modèle T5)

Ils ont également réalisé une analyse structurelle du modèle de résumé (T5) pour voir comment son cerveau est organisé, même sans chercher de mensonges.

Couche 3 : C'est la couche « de pointe ». C'est la partie la plus sélective et unique du cerveau.
Couche 12 : C'est la couche « critique ». Si vous la retirez, la qualité de l'écriture du robot s'effondre.
Couches 9–11 : Elles sont comme des « copies de sauvegarde ». Si vous les retirez, le robot n'y prête pas vraiment attention ; il continue de fonctionner normalement.

La conclusion principale

L'article conclut que cette méthode de « projecteur » est un outil puissant, mais avec une fiche de poste spécifique :

Elle est excellente pour attraper les robots qui cessent de prêter attention au texte source (désengagement de la source).
Elle est utile pour comprendre comment le cerveau d'un robot est organisé (quelles couches font quoi).
Elle est limitée lorsque le robot prête attention mais se trompe sur les faits (mauvaise utilisation du contenu).

En bref : Vous pouvez dire si le robot ignore le livre, mais vous ne pouvez pas toujours dire si le robot lit mal le livre simplement en observant ses yeux.

Résumé technique : Transport optimal résolu par couche pour la détection d'hallucinations dans la NMT et la résumé abstractif

Énoncé du problème

Les modèles de traduction automatique neuronale (NMT) et de résumé abstractif souffrent fréquemment d'« hallucinations » ou de « défaillances de fidélité », où les sorties générées sont fluides mais factuellement incohérentes avec la source. Bien que les travaux récents de Guerreiro et al. (2023) aient démontré que les distances de transport optimal (OT) entre les distributions d'attention croisée et une référence peuvent détecter les hallucinations en NMT de manière non supervisée, plusieurs questions critiques restaient sans réponse :

Résolution par couche : Comment le signal d'hallucination se distribue-t-il à travers les couches individuelles du décodeur, et certaines couches sont-elles plus diagnostiques que d'autres ?
Spécialisation des détecteurs : Les différentes métriques basées sur l'OT (par exemple, la distance par rapport à l'uniforme vs la distance par rapport aux données) se spécialisent-elles dans la détection de différents types d'hallucinations ?
Transfert de tâche : L'intuition géométrique du « désengagement de la source » (détectée via l'OT en NMT) se transfère-t-elle au résumé abstractif, où les modes de défaillance peuvent être fondamentalement différents ?

Méthodologie

1. Métriques de transport optimal

Les auteurs étendent le cadre de la distance de Wasserstein-1 ( $W_1$ ) pour analyser les distributions d'attention croisée ( $\pi^{(\ell,t)}$ ) à travers toutes les couches du décodeur ( $\ell$ ) et les étapes de génération ( $t$ ). Les métriques clés incluent :

Wass-to-Unif (WTU) : Mesure la concentration de l'attention en calculant la distance $W_1$ par rapport à une distribution uniforme. Une forte concentration (faible distance) suggère que le modèle ignore la source.
Wass-to-Data (WTD) : Mesure la similitude de la distribution d'attention d'une phrase de test par rapport à un ensemble de référence de traductions confirmées comme correctes.
Cohérence de routage (RC) : Une nouvelle métrique quantifiant la cohérence avec laquelle le décodeur porte attention à la même position de la source à travers les étapes de génération. Elle est dérivée de l'entropie des positions sources argmax au fil du temps.
OT étape-à-étape : Mesure le décalage dynamique de l'attention entre des étapes de décodage consécutives pour capturer la phase « exploratoire » de la génération.
OT par paire de couches : Calcule les distances entre les distributions d'attention moyennes de différentes couches pour cartographier l'organisation fonctionnelle.

2. Jeux de données et modèles

NMT (Fairseq DE-EN) : Ré-analyse du corpus de Guerreiro et al. (2023) ( $N=3\,414$ ), couvrant cinq catégories d'hallucinations (absence totale de support, support faible, répétitions, etc.).
Résumé abstractif (AggreFact) : Évaluation sur les ensembles de test CNN/DailyMail et XSum utilisant les architectures T5-base et Flan-T5-Large.
Baselines : Comparaison avec l'état de l'art supervisé (MiniCheck-Flan-T5-L) et des baselines aléatoires.

Contributions clés

Analyse de la NMT résolue par couche : L'étude étend l'analyse agrégée de la dernière couche de Guerreiro et al. (2023) à l'ensemble des six couches du décodeur. Elle identifie que la performance de détection est concentrée dans les couches L1–L4, tandis que L5 (la couche finale) est souvent anti-prédictive pour les types d'hallucinations subtils.
Détecteurs complémentaires : Le papier démontre que WTU et WTD sont des détecteurs spécialisés. WTU excelle dans la détection des hallucinations de type « absence totale de support » (désengagement complet de la source), tandis que WTD est supérieur pour le « support faible » et les « répétitions ». La nouvelle métrique de Cohérence de routage (RC) est identifiée comme le détecteur individuel le plus fort pour les hallucinations d'absence totale de support.
Motifs de génération dynamiques : Les auteurs caractérisent un décodage normal comme une trajectoire en deux phases : une phase exploratoire (décalage d'attention élevé, faible concentration) suivie d'une phase d'engagement. Les traductions hallucinées manquent de la phase exploratoire, commençant dans un état de concentration statique dès la première étape de décotion.
Transfert au résumé et limites : Première application de la détection par OT au résumé abstractif. Bien que le détecteur non supervisé atteigne une précision équilibrée supérieure au hasard (57,4 %), il est nettement moins performant que les baselines supervisées (72,1 %).
Interprétabilité structurelle : À travers les métriques d'OT et les études d'ablation sur T5-base, le papier révèle une organisation constante du décodeur : la Couche 3 agit comme un pic structurel pour la concentration et la divergence de routage, tandis que la Couche 12 est critique pour la qualité de la génération. Les couches L9–L11 présentent une redondance fonctionnelle.

Résultats

Performance de détection en NMT

Force du signal : Les traductions hallucinées présentent une concentration moyenne significativement plus élevée et un OT étape-à-étape plus faible par rapport aux traductions correctes ( $p < 0,001$ ).
Spécificité des couches :
- Absence totale de support : Hautement détectable dans L1–L4 (AUROC > 0,93). La RC culmine à L2 (AUROC 0,955).
- Support faible et répétitions : La détection est plus faible. Notamment, la Couche 5 devient anti-prédictive (AUROC < 0,5) pour ces types, car la couche finale est naturellement la plus concentrée, quelle que soit la qualité de la traduction.
Mécanisme : Les hallucinations sont caractérisées par une signature d'attention « statique » où le décodeur se verrouille sur des tokens sources non pertinents (ou sur le même token) dès la première étape, sautant la phase de balayage dynamique observée dans les traductions correctes.

Transfert au résumé abstractif

Écart de performance : Le détecteur OT non supervisé atteint 57,4 % de précision équilibrée sur AggreFact, contre 72,1 % pour le modèle supervisé MiniCheck-Flan-T5-L.
Généralisation : Les caractéristiques d'OT ne se généralisent pas bien entre les régimes extractifs (CNN) et abstractifs (XSum) lors de tests croisés (44,2 % BAcc), confirmant que le signal dépend du régime.
Résultats structurels : Dans T5-base, la Couche 3 montre le pic de concentration le plus élevé, et l'ablation des Couches 1–3 provoque un effondrement brutal du ROUGE-L, identifiant ces couches comme un bloc d'encodage de contexte précoce indispensable.

Signification et affirmations

Le papier postule que le transport optimal sur l'attention croisée est un détecteur non supervisé fiable spécifiquement lorsque le mode de défaillance est le « désengagement de la source ».

Interprétabilité fondée sur des principes : Les auteurs soutiennent que l'OT offre une lentille géométrique sans étiquette pour comprendre l'architecture Transformer, identifiant des spécialisations fonctionnelles (ex: L3 dans T5, L2 dans Fairseq) qui s'alignent avec les résultats d'ablation.
Limite théorique : L'écart de performance dans le résumé est attribué à une différence fondamentale de modes de défaillance. Les hallucinations en NMT sont principalement des échecs de récupération intrinsèques (ignorer la source), que l'OT détecte bien. Les échecs de résumé abstractif sont souvent des mauvaises utilisations de contenu (porter l'attention correctement sur la source mais mal représenter le contenu), un mode de défaillance « invisible pour les métriques d'OT basées sur la concentration par construction ».
Conclusion : Ce travail établit l'OT comme un outil puissant pour détecter quand un modèle se détache de sa source, offrant un outil d'interprétabilité fondé sur des principes quel que soit la tâche, tout en reconnaissant explicitement ses limites lorsque les défaillances de fidélité surviennent en aval du mécanisme d'attention.