💬 NLP

Grounding or Guessing? Visual Signals for Detecting Hallucinations in Sign Language Translation

Cet article propose une nouvelle mesure de fiabilité visuelle au niveau du jeton qui combine la sensibilité des caractéristiques et les signaux contrefactuels afin de détecter et de diagnostiquer efficacement les hallucinations dans la traduction de la langue des signes en quantifiant la mesure dans laquelle les modèles s'appuient sur des preuves visuelles plutôt que sur des a priori linguistiques.

Auteurs originaux : Yasser Hamidullah, Koel Dutta Chowdhury, Yusser Al Ghussin, Shakib Yazdani, Cennet Oguz, Josef van Genabith, Cristina España-Bonet

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yasser Hamidullah, Koel Dutta Chowdhury, Yusser Al Ghussin, Shakib Yazdani, Cennet Oguz, Josef van Genabith, Cristina España-Bonet

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le traducteur « aveugle »

Imaginez un traducteur qui essaie de traduire une vidéo d'une personne signant (en utilisant des gestes de la main) en texte parlé.

L'objectif : Le traducteur doit regarder les mains et dire exactement ce qu'elles disent.
Le problème : Parfois, le traducteur devient paresseux ou trop sûr de lui. Au lieu de regarder les mains, il devine simplement ce que la personne a probablement dit en se basant sur la façon dont les phrases se construisent habituellement. Il peut produire une phrase qui semble parfaite et grammaticalement correcte, mais qui n'a rien à voir avec ce que le signeur a réellement fait. En termes d'IA, c'est ce qu'on appelle une hallucination.

Cet article soutient que les traducteurs plus récents et plus « intelligents » (qui sautent une étape intermédiaire appelée « glosses ») sont en réalité moins bons pour cela. Ils sont si doués pour deviner en se basant sur les structures du langage qu'ils arrêtent souvent de regarder entièrement la vidéo.

L'idée centrale : « Grounding » (Ancrage) vs « Guessing » (Devinette)

Les auteurs introduisent une nouvelle façon de vérifier si l'IA regarde réellement la vidéo ou si elle invente des choses. Ils appellent cela la Fiabilité (Reliability).

Voyez cela comme un détective vérifiant un alibi :

Grounding (Regarder les preuves) : L'IA dit : « Je choisis ce mot parce que je vois la main du signeur bouger d'une manière spécifique. »
Guessing (Se fier à la mémoire) : L'IA dit : « Je choisis ce mot parce qu'en anglais, les gens disent généralement "bonjour" après "bonjour" ».

Le travail principal de l'article est de construire un « détecteur de mensonges » capable de faire la distinction entre ces deux comportements.

Comment fonctionne le « Détecteur de mensonges »

Les auteurs ont créé un test pour voir à quel point l'IA s'appuie sur la vidéo. Ils lancent la traduction trois fois en parallèle :

La version réelle : L'IA voit la véritable vidéo.
L'écran noir : L'IA voit la vidéo, mais l'écran est noir (aucune donnée visuelle).
La mauvaise vidéo : L'IA voit une vidéo complètement différente (comme un chat au lieu d'un signeur).

Le Test :

Si l'IA change significativement sa réponse lorsque la vidéo est supprimée ou remplacée, cela signifie qu'elle était Grounded (elle regardait réellement la vidéo).
Si l'IA continue de dire exactement la même chose même quand la vidéo est absente ou erronée, cela signifie qu'elle était en train de Deviner (elle se fiait uniquement à ses habitudes linguistiques internes).

Ils combinent ces tests en un score unique appelé Fiabilité. Un score élevé signifie que l'IA prête attention à la vidéo. Un score faible signifie qu'elle hallucine.

Le piège du « Sans Glosses » (Gloss-Free)

L'article compare deux types de traducteurs :

Basé sur les Glosses (L'ancienne méthode) : Ces modèles utilisent un intermédiaire. Ils traduisent d'abord la vidéo en « glosses » (étiquettes simples pour les mouvements des mains), puis en texte. C'est comme avoir un professeur strict qui force l'élève à pointer l'objet avant de le nommer. Cela les oblige à rester honnêtes.
Sans Glosses (La nouvelle méthode) : Ces modèles passent directement de la vidéo au texte. Ils sont comme un élève à qui l'on dit : « Dis-moi juste ce que tu vois », sans étiquettes strictes.

Le constat : Les modèles « Sans Glosses » sont beaucoup plus sujets aux hallucinations. Parce qu'ils ne sont pas forcés de marquer une pause pour étiqueter les mouvements, ils ont tendance à sauter l'étape de l'observation de la vidéo pour simplement « combler les vides » avec ce qui sonne bien. L'article prouve que ces modèles « devinent » bien plus souvent que les anciens modèles.

Pourquoi cela importe

Habituellement, lorsque nous vérifions si une IA ment, nous regardons à quel point elle semble « confiante ». Si elle dit quelque chose avec une grande confiance, nous supposons que c'est vrai.

Le rebondissement de l'article : En traduction de langue des signes, la confiance est un piège. Un modèle peut être sûr à 100 % qu'il pleut, même si la vidéo montre un temps ensoleillé, car il se contente de deviner en se basant sur les prévisions météo qu'il a lues plus tôt.

Les auteurs démontrent que leur nouveau Score de Fiabilité est bien meilleur pour attraper ces mensonges que la simple vérification de la confiance. Il pose la question : « As-tu réellement regardé la vidéo pour décider cela, ou as-tu simplement deviné ? »

Résumé des résultats

Ça fonctionne : Le nouveau score de « Fiabilité » prédit avec succès quand l'IA hallucine.
C'est universel : Cela fonctionne sur différents jeux de données et différents types de modèles d'IA.
Cela explique le « Pourquoi » : Cela prouve que les nouveaux modèles sans glosses hallucinent davantage parce qu'ils cessent d'utiliser l'information visuelle et commencent à trop compter sur leur entraînement linguistique.
C'est un outil de sécurité : En combinant ce contrôle visuel avec les contrôles textuels standards, nous pouvons obtenir une image beaucoup plus claire de quand une IA invente des choses.

En résumé, cet article nous enseigne que pour la traduction de la langue des signes, vous ne pouvez pas simplement faire confiance à la confiance de l'IA ; vous devez vérifier si elle regarde réellement la vidéo.

Résumé technique : Ancrage ou supposition ? Signaux visuels pour la détection des hallucinations en traduction de langue des signes

1. Énoncé du problème

La traduction de la langue des signes (SLT - Sign Language Translation) est une tâche de vidéo-vers-texte unique où la modalité visuelle constitue la langue source elle-même, plutôt qu'un contexte auxiliaire. Un mode de défaillance critique dans les systèmes de SLT modernes, particulièrement ceux utilisant des architectures sans gloss (gloss-free) et des modèles de fondation de type LLM (Large Language Model), est l'hallucination. Dans ce contexte, l'hallucination est définie comme la génération de jetons de contenu qui ne sont pas soutenus par les preuves vidéo signées.

Bien que les modèles récents sans gloss aient résolu les problèmes d'évolutivité en supprimant le besoin de annotations de gloss intermédiaires coûteuses, ils introduisent une nouvelle vulnérabilité : le décodeur a tendance à s'appuyer fortement sur les priors linguistiques plutôt que sur l'entrée visuelle lorsque les représentations visuelles sont ambiguës ou de faible qualité. Cela résulte en des traductions fluentes mais factuellement incorrectes. Les méthodes de détection d'hallucinations existantes, qui reposent sur des signaux intrinsèques au texte (ex: confiance, entropie, perplexité), échouent à distinguer un jeton prédit avec confiance en fonction de motifs linguistiques d'un jeton prédit avec confiance en fonction de preuves visuelles réelles.

2. Méthodologie

Les auteurs proposent une nouvelle mesure de fiabilité basée sur l'usage de l'ancrage (grounding usage), qui quantifie la mesure dans laquelle les jetons générés dépendent des preuves vidéo plutôt que des priors linguistiques. La méthode opère au niveau du jeton et s'agrège au niveau de la phrase via une analyse contrefactuelle.

2.1 Intuition centrale

À chaque étape de décodage, un modèle soit ancre le jeton suivant dans le signal vidéo, soit le suppose à partir des priors linguistiques. La méthode proposée mesure cette dépendance en comparant le comportement du modèle sous la véritable entrée vidéo par rapport à des scénarios contrefactuels où l'entrée visuelle est altérée.

2.2 Composantes du signal

Le score de fiabilité est dérivé de deux classes de preuves :

Sensibilité basée sur les caractéristiques (Dépendance interne) :
- Sensibilité de l'état caché : Mesure le changement directionnel (distance angulaire normalisée) dans les états cachés du décodeur lorsque l'entrée vidéo est supprimée (masquée) par rapport à lorsqu'elle est présente. Un angle plus grand indique une dépendance plus forte à la vidéo.
- Usage de l'attention croisée : Agrège la masse d'attention dirigée des jetons du décodeur vers les positions de l'encodeur vidéo. La différence entre l'attention sous une vidéo propre et une vidéo masquée indique l'étendue de l'ancrage visuel.
Signaux contrefactuels (Preuves externes) :
- Le système exécute trois passes de décodage parallèles conditionnées par le même préfixe :
  1. Propre (Clean) : Avec la véritable vidéo ( $x$ ).
  2. Sans Vidéo (No-Video) : Avec l'encodeur visuel désactivé ( $\emptyset$ ).
  3. Discordante (Mismatched) : Avec une vidéo mélangée ou non liée ( $x'$ ).
- Marges de probabilité : La méthode calcule les différences de log-probabilité et de logit entre la passe propre et la contrefactuelle la plus forte (la probabilité maximale des passes sans vidéo ou discordantes).
- Avantages : Calcule les gains de probabilité absolus ( $\Delta_{clean}$ et $\Delta_{mis}$ ) pour déterminer si la vidéo correcte améliore activement la prédiction par rapport aux alternatives.

2.3 Fusion et Agrégation

Niveau du jeton : Une fusion linéaire des signaux basés sur les caractéristiques et des signaux contrefactuels, passant par une activation sigmoïde, produit un score de fiabilité par jeton ( $r_t$ ).
Niveau de la phrase : Les scores des jetons sont agrégés à l'aide d'un regroupement tail-10 (moyenne des 10 % de fiabilité de jeton les plus bas). Cela se concentre sur les parties les moins fiables de la phrase, qui sont les plus indicatrices du risque d'hallucination.
Intégration : La fiabilité basée sur l'ancrage est combinée avec des bases de référence textuelles uniquement (confiance, perplexité, entropie) dans une variante "META" pour créer un estimateur de risque d'hallucination complet.

3. Contributions clés

Première investigation des hallucinations en SLT : Ce travail est le premier à enquêter explicitement et à caractériser les hallucinations spécifiquement dans le domaine de la traduction de la langue des signes.
Métrique d'usage de l'ancrage : Introduction d'une nouvelle mesure de fiabilité qui quantifie l'ancrage visuel, distinguant les jetons générés via des preuves visuelles de ceux supposés via des priors linguistiques.
Cadre contrefactuel : Conception d'un cadre de scoring utilisant des perturbations contrefactuelles (masquage et désaccord de la vidéo) pour capturer à la fois les changements d'état interne du modèle et les décalages de probabilité externes.
Validation empirique : Démonstration que les signaux basés sur l'ancrage surpassent les bases de référence uniquement textuelles dans la détection d'hallucinations et fournissent des informations complémentaires lorsqu'ils sont combinés avec des mesures d'incertitude linguistique.

4. Résultats expérimentaux

La méthode a été évaluée sur deux benchmarks : PHOENIX-2014T (allemand de la langue des signes) et CSL-Daily (chinois de la langue des signes), en utilisant à la fois des modèles avec gloss (TwoStream-SLT) et sans gloss (SpaMo).

Corrélation avec l'hallucination : Il existe une forte corrélation négative entre le score de fiabilité proposé et la métrique CHAIR (Caption Hallucination Assessment with Image Relevance). À mesure que l'usage de l'ancrage augmente, le taux d'hallucination diminue.
Performance de détection : La fiabilité basée sur l'ancrage surpasse de manière significative les bases de référence uniquement textuelles (confiance, perplexité, entropie) dans la détection binaire d'hallucinations.
- Sur CSL-Daily (sans gloss), la méthode d'ancrage a atteint un AUC de 0,951 et une précision de 0,970, contre environ 0,953 d'AUC et 0,868 de précision pour la meilleure base de référence textuelle (Confiance).
- La variante combinée META a obtenu la meilleure performance, atteignant un AUC de 0,963 et une précision de 0,883 sur CSL-Daily (sans gloss).
Performance de régression : Le score de fiabilité prédit efficacement le taux continu de CHAIR, atteignant une corrélation de Spearman de $\rho = -0,680$ sur CSL-Daily (sans gloss).
Généralisation : Les poids de fiabilité entraînés sur un ensemble de données/famille de modèles se transfèrent de manière robuste aux autres, bien que la performance diminue légèrement lors du transfert de modèles avec gloss vers des modèles sans gloss en raison des différences de granularité de la tokenisation et de la prévalence des hallucinations.
Tests de résistance : Sous des dégradations visuelles (bruit gaussien, suppression de trames), le score de fiabilité diminue, confirmant sa sensibilité à la qualité de l'information visuelle.
Sans gloss vs Avec gloss : L'analyse révèle que les modèles sans gloss hallucinent plus fréquemment car ils sous-utilisent systématiquement l'information visuelle, privilégiant les priors linguistiques. Les distributions de jetons montrent que les modèles sans gloss ont des marges de log et des angles de sensibilité d'état caché plus faibles que les modèles avec gloss.

5. Signification et affirmations

L'article soutient que la détection d'hallucinations dans la génération multimodale ne peut être pleinement expliquée par les signaux intrinsèques au texte seuls. En SLT, où l'entrée visuelle est la langue source, distinguer entre la "supposition" (reposant sur les priors linguistiques) et l'"ancrage" (reposant sur les preuves visuelles) est critique.

Les auteurs établissent que :

La fiabilité est un outil pratique : La mesure proposée fournit un outil réutilisable et interprétable pour diagnostiquer les hallucinations en SLT sans nécessager de traductions de référence.
Complémentarité : Les signaux d'ancrage visuel fournissent des informations complémentaires aux mesures d'incertitude textuelles. Leur combinaison permet d'obtenir le cadre de détection le plus robuste.
Cause racine des erreurs sans gloss : La dépendance systématique excessive aux priors linguistiques dans les modèles sans gloss est le principal moteur de leurs taux d'hallucination plus élevés. L'absence de supervision de gloss intermédiaire permet au décodeur de s'écarter des preuves visuelles.
Travail fondateur : Cette recherche pose les bases d'une détection d'hallucinations plus robuste dans la génération multimodale en distinguant explicitement la contribution de l'ancrage visuel de la fluidité linguistique.

L'article conclut qu'un modèle multimodal robuste doit trouver un équilibre entre la supposition (pour la fluidité) et l'ancrage (pour la justesse factuelle), et que mesurer explicitement cet équilibre est essentiel pour des systèmes de SLT fiables.