💻 computer science

Wiener Representation Filtering for VLM Hallucination Suppression

Cet article propose le filtrage par représentation de Wiener, une technique post-hoc sans entraînement qui supprime les hallucinations d'objets dans les modèles de vision-langage en appliquant un estimateur de type Wiener à forme fermée pour atténuer les composantes associées aux hallucinations dans les états cachés de l'épine dorsale linguistique, améliorant ainsi la précision sur divers bancs d'essai tout en préservant la vitesse d'inférence et la fluidité.

Auteurs originaux : Ameen Ali, Tamim Zoabi, Lidor Brami, Lior Wolf

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ameen Ali, Tamim Zoabi, Lidor Brami, Lior Wolf

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un ami très intelligent, très cultivé, qui a mémorisé des millions de livres, de films et d'articles de presse. Cet ami est brillant pour décrire les images que vous lui montrez, mais il a une petite habitude bizarre : parfois, lorsqu'il regarde la photo d'une plage calme, il devient si enthousiaste à l'idée d'une plage qu'il affirme avec assurance qu'il y a un surfeur sur une vague, même si l'eau est parfaitement plate. Il ne ment pas intentionnellement ; son cerveau est simplement si rempli d'« histoires de plage » qu'il remplit accidentellement les blancs avec des choses qui devraient être là, mais qui ne le sont pas. C'est exactement ce qui arrive aux modèles de vision-langage (VLM) modernes. Ce sont des programmes informatiques puissants qui combinent l'œil d'une caméra avec le cerveau d'un expert en langage. Ils sont incroyables pour décrire des images, mais ils souffrent d'« hallucinations d'objets », où ils inventent des objets, des couleurs ou des actions qui n'existent tout simplement pas dans l'image. C'est un problème majeur car, si un robot médecin ou une voiture autonome commence à « halluciner » un panneau stop qui n'existe pas, ou une tumeur imaginaire sur une radiographie, les conséquences peuvent être dangereuses. Les scientifiques ont essayé de résoudre cela en forçant les modèles à réfléchir plus intensément ou en changeant leur façon de s'exprimer, mais ces correctifs rendent souvent les modèles plus lents ou nécessitent un réentraînement massif.

Rencontrez maintenant l'équipe de l'Université de Tel-Aviv qui a décidé d'essayer une approche différente. Au lieu de forcer le modèle à tout réapprendre ou de le ralentir, ils ont traité l'hallucination comme un bruit statique sur un signal radio. Ils ont réalisé que lorsqu'un modèle « hallucine », ce n'est pas seulement qu'il fait des erreurs aléatoires ; il ajoute un type de « bruit » spécifique et structuré à ses pensées internes. Pensez au cerveau du modèle comme à un orchestre complexe jouant une symphonie. Parfois, quelques instruments commencent à jouer une note forte et fausse qui couvre la musique réelle. La méthode des auteurs, appelée « Filtrage par représentation de Wiener », est comme un ingénieur du son super intelligent qui écoute l'orchestre, identifie précisément quels instruments jouent les notes fausses, et baisse doucement le volume de ces fréquences spécifiques. Ils n'ont pas appris à l'orchestre à mieux jouer ; ils ont simplement ajusté la console de mixage une seule fois, hors ligne, afin que les notes fausses soient naturellement atténuées chaque fois qu'elles se produisent.

Voici comment ils ont procédé et ce qu'ils ont trouvé. D'abord, ils avaient besoin de comprendre le « bruit ». Ils ont montré au modèle une série d'images et lui ont demandé de les décrire. Ensuite, ils ont comparé ses descriptions « hallucinées » (où il inventait des choses) avec des descriptions « véridiques » (où il avait raison). En observant les mathématiques à l'intérieur du cerveau du modèle durant ces moments, ils ont découvert que les hallucinations ne sont pas un chaos aléatoire. Au contraire, elles forment un motif distinct, comme un ensemble spécifique de directions sur une carte où le modèle a tendance à s'égarer. Ils ont utilisé une technique classique de traitement du signal appelée « filtre de Wiener » — un outil habituellement utilisé pour nettoyer de vieux appels téléphoniques ou restaurer des photos endommagées — pour calculer précisément comment atténuer ces « directions d'hallucination » spécifiques tout en gardant les « directions véridiques » fortes et claires.

La magie de leur méthode réside dans le fait qu'il s'agit d'un correctif « post-hoc », ce qui signifie qu'ils n'ont pas eu besoin de réentraîner le modèle à partir de zéro. Ils ont effectué un calcul unique et léger à l'aide d'un petit ensemble d'exemples appariés pour identifier le « motif de bruit ». Ensuite, ils ont intégré cette correction directement dans les poids existants du modèle. C'est comme prendre une guitare légèrement désaccordée, tendre les cordes spécifiques qui sont trop lâches, puis laisser la guitare telle quelle. À partir de là, la guitare joue parfaitement juste sans aucun effort supplémentaire de la part du musicien.

Les résultats ont été impressionnants. Lorsqu'ils ont testé ce « filtre de Wiener » sur plusieurs modèles d'IA populaires comme LLaVA-1.5, MiniGPT-4 et mPLUG-Owl2, les modèles ont commencé à faire beaucoup moins d'erreurs. Lors de tests conçus pour détecter les hallucinations (comme les benchmarks CHAIR et POPE), les modèles ont inventé moins d'objets fictifs. Par exemple, sur le test CHAIR, le taux d'erreur pour les hallucinations au niveau de la phrase a considérablement chuté (passant à 14,93 pour LLaVA-1.5, contre environ 18,87). Crucialement, les modèles ne sont pas devenus ennuyeux ou lents ; ils écrivent toujours des légendes fluides et créatives, ils ont simplement cessé d'inventer des choses qui n'étaient pas là. Les auteurs ont également montré que cette astuce fonctionnait sur des tâches de compréhension vidéo et même sur différents types de modèles de langage, suggérant que ce « motif de bruit » est une caractéristique commune du fonctionnement de ces cerveaux d'IA, et non un simple bug propre à un modèle spécifique.

L'article suggère qu'en considérant les hallucinations comme une forme de distorsion structurée plutôt que comme un manque de connaissances, nous pouvons les corriger avec un filtre mathématiquement élégant et simple. Ils ont écarté l'idée que les hallucinations sont causées par un simple « biais » qui pourrait être corrigé en soustrayant une valeur moyenne ; au contraire, l'erreur est complexe et directionnelle, nécessitant une approche nuancée basée sur les fréquences. Bien qu'ils n'aient pas prétendu avoir résolu le problème des hallucinations de l'IA pour toujours, leur méthode offre un outil puissant, sans nécessaire de réentraînement, qui rend ces systèmes d'IA visuels plus fiables sans sacrifier leur vitesse ou leur créativité. C'est un rappel que parfois, la meilleure façon de corriger un signal bruyant n'est pas de crier plus fort, mais d'écouter attentivement et de baisser le volume du statique.

Résumé Technique : Filtrage par Représentation de Wiener pour la Suppression des Hallucinations des VLM

Énoncé du Problème

Les modèles vision-langage (VLM) excellent dans des tâches telles que la légende d'images et les questions-réponses visuelles, mais souffrent fréquemment d'hallucinations d'objets (OH). Ce phénomène consiste en la génération de descriptions plausibles mais factuellement incorrectes, comme l'invention d'objets, d'attributs ou de relations spatiales absents de l'image d'entrée. Les stratégies d'atténuation existantes se divisent généralement en trois catégories :

Méthodes au moment du décodage : Des techniques comme le beam search contraint ou le biais de logit qui modulent la génération, mais qui entraînent souvent un surcoût de calcul significatif (ralentissements de 5 à 10x).
Raffinements post-hoc : Des méthodes comme Woodpecker ou HALC qui nécessitent des adaptations spécifiques à la tâche ou des ressources externes.
Méthodes basées sur l'entraînement : Des approches nécessitant un réentraînement ou un ajustement fin avec des pertes sensibles aux hallucinations, ce qui est coûteux en termes de calcul.

Il subsiste un manque pour une correction sans entraînement et efficace à l'inférence, capable d'opérer sans modifier l'architecture du modèle ni augmenter les coûts d'exécution.

Méthodologie

Les auteurs proposent un cadre de Filtrage par Représentation de Wiener, une technique d'édition post-hoc qui opère dans l'espace de représentation de l'ossature linguistique (language backbone). La méthode traite l'hallucination comme une distorsion spectrale structurée et la corrige via un problème d'estimation linéaire de l'erreur quadratique moyenne minimale (MMSE).

1. Formulation Théorique

L'hypothèse centrale est que les états cachés ( $h$ ) dans un VLM peuvent être modélisés comme la superposition d'une composante véridique ( $s$ ) et d'une distorsion associée à l'hallucination ( $n$ ) :
$h = s + n$
En supposant que $s$ et $n$ sont de moyenne nulle et mutuellement non corrélés, la covariance de la représentation observée se décompose en la somme de la covariance véridique ( $\Sigma_T$ ) et de la covariance de l'hallucination ( $\Sigma_H$ ).

L'estimateur linéaire optimal pour récupérer $s$ à partir de $h$ est l'opérateur de Wiener :
$A^* = \Sigma_T (\Sigma_T + \Sigma_H)^{-1}$

2. Calibrage et Estimation

La méthode nécessite un calibrage hors ligne unique sur un ensemble de données appariées modeste (par exemple, LURE) contenant :

$c^-$ : Légendes vérifiées par l'humain (véridiques).
$c^+$ : Légendes hallucinées générées par le modèle pour la même image.

Pour des couches profondes sélectionnées, les auteurs extraient des représentations moyennées sur la séquence ( $x^-$ et $x^+$ ) pour estimer :

$\Sigma_T$ : La covariance des représentations véridiques.
$\Sigma_H$ : La covariance de la distorsion ( $d = x^+ - x^-$ ).

L'analyse empirique révèle que l'hallucination se manifeste comme une distorsion anisotrope concentrée dans un sous-espace de faible rang (quelques modes propres dominants), plutôt que comme un bruit isotrope.

3. Filtrage Spectral

Pour garantir la stabilité et l'interprétabilité, l'opérateur de Wiener est approximé dans la base propre de $\Sigma_H$ . Soit $\{q_j\}$ les vecteurs propres de $\Sigma_H$ avec les valeurs propres $\lambda_j$ . La variance du signal dans le mode $j$ est $\tau_j^2 = q_j^\top \Sigma_T q_j$ .
Le rapport distorsion-signal est défini par $\nu_j = \lambda_j / \tau_j^2$ .
Le gain de Wiener par mode est :
$\gamma_j = \frac{1}{1 + \nu_j}$
Pour permettre un tranchant ajustable et compenser les erreurs d'estimation, un exposant de netteté $\alpha$ est introduit :
$\tilde{\gamma}_j = (1 + \nu_j)^{-\alpha} = \left( \frac{\tau_j^2}{\tau_j^2 + \lambda_j} \right)^\alpha$
Le filtre final $F_\alpha$ est construit comme $Q \text{diag}(\tilde{\gamma}_1, \dots, \tilde{\gamma}_d) Q^\top$ .

4. Implémentation

Le filtre est appliqué en modifiant les projections de sortie du réseau de propagation directe (FFN) ( $W_{out}$ ) de certaines couches profondes :
$\tilde{W}_{out} = F_\alpha W_{out}$
Puisque $F_\alpha$ est précalculé et absorbé directement dans les poids existants, l'architecture, le nombre de paramètres et la vitesse d'inférence restent inchangés. Aucune mise à jour de gradient ou ajustement fin n'est effectué lors du déploiement.

Principales Contributions

Correction sans entraînement : Une méthode post-hoc qui ne nécessite aucun réentraînement, ajustement fin ou mise à jour de gradient.
Efficacité de l'inférence : La correction est absorbée dans les poids du modèle, n'entraînant aucun surcoût de latence ou de mémoire lors de l'inférence.
Fondement théorique : Formule l'atténuation des hallucinations comme un problème MMSE linéaire, dérivant un estimateur de Wiener en forme fermée qui respecte les critères de stabilité (continuité de Lipschitz de l'opérateur).
Analyse spectrale : Démontre que les hallucinations occupent un sous-espace de faible dimension et anisotrope dans l'espace de représentation, permettant une atténuation ciblée sans détruire l'information sémantique.

Résultats Expérimentaux

La méthode a été évaluée sur LLaVA-1.5, MiniGPT-4, mPLUG-Owl2 et Gemma3 à travers plusieurs benchmarks :

CHAIR (Hallucination de légende) : La méthode a systématiquement obtenu les taux d'hallucination les plus bas (CHAIRS et CHAIRI) parmi tous les modèles, surpassant les bases de comparaison basées sur le décodage (OPERA, VCD, HALC). Par exemple, sur LLaVA-1.5, le CHAIRS est passé de 18,87 (Greedy) à 14,93.
POPE (Présence d'objet) : Amélioration de l'ancrage factuel (Précision, Exactitude, F1) dans les contextes Random, Popular et Adversarial, atteignant souvent les scores les plus élevés parmi les méthodes comparées.
MME (Évaluation Multimodale) : Performance supérieure sur 10 sous-ensembles de l'ancrage visuel (ex: Comptage, Art, Célébrité) par rapport aux stratégies concurrentes.
Généralisation :
- Compréhension Vidéo : Réduction réussie des hallucinations dans le benchmark TempCompass (raisonnement temporel) bien qu'ayant été calibrée sur des images statiques.
- Modèles de Diffusion Discrets : Appliquée à Dream-v0-Instruct-7B pour le dialogue ancré (FaithDial), réduisant considérablement les taux d'hallucination (ex: de 92% à 74% via FaithCritic) tout en améliorant les métriques d'ancrage.
- Transfert de Domaine : Montre que les filtres appris sur un jeu de données (ex: LURE) peuvent efficacement réduire les hallucinations sur des jeux de données non vus (ex: TruthfulQA, CHAIR) sans ré-ajustement.

Signification et Revendications

L'article affirme qu'en modélisant l'hallucination comme une distorsion spectrale structurée plutôt que comme un bruit aléatoire, il est possible de dériver une correction stable et fondée qui supprime les modes dominés par l'hallucination tout en préservant les directions sémantiquement ancrées.

Les principales revendications concernant l'impact de la méthode incluent :

Stabilité : La formulation continue garantit que les petites erreurs d'estimation de la covariance induisent des changements proportionnellement bornés de l'opérateur, évitant l'instabilité de la troncature de rang stricte.
Préservation de la fluidité : Contrairement aux méthodes qui élaguent agressivement les représentations, le filtre de Wiener atténue les modes en fonction de leur rapport distorsion-signal, maintenant la fluidité des légendes et la qualité globale des réponses (les scores BLEU restent compétitifs).
Généralité : L'approche n'est pas limitée à des architectures VLM ou des stratégies de fusion spécifiques (fusion précoce, de pont ou intermédiaire) et s'étend au raisonnement vidéo temporel ainsi qu'aux modèles de langage basés sur la diffusion.
Efficacité : Elle offre une solution "plug-and-play" qui élimine les ralentissements d'inférence associés aux interventions au moment du décodage et les coûts de calcul des méthodes basées sur l'entraînement.

Les auteurs concluent que ce travail fournit un mécanisme fondé pour la suppression des hallucinations qui aligne la génération avec les preuves visuelles sans compromettre l'intégrité de la représentation interne du modèle ni l'efficacité de l'inférence.