💬 NLP

Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization

Cet article propose l'In-Context Visual Contrastive Optimization (IC-VCO), un cadre mathématiquement rigoureux enrichi par la distillation de contraste visuel et une génération précise de négatifs difficiles, afin d'atténuer efficacement les hallucinations multimodales dans les modèles vision-langage en répondant aux limites des méthodes de préférence visuelle existantes.

Auteurs originaux : Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'IA qui « Rêvasse »

Imaginez un étudiant très intelligent (l'IA) qui passe un examen sur une image. L'étudiant est excellent pour lire et parler, mais parfois, en regardant une photo, il se laisse distraire et commence à « rêvasser ». Il peut décrire des choses qui n'existent pas ou ignorer ce qui se trouve réellement dans l'image, se fiant plutôt à ce qu'il pense qu'il se passe habituellement dans cette situation. C'est ce qu'on appelle l'hallucination multimodale.

Pendant longtemps, les professeurs (les chercheurs) ont essayé de corriger cela en corrigeant simplement les mots de l'étudiant. Ils disaient : « Tu as dit qu'il y avait un chat, mais la photo montre un chien. Réessaie. » Mais l'article soutient que cela ne suffit pas, car le professeur n'a pas forcé l'étudiant à réellement regarder attentivement la photo ; il s'est contenté de corriger le texte.

L'Ancienne Méthode : La Méthode du « Échanger et Oublier »

Les tentatives précédentes pour corriger cela impliquaient une méthode de « préférence visuelle ». Imaginez montrer à l'étudiant deux photos différentes :

Photo A : Une vraie photo d'un chien.
Photo B : Une photo totalement différente d'un chat.

Le professeur demande : « Quelle photo correspond à la phrase 'Il y a un chien' ? »

La faille 1 (Le problème mathématique) : L'ancienne méthode essayait de comparer la réponse de l'étudiant pour la Photo A par rapport à la Photo B. Cependant, comme les photos étaient si différentes, les mathématiques derrière l'entraînement sont devenues « confuses ». C'était comme essayer de comparer le prix d'une pomme à celui d'une voiture pour décider laquelle est un meilleur fruit. La comparaison n'était ni équitable, ni mathématiquement saine.
La faille 2 (Le code de triche) : La « mauvaise » photo (Photo B) était souvent tellement différente (peut-être un style, un éclairage ou un arrière-plan différent) que l'étudiant pouvait tricher. Au lieu d'apprendre à repérer le chien, l'étudiant a simplement appris : « Oh, si l'image a l'air bizarre ou a un arrière-plan différent, c'est la mauvaise réponse. » Il a pris un raccourci au lieu d'apprendre les détails précis.

La Nouvelle Solution : IC-VCO

Les auteurs proposent un nouveau cadre appelé IC-VCO (In-Context Visual Contrastive Optimization). Considérez cela comme un camp d'entraînement plus intelligent et plus rigoureux.

1. La Comparaison « Côte à Côte » (Contraste Visuel In-Context)

Au lieu de montrer à l'étudiant deux tests différents à des jours différents, l'IC-VCO place les deux photos sur le même bureau en même temps.

L'installation : L'étudiant voit la Photo A (le chien) et la Photo B (le chat) côte à côte.
L'instruction : Le professeur pointe du doigt et dit : « Pour cette question spécifique, regarde uniquement la première photo. » Puis, pour la question suivante, il dit : « Maintenant, regarde uniquement la deuxième photo. »
Pourquoi ça marche : Comme les deux photos sont dans le même « contexte » (sur le même bureau), les mathématiques fonctionnent parfaitement. L'étudiant ne peut pas tricher en regardant le style de l'arrière-plan car les arrière-plans sont identiques ; il doit se concentrer sur l'objet spécifique que le professeur a désigné. Cela résout le problème des « mathématiques confuses ».

2. L'« Édition Chirurgicale » (Édition d'Échantillon Contrastive)

Pour empêcher l'étudiant de prendre des raccourcis, les auteurs ont créé une nouvelle façon de créer les « mauvaises » photos.

Ancienne méthode : Ils généraient une toute nouvelle image à partir de zéro. C'était comme remplacer toute la salle de classe par une autre. L'étudiant pouvait facilement dire : « Ce n'est pas la bonne pièce. »
Nouvelle méthode (Édition chirurgicale) : Ils prennent la photo originale et effectuent un changement minuscule et précis.
- Exemple : Si la photo contient une pomme rouge, ils la transforment chirurgicalement en une pomme verte, mais gardent la table, l'éclairage et l'arrière-plan exactement les mêmes.
- Le résultat : L'étudiant ne peut pas tricher en regardant l'arrière-plan. Il doit regarder attentivement pour voir que la pomme est verte et non rouge. Cela force l'IA à apprendre les détails fins plutôt que de deviner selon l'ambiance générale.

3. Le « Pont » (Distillation de Contraste Visuel)

Il y a un bémol : l'entraînement se déroule avec deux photos sur le bureau, mais dans le monde réel, l'IA ne voit généralement qu'une seule photo à la fois.

Le problème : Si vous entraînez l'étudiant uniquement sur des comparaisons « côte à côte », il pourrait être confus lorsqu'il est seul dans une pièce avec une seule photo.
La solution (Distillation) : Les auteurs ont ajouté une étape de « pont ». Ils utilisent la performance de l'étudiant sur le test « côte à côte » pour l'aider à améliorer sa performance sur le test de la « photo unique ». C'est comme un entraîneur qui regarde l'étudiant s'exercer avec un partenaire, puis lui donne des conseils sur la façon d'appliquer ces compétences lorsqu'il s'entraîne seul.

Les Résultats

Les auteurs ont testé cette nouvelle méthode sur cinq différents « examens » (benchmarks) conçus pour piéger les hallucinations de l'IA.

Le dénouement : La méthode IC-VCO a mieux performé que toutes les méthodes précédentes.
La recette secrète : L'« Édition chirurgicale » (apporter des changements minuscules et précis aux photos) a été la clé. Elle a prouvé que lorsque vous donnez à l'IA des exemples « difficiles » qui se ressemblent presque parfaitement mais présentent une petite différence, l'IA apprend à prêter attention aux détails bien mieux.

Résumé

En bref, l'article affirme que pour empêcher l'IA d'inventer des choses sur les images, il ne faut pas seulement lui montrer des images différentes. Il faut lui montrer deux images côte à côte et la forcer à les comparer. De plus, créez la « mauvaise » image en modifiant un détail infime de l'image originale plutôt qu'en la remplaçant entièrement. Cela force l'IA à arrêter de deviner et à commencer à vraiment regarder.

Résumé Technique : Optimisation de Contraste Visuel en Contexte (IC-VCO)

Énoncé du Problème

L'hallucination multimodale demeure un défi persistant pour les modèles vision-langage (VLM), caractérisé par une « négligence visuelle » où les modèles s'appuient sur les priors linguistiques plutôt que de fonder leurs réponses sur l'entrée visuelle. Bien que l'Optimisation de Préférence Directe (DPO) soit un paradigme standard de post-entraînement pour aligner les modèles sur l'intention humaine, la DPO textuelle standard échoue à atténuer les hallucinations multimodales car elle traite l'image simplement comme une condition statique, manquant ainsi d'une supervision visuelle explicite.

Les tentatives existantes pour introduire la préférence visuelle dans la DPO (Visual Preference DPO) construisent des paires en contrastant une image originale ( $m$ ) contre une image négative ( $m'$ ) tout en gardant le prompt textuel fixe. Cependant, l'article identifie deux limitations critiques dans ces approches :

Objectif Théoriquement Incohérent : En modifiant le contexte visuel entre les paires de préférences, les fonctions de partition ( $Z(m, x)$ et $Z(m', x)$ ) de la politique de référence ne s'annulent pas. Cela laisse un terme de biais résiduel et intraçable dans la fonction d'objectif, rendant l'optimisation théoriquement incohérente avec la formulation DPO originale.
Négatifs à Grain Grossier : Les méthodes actuelles génèrent généralement des images négatives via la recherche ou la synthèse texte-image. Celles-ci présentent souvent des différences stylistiques distinctes ou des écarts sémantiques importants par rapport à l'entrée originale. De telles divergences grossières permettent aux modèles d'apprendre des « raccourcis » (par exemple, rejeter une image en se basant sur le style global plutôt que sur des faits visuels précis) plutôt que de développer un ancrage visuel précis.

Méthodologie

Les auteurs proposent l'Optimisation de Contraste Visuel en Contexte (IC-VCO), un cadre conçu pour résoudre les incohérences théoriques et imposer un ancrage visuel fin grâce à trois composantes clés :

1. Optimisation de Contraste Visuel en Contexte

Pour résoudre le décalage de la fonction de partition, l'IC-VCO restructure la configuration d'entraînement en plaçant à la fois l'image originale ( $m$ ) et l'image de contraste ( $m'$ ) dans un contexte multi-images partagé $M = [m, m']$ .

Extension du Prompt d'Ancrage : Puisque le contexte contient plusieurs images, le prompt textuel est étendu avec une instruction d'ancrage (ex. : « répondez en vous basant sur la première image ») pour spécifier explicitement sur quelle image le modèle doit ancrer sa réponse.
Cohérence Théorique : En comparant les réponses sous le même contexte partagé $M$ et le même prompt d'ancrage, la fonction de partition $Z(M, \hat{x})$ reste identique pour les réponses choisies et rejetées. Cela permet à la fonction de partition de s'annuler rigoureusement, restaurant la validité mathématique de l'objectif DPO.

2. Distillation de Contraste Visuel (VCDist)

Il existe un écart entre la configuration d'entraînement (contexte multi-images) et l'inférence standard (entrée image unique). Pour combler ce fossé, les auteurs introduisent la VCDist, un régularisateur auxiliaire.

Mécanisme : La VCDist utilise la distribution de préférence apprise dans le contexte multi-images comme un « enseignant » pour guider la politique à image unique (« étudiant »).
Double Portier (Dual-Gating) : Pour garantir la fiabilité, un mécanisme de double portier filtre les signaux de distillation :
- Portier de Correction : Assure que le signal de l'enseignant est fiable (probabilité > 0,5).
- Portier de Confiance : Active la distillation uniquement lorsque la confiance de l'étudiant est inférieure à celle de l'enseignant, évitant ainsi les pénalités inverses.
Objectif : Cela encourage la politique à image unique à rester compatible avec les signaux de contraste d'entraînement, réduisant ainsi le décalage de contexte entre l'entraînement et l'inférence.

3. Édition de l'Échantillon de Contraste

Pour prévenir l'apprentissage de raccourcis causé par des négatifs grossiers, l'article introduit une stratégie d'Édition d'Échantillon de Contraste.

Intervention Chirurgicale : Au lieu d'une synthèse ou d'une recherche globale, la méthode effectue des modifications précises et localisées sur les images originales.
Processus : Un VLM expert génère une instruction d'édition pour soit réaliser un détail halluciné (rendant une affirmation fausse vraie), soit injecter une contradiction (rendant une affirmation vraie fausse) concernant des attributs, une existence ou des relations spécifiques.
Préservation : Le pipeline d'édition (utilisant Qwen-Image-Edit) préserve le rapport d'aspect, l'éclairage et le contexte d'arrière-plan originaux, garantissant que la seule différence entre l'image originale et l'image éditée est le concept sémantique ciblé. Cela force le modèle à apprendre les divergences visuelles fines plutôt que les changements de style globaux.

Contributions Clés

Objectif Théoriquement Rigoureux : L'IC-VCO est le premier cadre qui formule l'optimisation de préférence visuelle au sein d'un contexte partagé, garantissant que les fonctions de partition s'annulent et éliminant le biais théorique inhérent aux précédentes méthodes de Visual Preference DPO.
Régularisateur VCDist : L'introduction de la Distillation de Contraste Visuel calibre efficacement la politique d'inférence à image unique en utilisant des signaux de contraste multi-images, traitant le décalage de distribution entre l'entraînement et l'inférence.
Négatifs Difficiles à Grain Fin : Le pipeline d'Édition d'Échantillon de Contraste génère des négatifs difficiles de haute qualité qui maintiennent une stricte cohérence stylistique avec les données originales, obligeant les modèles à apprendre un ancrage visuel fin plutôt qu'à exploiter des raccourcis grossiers.
Validation Empirique : La méthode atteint des performances de pointe sur cinq benchmarks diversifiés (HallusionBench, AMBER, CRPE, R-Bench, BLINK) sur deux modèles de base différents (LLaVA-NeXT-Interleave et LLaVA-OneVision).

Résultats

Les expériences démontrent que l'IC-VCO surpasse les lignes de base existantes (incluant mDPO, V-DPO, S-VCO et SymMPO) tant dans les configurations d'échantillons synthétiques qu'édités.

Gains de Performance : Sur LLaVA-NeXT-Interleave, l'IC-VCO améliore le score global de 1,19 point (synthétique) et 1,24 points (édité) par rapport à la meilleure ligne de base. Sur LLaVA-OneVision, les améliorations sont respectivement de 0,26 et 0,48 points.
Généralisation : Le remplacement des échantillons synthétiques par les échantillons édités proposés améliore les performances de toutes les méthodes de base, validant l'utilité des négatifs difficiles à grain fin.
Études d'Ablation : Le retrait de la branche à image unique, de la VCDist ou du masque de jetons dégrade considérablement les performances, confirmant la nécessité de chaque composante. L'étude vérifie également que la branche multi-images fournit un signal de préférence plus fort que la branche à image unique, justifiant l'approche de distillation.

Signification et Revendications

L'article affirme que l'IC-VCO fournit une base mathématiquement rigoureuse pour l'alignement de la préférence visuelle, résolvant les incohérences théoriques qui ont entravé les précédentes approches de DPO multimodale. En combinant un objectif théoriquement cohérent avec une stratégie de génération de négatifs difficiles à grain fin, la méthode atténue efficacement les hallucinations multimodales sans dépendre de raccourcis grossiers.

Les auteurs positionnent ce travail comme une solution spécifique pour l'alignement de préférence en post-entraînement des VLM. Ils déclarent explicitement que cette méthode est complémentaire, et non un remplacement, des autres mécanismes de sécurité (tels que les interventions au moment du décodage ou le feedback humain) et qu'elle n'est pas une solution complète pour toutes les hallucinations multimodales, particulièrement dans les scénarios de monde ouvert à enjeux élevés. La contribution principale est l'établissement d'un cadre d'optimisation plus fiable qui force les modèles à distinguer les preuves visuelles fines.