💻 computer science

Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization

Cet article identifie que l'optimisation de préférence directe (DPO) standard sous-utilise l'information contextuelle, entraînant des hallucinations d'objets dans les grands modèles de langage multimodaux, et propose le C²-DPO (Context-Calibrated DPO), une méthode qui maximise explicitement le gain de préférence contextuelle pour réduire significativement les hallucinations tout en préservant les capacités de raisonnement général.

Auteurs originaux : Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

Publié 2026-08-13

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent à décrire le monde qui l'entoure. Vous lui montrez la photo d'un chien et lui demandez : « Que vois-tu ? ». Idéalement, le robot devrait dire : « Je vois un chien ». Mais parfois, ces modèles d'IA se montrent un peu trop créatifs. Ils pourraient dire : « Je vois un chien portant un chapeau rouge », même s'il n'y a pas de chapeau sur la photo. C'est ce qu'on appelle une « hallucination ». C'est comme si le robot était en train de rêver éveillé au lieu de regarder ce qui est réellement présent.

Pour corriger cela, les scientifiques utilisent une méthode d'entraînement appelée « Optimisation de Préférence » (Preference Optimization). Voyez cela comme un jeu de « Chaud ou Froid ». Vous montrez au robot deux réponses : une qui est vraie (la réponse « chaude ») et une qui est inventée (la réponse « froide »). Le robot apprend à choisir la bonne. Récemment, des chercheurs ont essayé de rendre cela encore meilleur en donnant au robot des indices supplémentaires, comme une description écrite de l'image, dans l'espoir qu'il utilise ces indices pour arrêter de rêver éveillé. Mais voici la grande question : le robot utilise-t-il réellement ces indices, ou les ignore-t-il pour simplement deviner ?

C'est précisément ce que l'article « Context Blindness in DPO » étudie. Les auteurs, une équipe de chercheurs de l'Université de Corée et du KAIST, ont découvert que même avec ces indices supplémentaires, de nombreux modèles d'IA souffrent de « Cécité Contextuelle » (Context Blindness). Ils ont découvert que les méthodes d'entraînement standards ne parviennent pas réellement à apprendre au robot à prêter attention aux informations supplémentaires. Pour corriger cela, ils ont inventé une nouvelle technique d'entraînement appelée C2-DPO (Context-Calibrated Direct Preference Optimization). Au lieu de simplement dire au robot quelle réponse est la meilleure, le C2-DPO lui apprend à être beaucoup plus confiant dans la bonne réponse lorsqu'il possède des indices supplémentaires, et à rester confiant même lorsque les indices sont absents. Leurs expériences montrent que cette nouvelle méthode réduit considérablement les rêves éveillés du robot, faisant de lui un observateur beaucoup plus fiable du monde réel.

Le Problème : L'habitude de rêve éveillé du robot

Les Modèles de Langage Multimodaux (MLLM) sont comme des caméras surpuissantes dotées d'un cerveau. Ils peuvent regarder une photo et en parler. Mais ils ont une habitude agaçante : ils inventent souvent des détails. Si vous leur montrez une assiette blanche ordinaire, ils pourraient affirmer avec assurance : « Il y a une part de pizza sur l'assiette ». La phrase semble parfaite, mais c'est un mensonge. C'est l'« hallucination d'objet ».

Pour stopper cela, les scientifiques utilisent une méthode appelée Direct Preference Optimization (DPO). Imaginez que vous êtes un professeur corrigeant la dissertation d'un élève. Vous en avez deux versions : l'une est exacte, l'autre est pleine de mensonges. Vous dites à l'élève : « Je préfère la version exacte ». Avec le temps, l'élève apprend à écrire comme la version exacte. Dans le monde de l'IA, les chercheurs donnent au modèle des paires de réponses — une vraie, une hallucinée — et l'entraînent à toujours choisir la vraie.

Récemment, certains chercheurs ont essayé d'aider l'IA encore davantage. Ils ont ajouté un « texte d'aide » (comme une légende) à l'image avant de poser la question. L'idée était : « Si le robot lit la légende et regarde l'image, il ne fabriquera pas de choses ». Mais les auteurs de cet article ont posé une question suspicieuse : Le robot lit-il vraiment la légende, ou l'ignore-t-il simplement pour deviner ?

La Découverte : Le robot « aveugle »

Pour trouver la réponse, les auteurs ont créé un test simple appelé Contextual Preference Gain (CPG). Considérez le CPG comme un « Compteur de Confiance ».

Voici comment fonctionne le test :

Le Contexte Complet : Vous montrez au robot une image plus une légende utile. Vous demandez : « Y a-t-il une pizza sur l'assiette ? ». Le robot dit : « Non, elle est vide ». Vous vérifiez son niveau de confiance.
Le Contexte Dégradé : Vous retirez la légende. Vous montrez au robot uniquement l'image et posez la même question. Le robot dit : « Non, elle est vide ». Vous vérifiez à nouveau son niveau de confiance.

Si le robot est vraiment attentif, il devrait être beaucoup plus confiant lorsqu'il possède la légende. Le « Compteur de Confiance » (CPG) devrait augmenter. C'est ce qu'un robot intelligent et ancré dans la réalité devrait faire.

Cependant, lorsque les auteurs ont testé les modèles d'IA standards (en utilisant le DPO habituel), ils ont découvert quelque chose de choquant. Le Compteur de Confiance n'a presque pas bougé. Que le robot ait la légende ou non, il ressentait exactement le même niveau de confiance. Le robot était aveugle au contexte. Il ignorait l'aide supplémentaire et se fiait à ses propres suppositions, ce qui menait à ces gênantes hallucinations.

Les auteurs ont trouvé un lien fort : plus le compteur de confiance d'un modèle augmente lorsqu'on lui donne des indices supplémentaires (CPG élevé), moins il raconte de mensonges. Mais les modèles standards avaient un CPG proche de zéro. Ils étaient essentiellement « aveugles » au contexte qu'ils étaient censés utiliser.

La Solution : C2-DPO (L'entraîneur « calibré sur le contexte »)

Alors, comment apprendre à voir à un robot aveugle ? Les auteurs ont proposé une nouvelle méthode d'entraînement appelée C2-DPO.

Au lieu de simplement dire « Choisis la bonne réponse », le C2-DPO change les règles du jeu. Il force le robot à apprendre une leçon spécifique : « Quand tu as des indices supplémentaires, tu dois être beaucoup plus sûr de ta réponse que lorsque tu n'en as pas. »

Ils font cela grâce à une astuce mathématique particulière (une fonction de perte) qui récompense le robot pour l'élargissement de l'écart entre ses niveaux de confiance.

Scénario A (Contexte Complet) : Le robot voit l'image et la légende. Il doit être très confiant dans le fait que la réponse est correcte.
Scénario B (Contexte Dégradé) : Le robot ne voit que l'image. Il doit toujours être confiant, mais l'entraînement garantit que la confiance du « Contexte Complet » est significativement plus élevée.

C'est comme entraîner un détective. Un détective standard pourrait résoudre une affaire avec ou sans témoin. Mais un détective entraîné par C2-DPO est formé pour dire : « Si j'ai un témoin, je suis sûr à 100 % ! Si je n'en ai pas, je suis toujours assez sûr, mais je sais que j'ai besoin de plus de preuves ». Cela force l'IA à réellement utiliser l'information supplémentaire (le témoin/la légende) pour renforcer son raisonnement.

Les Résultats : Moins de rêves, plus de vérité

Les auteurs ont testé cette nouvelle méthode sur plusieurs modèles d'IA célèbres, notamment LLaVA-v1.5-7B et Qwen2-VL-Instruct-2B. Ils ont comparé le C2-DPO aux anciennes méthodes standards sur un test appelé Object HalBench, conçu pour attraper les robots qui inventent des objets.

Les résultats sont impressionnants :

Pour le modèle Qwen2-VL-Instruct-2B, le C2-DPO a réduit le taux de réponses hallucinées de 36 % et le taux de mentions hallucinées (mots spécifiques) de 60 %.
Sur le benchmark AMBER, le score d'hallucination est passé de 39,9 (avec l'ancienne méthode) à 16,1 (avec le C2-DPO).
Crucialement, les modèles ne sont pas devenus « plus bêtes » pour les autres tâches. Ils répondent toujours aux questions générales et résolvent des énigmes logiques aussi bien qu'avant. Ils ont simplement arrêté d'inventer des choses.

Les auteurs ont également montré que cette astuce fonctionne même sans images. Lorsqu'ils ont appliqué la même logique à des modèles uniquement textuels (utilisant seulement des questions et des réponses), cela a tout de même amélioré leur précision. Cela suggère que le problème n'était pas seulement lié à la « vision » de l'image, mais plutôt à la façon dont le modèle apprenait à valoriser l'information qui lui était donnée.

Pourquoi cela importe

Cet article suggère que la façon dont nous entraînons actuellement l'IA pour être « honnête » pourrait omettre un ingrédient clé. Nous lui donnions des indices supplémentaires en espérant qu'elle les utilise, mais la méthode d'entraînement ne la forçait pas à prêter attention. En ajustant simplement l'entraînement pour récompenser la « confiance consciente du contexte », les auteurs ont montré que nous pouvons rendre les modèles d'IA nettement plus fiables sans avoir besoin de nouveaux jeux de données massifs ou de nouvelles architectures complexes.

C'est un rappel que, parfois, la meilleure façon d'empêcher un robot de rêver éveillé n'est pas de lui donner plus de données, mais de lui apprendre à valoriser les données qu'il possède déjà. Comme les auteurs l'ont constaté, lorsque l'on calibre le modèle pour qu'il respecte le contexte, les hallucinations s'effacent et le robot commence à dire la vérité.

Résumé Technique : Cécité au Contexte dans la DPO : Atténuer l'Hallucination d'Objets dans les MLLM via l'Optimisation de Préférence Calibrée sur le Contexte

1. Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) ont réalisé des progrès significatifs dans les tâches de vision-langage, mais restent sujets à l'hallucination d'objets, où les modèles génèrent des descriptions sémantiquement plausibles qui contredisent l'entrée visuelle. Bien que la Direct Preference Optimization (DPO) et ses variantes aient été employées pour atténuer ce phénomène en entraînant les modèles à préférer les réponses non hallucinées aux réponses hallucinées, des efforts récents enrichissant les données de préférence avec un contexte pertinent (par exemple, des légendes auxiliaires) ont donné des résultats peu clairs concernant l'utilisation réelle de ce contexte par le modèle.

Les auteurs identifient une limitation fondamentale dans les objectifs d'optimisation de préférence existants : ils sont aveugles au contexte. La DPO standard optimise la marge de préférence pour une entrée $x$ fixe, mais ne récompense pas explicitement le modèle pour renforcer sa préférence lorsqu'un contexte plus riche est fourni. Par conséquent, même lorsqu'ils sont entraînés sur des données contenant un contexte utile, les modèles échouent souvent à exploiter cette information pour ancrer leurs réponses, ce qui conduit à une persistance des hallucinations.

2. Méthodologie

2.1 Métrique de Diagnostic : Gain de Préférence Contextuel (CPG)

Pour étudier si les modèles exploitent réellement le contexte, les auteurs introduisent le Contextual Preference Gain (CPG). Cette métrique quantifie le changement de la force de préférence d'un modèle lorsqu'un contexte supplémentaire pertinent est fourni.

Étant donné une entrée de contexte complet $x$ (image, requête et légende auxiliaire) et une entrée de contexte dégradé $x'$ (image et requête uniquement, la légende ayant été supprimée), la note de préférence est définie comme la marge de récompense implicite entre la réponse préférée ( $y_w$ ) et la réponse dépréciée ( $y_l$ ) :
$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$

Le CPG est calculé comme la différence entre ces scores :
$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$

Observations Clés :

Corrélation : Il existe une forte corrélation négative entre le CPG et les taux d'hallucination ; les modèles présentant un CPG élevé présentent systématiquement moins d'hallucinations.
Cécité au Contexte : La DPO standard et ses variantes (SimPO, RDPO) présentent des distributions de CPG concentrées près de zéro. Cela indique que la suppression du contexte auxiliaire provoque un changement minimal dans la préférence du modèle, révélant que ces modèles n'utilisent pas efficacement l'information contextuelle pour l'ancrage.

2.2 Solution Proposée : C2-DPO (Context-Calibrated DPO)

Pour remédier à la cécité au contexte, les auteurs proposent la C2-DPO, un cadre qui maximise explicitement le CPG tout en préservant l'ordre de préférence correct sous des conditions dégradées. L'approche est formulée comme un problème d'optimisation sous contrainte :

Objectif : Maximiser la marge de préférence sous le contexte complet ( $x$ ).
Contrainte 1 : La marge de préférence sous le contexte complet doit être supérieure à celle sous le contexte dégradé ( $x'$ ), garantissant un CPG positif.
Contrainte 2 : La marge de préférence sous le contexte dégradé doit rester positive, garantissant que le modèle préfère toujours la bonne réponse même sans indices auxiliaires.

Ces contraintes sont relaxées en un objectif d'entraînement différentiable comprenant trois termes :
$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$

$\mathcal{L}_{\text{DPO}}(x)$ : Perte DPO standard sur le contexte complet pour maintenir l'alignement.
$\mathcal{L}_c(x, x')$ (Perte de Calibration de la Préférence Contextuelle) : Une perte contrastive qui traite le contexte complet comme positif et le contexte dégradé comme négatif, maximisant explicitement l'écart (CPG) entre eux.
$\mathcal{L}_{\text{DPO}}(x')$ : Perte DPO standard sur le contexte dégradé pour s'assurer que le modèle maintient un ordre de préférence correct même lorsque le contexte est absent, empêchant le modèle de simplement abaisser le score de la réponse préférée pour gonfler artificiellement le CPG.

3. Contributions Clés

Identification de la Cécité au Contexte : Les auteurs révèlent que les méthodes d'optimisation de préférence existantes ne parviennent pas à exploiter l'information contextuelle, comme en témoignent les distributions de CPG proches de zéro.
Introduction du CPG : Une métrique de diagnostic qui quantifie la relation entre l'utilisation du contexte et les taux d'hallucination, démontrant qu'un CPG élevé est corrélé à une réduction des hallucinations.
Cadre C2-DPO : Une méthode d'alignement de préférence générale qui optimise explicitement le gain de préférence contextuel. Elle est conçue pour être indépendante du modèle et peut être intégrée de manière transparente à diverses variantes d'optimisation de préférence (DPO, SimPO, RDPO) et appliquée aux domaines multimodaux et textuels uniquement.

4. Résultats Expérimentaux

Les auteurs ont évalué C2-DPO sur deux MLLM (LLaVA-v1.5-7B et Qwen2-VL-Instruct-2B) à travers plusieurs benchmarks.

Réduction des Hallucinations :
- Sur Object HalBench, C2-DPO a réduit le taux d'hallucination de Qwen2-VL-Instruct-2B de 36 % (niveau réponse) et de 60 % (niveau mention) par rapport à la ligne de base, surpassant les méthodes de pointe comme C-DPO et HA-DPO.
- Sur AMBER, C2-DPO a obtenu un score d'hallucination de 16,1, nettement inférieur à celui de la DPO vanilla (39,9) et de C-DPO (17,5).
- Les améliorations ont été constantes à travers différentes échelles de modèles et architectures.
Préservation du Raisonnement Général :
- C2-DPO a maintenu de solides performances sur les benchmarks de raisonnement multimodal général (ScienceQA, MM-Vet, TextVQA), indiquant que la réduction des hallucinations ne compromet pas les capacités générales de suivi d'instructions ou de raisonnement.
Généralisabilité :
- Variantes : L'intégration de la perte de calibration dans SimPO et RDPO (résultant en C2-SimPO et C2-RDPO) a produit des améliorations constantes, confirmant l'orthogonalité de la méthode par rapport à l'objectif d'optimisation sous-jacent.
- Texte uniquement : Dans les configurations de LLM textuels uniquement (AlpacaEval 2), l'application de la stratégie de calibration a amélioré les performances tant pour DPO que pour SimPO, suggérant que le principe de modélisation de préférence sensible au contexte s'étend au-delà des domaines multimodaux.
Robustesse :
- Des expériences avec un contexte bruité (masquage aléatoire des légendes) ont montré que C2-DPO reste robuste, l'écart de performance entre C2-DPO et les lignes de base s'élargissant à mesure que le bruit augmente.
Dynamique d'Apprentissage :
- L'analyse de l'entraînement a montré que C2-DPO augmente régulièrement le CPG tout au long de l'entraînement, tandis que les méthodes de base (comme C-DPO) restent proches de zéro.
- Il a été observé que le CPG augmente linéairement avec la quantité de contexte pertinent (nombre de phrases et de mots), confirmant la sensibilité du modèle à la richesse du contexte.

5. Signification et Revendications

L'article affirme que la limitation principale de l'optimisation de préférence actuelle dans les MLLM n'est pas la qualité des données, mais l'incapacité de l'objectif d'optimisation à imposer l'ancrage contextuel. En modélisant explicitement la façon dont le contexte façonne la préférence, C2-DPO fournit une approche fondée sur des principes pour atténuer l'hallucination d'objets.

Les auteurs soulignent que leur méthode :

Ne nécessite pas de changements architecturaux complexes ou de modèles de récompense supplémentaires.
Repose uniquement sur le contraste entre les entrées complètes et dégradées, ce qui la rend applicable à d'autres modalités et tâches où le contexte peut être défini.
Offre une stratégie unifiée pour améliorer la fiabilité de l'optimisation de préférence, étendant les bénéfices de l'ancrage multimodal à l'alignement factuel textuel uniquement.

Le travail conclut qu'étalonner explicitement les scores de préférence par rapport aux informations contextuelles est un principe largement utile pour améliorer la fiabilité factuelle des modèles génératifs.