Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation

Ce papier présente CAPL, un cadre structuré qui atténue les hallucinations des modèles vision-langage sur des tâches multi-images en calibrant l'attention inter-images et en apprenant des préférences pour ancrer les prédictions dans des preuves visuelles authentiques.

L'essentiel

🎨 Le Problème : Le "Rêve" des IA à plusieurs images

Imaginez que vous avez un ami très intelligent, mais un peu distrait. Si vous lui montrez une seule photo d'un chat, il vous dira : "C'est un chat". Parfait.

Mais si vous lui montrez deux photos côte à côte (par exemple, une photo d'un chat noir et une photo d'un chat blanc) et que vous lui demandez : "Lequel des deux a les yeux bleus ?", il risque de faire une erreur grave.

C'est ce qu'on appelle une hallucination dans le monde de l'Intelligence Artificielle (IA). L'IA invente des faits plausibles mais faux. Pourquoi ? Parce que les IA actuelles (les grands modèles de vision et de langage) lisent les images l'une après l'autre, comme si elles lisaient un livre page par page.

• La première image est lue.
• La deuxième image est lue, mais l'IA a tendance à oublier les détails précis de la première pour se concentrer sur ce qu'elle vient de voir.
• Résultat : L'IA ne "compare" pas vraiment les deux images en même temps. Elle devine en se basant sur ce qu'elle pense être logique, plutôt que sur ce qu'elle voit vraiment.

C'est comme si vous essayiez de comparer deux objets en les regardant avec un œil bandé, un à la fois.

---

💡 La Solution : CAPL (Le "Regard Croisé" et le "Juge de Paix")

Les auteurs de ce papier proposent une nouvelle méthode appelée CAPL. Pour faire simple, c'est comme donner à l'IA deux super-pouvoirs :

1. Le "Regard Croisé" (Calibration de l'Attention)

Imaginez que l'IA est un détective qui examine une scène de crime.

• Avant : Le détective regarde la pièce A, puis la pièce B. Il ne peut pas voir la pièce A pendant qu'il est dans la pièce B. Il doit se souvenir de tout, ce qui est difficile.
• Avec CAPL : On donne au détective des lunettes spéciales qui lui permettent de voir les deux pièces en même temps, et de faire des allers-retours instantanés entre elles.

Techniquement, les chercheurs ont modifié le "cerveau" de l'IA pour qu'elle puisse connecter les détails importants de la première image directement avec ceux de la deuxième image, peu importe l'ordre. C'est comme si on permettait à deux personnes de discuter en même temps au lieu de se passer la parole.

2. Le "Juge de Paix" (Apprentissage par Préférence)

Même avec les lunettes, l'IA peut encore avoir de mauvaises habitudes. Il faut donc l'entraîner à ne pas halluciner. C'est là qu'intervient la deuxième partie : l'apprentissage par préférence.

Imaginez un entraînement militaire ou sportif :

• Le Scénario "Positif" (La bonne réponse) : On montre à l'IA les deux images avec ses nouvelles lunettes (elle voit tout). Elle donne la bonne réponse. On lui dit : "Bravo, c'est ça qu'il faut faire !"
• Le Scénario "Négatif" (La mauvaise réponse) : On lui enlève ses lunettes et on lui brouille la vue entre les deux images (on lui interdit de comparer). On la force à deviner. Elle va probablement se tromper et inventer des choses. On lui dit : "Non, c'est faux ! Regarde, quand tu ne compares pas, tu hallucines."

En répétant cet exercice des milliers de fois, l'IA apprend : "Ah, je dois absolument comparer les images pour avoir la bonne réponse. Si je ne le fais pas, je fais n'importe quoi."

---

🚀 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cette méthode sur plusieurs modèles d'IA différents. Voici ce qu'ils ont découvert :

1. Moins d'erreurs : L'IA hallucine beaucoup moins quand on lui pose des questions sur plusieurs images. Elle devient plus fiable.
2. Pas de perte de talent : Souvent, quand on améliore une IA sur un point, elle devient plus bête sur un autre. Ici, non ! L'IA reste aussi bonne (voire un peu meilleure) pour les tâches simples avec une seule image. C'est comme si le détective devenait plus fort en comparant des scènes, sans oublier comment analyser une seule photo.
3. Généralité : Ça marche sur presque tous les modèles d'IA modernes, pas juste sur un seul.

📝 En résumé

Ce papier propose une recette simple en deux étapes pour rendre les IA plus honnêtes quand elles regardent plusieurs images :

1. Donnez-leur les moyens de comparer (en permettant aux images de "se parler" directement).
2. Entraînez-les à détester l'erreur (en leur montrant ce qui se passe quand elles ne comparent pas, pour qu'elles apprennent à faire les choses correctement).

C'est un peu comme apprendre à un enfant à ne pas tricher en lui montrant que, s'il ne regarde pas bien les deux cartes, il va inévitablement se tromper. Une fois qu'il a compris, il joue honnêtement et gagne plus souvent !

Résumé technique

Titre : CAPL : Calibration de l'Attention Inter-Image et Apprentissage Préférentiel pour la Mitigation des Hallucinations Multi-Image

1. Problématique : Les Hallucinations dans les Tâches Multi-Image

Bien que les Modèles de Langage-Vision (LVLM) aient démontré des capacités remarquables, ils souffrent d'hallucinations fréquentes dans les tâches impliquant plusieurs images (comparaison, intégration d'informations).

• Cause racine : Les auteurs identifient deux limitations structurelles majeures dans les architectures Transformer actuelles :
  1. Biais de position et flux d'information unidirectionnel : Dans le cadre de l'attention causale standard, les images sont traitées séquentiellement. Les tokens des images ultérieures peuvent voir les images précédentes, mais l'inverse est impossible. Cela brise la symétrie nécessaire à la modélisation des relations inter-images.
  2. Dépendance aux priors textuels : En l'absence d'interactions visuelles robustes et bidirectionnelles, le modèle a tendance à ignorer les distinctions visuelles réelles et à générer des réponses basées sur des biais linguistiques ou des inférences erronées, plutôt que sur des preuves visuelles authentiques.

2. Méthodologie : Le Framework CAPL

Les auteurs proposent un cadre structuré nommé CAPL (Cross-Image Attention calibration and Preference Learning), composé de deux volets principaux :

A. Calibration de l'Attention Inter-Image (Architecture)
Pour corriger le biais de causalité unidirectionnelle, CAPL introduit un mécanisme d'attention sélective :

• Masque d'attention croisé : Le masque causal est modifié pour permettre une attention bidirectionnelle entre les tokens d'images différentes, tout en conservant la structure causale à l'intérieur de chaque image.
• Sélection de tokens clés : Pour éviter le bruit et les interactions redondantes, seuls les tokens les plus "énergétiques" (basés sur l'intensité de la réponse des embeddings) sont sélectionnés pour interagir entre les images. Un ratio $\rho$ contrôle le nombre de tokens clés.
• Fusion hiérarchique : Pour préserver la stabilité des tâches mono-image et des dépendances temporelles, l'attention sélective est fusionnée avec l'attention causale originale. Une stratégie de masques alternés est appliquée : les couches impaires utilisent l'attention inter-image, tandis que les couches paires conservent l'attention causale stricte.

B. Apprentissage Préférentiel Attentif (Entraînement)
Le simple changement d'architecture lors de l'inférence ne suffit pas ; le modèle doit apprendre à privilégier les interactions visuelles. Les auteurs utilisent l'optimisation préférentielle directe (DPO) :

• Construction d'échantillons positifs ($y^+$) : Générés en utilisant le mécanisme d'attention inter-image complet (bidirectionnel) et affinés avec un modèle avancé (Qwen3) pour garantir la justesse.
• Construction d'échantillons négatifs ($y^-$) : C'est l'innovation clé. Au lieu d'utiliser des réponses aléatoires, les auteurs trouent (truncates) toutes les connexions d'attention entre les images. Cela force le modèle à générer une réponse en s'appuyant uniquement sur des images individuelles et des priors textuels, ce qui maximise la probabilité d'hallucinations.
• Objectif d'entraînement : Le modèle est entraîné à préférer les réponses issues de l'attention inter-image complète par rapport à celles issues de l'attention tronquée, tout en minimisant une perte NLL (Negative Log-Likelihood) sur les échantillons positifs pour assurer la cohérence token par token.

3. Contributions Clés

1. Analyse structurelle : Identification du flux d'information visuel déséquilibré et de l'association sémantique insuffisante comme causes principales des hallucinations multi-images.
2. Mécanisme d'attention sélective : Introduction d'une interaction bidirectionnelle contrôlée entre les tokens clés de différentes images, réduisant le biais de position.
3. Stratégie DPO innovante : Création d'échantillons négatifs "induits par la troncation" qui exposent délibérément les comportements d'hallucination du modèle, permettant un apprentissage préférentiel plus ciblé et efficace.
4. Framework unifié : Intégration de la calibration d'attention et de l'apprentissage préférentiel pour améliorer la perception des relations inter-images.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles de base (Qwen2.5-VL, InternVL2.5, GLM4.1VBase) et évaluées sur divers benchmarks.

• Réduction des hallucinations (Multi-Image) :
  • Sur les benchmarks spécialisés BLINK et MUIRBench, CAPL apporte des gains constants et significatifs (jusqu'à +3,5 points sur MUIRBench).
  • Les modèles montrent une meilleure capacité à établir des associations sémantiques et à éviter les inférences erronées.
• Généralisation (Tâches Multi-Image Générales) :
  • Sur des benchmarks comme NLVR2, QBench2 et MIBench, les performances restent stables ou s'améliorent légèrement, indiquant que la méthode renforce la compréhension visuelle globale sans dégrader les capacités de raisonnement.
• Robustesse (Tâches Mono-Image) :
  • Crucialement, les performances sur les tâches mono-image (POPE, CHAIR, MMBench) restent stables ou s'améliorent légèrement. Cela prouve que le modèle n'a pas "oublié" ses capacités initiales et que l'apprentissage des interactions inter-images ne nuit pas à la génération sur une seule image.
• Ablation :
  • L'ajout de l'attention sélective seule apporte des gains modérés.
  • L'ajout de l'entraînement DPO avec des échantillons négatifs tronqués est déterminant pour les performances finales.
  • La sélection de tokens clés (ratio $\rho \approx 0.9-0.95$) est essentielle pour équilibrer le signal et le bruit.

5. Signification et Impact

Ce travail démontre que les hallucinations dans les tâches multi-images ne sont pas seulement un problème de données, mais un défaut structurel fondamental des mécanismes d'attention causale unidirectionnelle.

• Innovation conceptuelle : La proposition de "tronquer" l'attention pour créer des échantillons négatifs d'entraînement est une approche novatrice pour forcer le modèle à reconnaître et corriger ses propres biais d'inférence.
• Efficacité pratique : Le framework CAPL est applicable à différentes architectures de LVLM et offre une solution robuste pour les applications réelles nécessitant la comparaison et l'intégration de multiples images (ex: diagnostic médical multi-vues, analyse de documents complexes, surveillance).
• Équilibre : La méthode parvient à améliorer la complexité des tâches multi-images tout en préservant la polyvalence des modèles sur des tâches mono-image, un défi majeur dans le domaine du fine-tuning.