Résumé Technique : Atténuer la fuite d'informations inter-images dans la compréhension multi-images avec les grands modèles de vision-langage

Énoncé du Problème

Bien que les grands modèles de vision-langage (LVLM) fassent preuve de performances solides sur les tâches à image unique, leurs capacités se dégradent considérablement lorsqu'ils traitent simultanément plusieurs images. Bien que des travaux antérieurs aient noté cette baisse de performance, les mécanismes sous-jacents sont restés mal compris.

Les auteurs identifient empiriquement un phénomène spécifique nommé fuite d'informations inter-images (cross-image information leakage). Dans les configurations multi-images, les représentations visuelles du modèle s'enchevêtrent, provoquant un mélange des indices visuels provenant de différentes images plutôt qu'une interprétation indépendante de celles-ci. Comme l'illustre la motivation de l'article, face à deux images (par exemple, l'une contenant des tulipes jaunes et l'autre des roses rouges) et une requête concernant la première image, le modèle échoue souvent à isoler la cible. Au lieu de choisir l'option correcte (« tulipes jaunes »), il choisit incorrectement une option fusionnée (« tulipes jaunes et roses rouges »).

Cette fuite est attribuée au traitement standard de plusieurs images sous la forme d'une séquence de jetons (tokens) visuels concaténés. Le mécanisme d'attention causale inter-images fait que les jetons de différentes images interagissent fortement, mélangeant les représentations latentes et entraînant des hallucinations où le contenu des images non ciblées contamine la réponse.

L'article note également qu'une solution naïve — traiter chaque image indépendamment et agréger les résultats — échoue car elle sacrifie les relations inter-images (par exemple, les comparaisons, les références croisées) qui sont essentielles aux tâches complexes de raisonnement multi-images.

Méthodologie : FOCUS

Pour relever ce défi sans nécessiter d'entraînement supplémentaire ou de modification architecturale, les auteurs proposent FOCUS, une méthode d'inférence sans entraînement et agnostique à l'architecture. La méthode repose sur l'observation que les LVLM raisonnent bien sur des images uniques et vise à guider le modèle pour qu'il se concentre sur une seule image à la fois tout en préservant le contexte positionnel de l'entrée multi-images.

FOCUS se compose de trois étapes séquentielles :

1. Masquage Visuel :
   Pour un ensemble de $N$ images d'entrée, la méthode génère $N$ entrées partiellement masquées et une référence entièrement masquée.

   • Pour chaque image cible $I_i$, toutes les autres images $I_j$ ($j \neq i$) sont corrompues par un bruit aléatoire (échelle $\lambda$), tandis que $I_i$ reste intacte.
   • Une entrée entièrement masquée par le bruit ($I_{noise}$) est également créée, où toutes les images sont corrompues.
   • Cela force le modèle à porter son attention principalement sur l'image unique propre lors de chaque passage direct (forward pass) tout en maintenant l'ordre original des images.

2. Inférence Focalisée par Image :
   Le modèle effectue l'inférence sur chacune des $N$ entrées partiellement masquées pour obtenir une distribution de logits $\ell_i$ pour chaque image cible $I_i$. De plus, une distribution de logits de référence de bruit $\ell_{noise}$ est calculée en utilisant l'entrée entièrement masquée. Cette étape capture le raisonnement du modèle lorsqu'il est focalisé sur des images spécifiques au sein du contexte conjoint.

3. Agrégation Contrastive :
   La sortie finale est dérivée de l'agrégation des logits focalisés tout en supprimant les artefacts de bruit résiduels. La formule utilisée est :
   $$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$$
   Ici, $\alpha$ est un hyperparamètre ajusté via la validation. La soustraction de la référence de bruit ($\ell_{noise}$) aide à isoler et à éliminer les signaux visuels parasites qui persistent même après le masquage, garantissant que la prédiction finale repose sur le contenu de l'image propre plutôt que sur les artefacts induits par le bruit.

Principales Contributions

• Identification de la Fuite d'Informations Inter-images : L'article fournit des preuves empiriques que la dégradation des performances multi-images est étroitement liée à l'enchevêtrement des représentations visuelles entre les images, menant à des réponses fusionnées et incorrectes.
• Méthode FOCUS : Une stratégie d'inférence novatrice, sans entraînement, qui atténue la fuite en utilisant le masquage par le bruit et l'agrégation contrastive de logits. Elle préserve les relations inter-images (contrairement à l'inférence indépendante) tout en empêchant le mélange de contenu.
• Généralisation : La méthode s'avère efficace sur diverses familles de LVLM (InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL) et échelles (de <7B à >30B de paramètres).
• Extension à la Compréhension Vidéo : Les auteurs démontrent que FOCUS se généralise au-delà des entrées d'images statiques vers les tâches de compréhension vidéo (Vinoground), suggérant que le mécanisme traite un problème fondamental de raisonnement visuel temporel et séquentiel.

Résultats Expérimentaux

Les auteurs ont évalué FOCUS sur cinq benchmarks multi-images : Winoground, VisMin (Easy et Hard), Mantis-Eval, MuirBench et MIRB.

• Gains de Performance : FOCUS a systématiquement amélioré le Score d'Image (I) et le Score de Groupe (G), qui reflètent directement les capacités de raisonnement multi-images, tout en laissant le Score de Texte (T) largement inchangé.
  • Sur Winoground, les gains ont atteint jusqu'à +18,8 pour le score d'image et +16,8 pour le score de groupe.
  • Sur VisMin-Easy, les améliorations ont été substantielles, par exemple, InternVL3-2B a vu son score d'image passer de 29,96 à 74,33.
  • Sur Mantis-Eval, la précision s'est améliorée jusqu'à +5,5 points de pourcentage.
  • Sur MuirBench et MIRB, des gains constants, bien que plus faibles, ont été observés sur les modèles.
• Comparaison avec les Alternatives : FOCUS a surpassé les approches alternatives, notamment :
  • Traitement Indépendant : Traiter les images séparément et concaténer les textes, ce qui ne parvenait pas à capturer les relations inter-images.
  • Décodage Contrastif Conventionnel (VCD) : Les méthodes contrastives standards conçues pour une image unique ont dégradé les performances dans les contextes multi-images.
  • SoFA : Une méthode ciblant le biais de position, qui n'a pas amélioré les performances de manière constante, indiquant que le biais de position et la fuite d'informations sont des problèmes distincts.
• Études d'Ablation : La suppression de l'injection de bruit ou de l'étape de soustraction de la référence de bruit a considérablement dégradé les performances, confirmant que ces deux composants sont essentiels.
• Latence : La méthode introduit un surcoût de latence modéré (nécessitant $N+1$ passages d'inférence pour $N$ images), ce que les auteurs considèrent comme un compromis justifiable au regard des gains de précision.

Signification et Revendications

L'article affirme que FOCUS offre une solution d'inférence pratique et généralisable pour améliorer le raisonnement multi-images. En caractérisant empiriquement la fuite d'informations inter-images et en fournissant une méthode pour l'atténuer sans réentraînement, ce travail répond à une limitation critique des LVLM actuels.

Les auteurs soulignent que leur approche :

1. Ne nécessite ni données d'entraînement supplémentaires, ni changements architecturaux.
2. Fonctionne sur une large gamme de tailles et de familles de modèles.
3. S'étend à la compréhension vidéo, suggérant que le problème de l'enchevêtrement visuel ne se limite pas aux images statiques.
4. Fournit une solution générale pour améliorer la fiabilité du raisonnement multi-images, ce qui est essentiel pour les applications réelles où les utilisateurs fournissent plusieurs images simultanément.

L'article conclut que bien que FOCUS améliore significativement les performances, il n'est pas une panacée pour toutes les tâches de long contexte ou de recherche intensive, où le goulot d'étranglement peut résider dans la localisation de l'information pertinente plutôt que dans la désambiguïsation du contenu visuel. Cependant, pour les tâches nécessitant l'intégration et la comparaison de multiples entrées visuelles, FOCUS offre une amélioration robuste.