Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

Ce papier présente le nouveau benchmark RETINA et le modèle MIMIR pour surmonter les « raccourcis visuels » des systèmes de réponse aux questions visuelles basées sur la connaissance, en forçant les modèles à traiter des entités secondaires plutôt que les sujets principaux des images.

L'essentiel

Le Problème : L'illusion du "Copier-Coller" Visuel

Imaginez que vous apprenez à un élève (une intelligence artificielle) à répondre à des questions complexes en lui montrant des photos et des articles de Wikipédia.

Dans les anciens exercices (les "benchmarks" actuels), il y avait un piège énorme, un truc de facilité (ce que les auteurs appellent un "visual shortcut").

• Le scénario : On montre à l'IA une photo d'un écureuil.
• La question : "Où vit cet animal ?"
• L'astuce : L'article de Wikipédia associé à la réponse parlait aussi d'un écureuil, avec exactement la même photo.

L'IA, très maline mais un peu paresseuse, a compris le jeu : "Ah, si la photo de la question ressemble à la photo de l'article, c'est probablement la bonne réponse !" Elle n'a même pas besoin de lire le texte ou de comprendre la question. Elle fait juste un match visuel. C'est comme si un élève trichait en regardant la photo de la réponse plutôt que de lire l'énoncé.

La Solution : Le Nouveau Terrain de Jeu "RETINA"

Pour arrêter cette triche, les chercheurs ont créé un nouveau jeu appelé RETINA.

Imaginez que vous demandez à l'IA : "Quel insecte mange cette plante spécifique ?"

• La photo : On lui montre une pomme de terre.
• La réponse attendue : Le nom d'un scarabée qui mange les pommes de terre.
• Le piège (la bonne nouvelle) : L'article de Wikipédia qui contient la réponse parle du scarabée, pas de la pomme de terre. La photo de l'article montre donc le scarabée, pas la pomme de terre.

L'IA ne peut plus faire le match visuel facile ("Photo pomme de terre = Photo pomme de terre"). Elle est obligée de faire le lien logique : "Ah, cette pomme de terre est mangée par ce scarabée, donc je dois chercher l'article sur le scarabée." C'est beaucoup plus proche de la réalité : souvent, la réponse à une question sur un objet se trouve dans un document qui parle d'un autre objet lié à lui.

La Méthode : "MIMIR", le Détective à Multiples Lunettes

Pour réussir ce nouveau jeu difficile, les chercheurs ont créé un nouveau détective nommé MIMIR.

Les anciens détectives (les modèles précédents) ne regardaient un dossier (un document) qu'avec une seule photo en tête (celle du sujet principal). Si la question portait sur un détail lié au sujet, ils étaient perdus.

MIMIR, lui, est équipé de plusieurs lunettes :

1. Il lit le texte du dossier.
2. Il ne se contente pas de la photo principale du dossier. Il va chercher et colle toutes les photos des objets liés mentionnés dans le texte.
3. Si le dossier parle d'un scarabée qui mange des pommes de terre, MIMIR colle aussi une photo de pomme de terre dans le dossier du scarabée.

L'analogie :
Imaginez que vous cherchez un livre dans une bibliothèque.

• L'ancien système : Vous cherchez le livre en regardant uniquement la couverture du livre lui-même. Si vous cherchez un livre sur "les pommes", mais que le livre est rangé sous "les scarabées", vous ne le trouvez pas car la couverture ne montre pas de pomme.
• MIMIR : Il regarde la couverture du livre, mais il regarde aussi les images collées à l'intérieur qui disent "Ce livre parle aussi de pommes". Ainsi, même si vous lui montrez une pomme, il sait que ce livre est la bonne réponse.

En Résumé

1. Le constat : Les IA actuelles trichent en utilisant des raccourcis visuels faciles dans les tests existants.
2. Le test : Ils ont créé RETINA, un test où ces raccourcis sont supprimés pour forcer l'IA à vraiment raisonner.
3. L'outil : Ils ont créé MIMIR, un système qui enrichit chaque document avec plusieurs images liées, lui permettant de trouver la réponse même quand la photo de la question ne correspond pas directement à la photo du document.

C'est comme passer d'un jeu de "trouver la paire de cartes identiques" à un véritable jeu de déduction où il faut comprendre les liens entre les choses.

Résumé technique

1. Problématique : Les "Raccourcis Visuels" (Visual Shortcuts)

Les benchmarks actuels de VQA Multimodal Basé sur la Connaissance (MKB-VQA) souffrent d'un biais majeur appelé "raccourci visuel".

• Le mécanisme du biais : Dans les datasets existants (comme InfoSeek ou EVQA), l'image de la requête correspond presque systématiquement à l'entité principale (le sujet) du document de vérité terrain (GT).
• La conséquence : Les modèles apprennent à exploiter cette corrélation visuelle superficielle. Ils peuvent retrouver le document correct uniquement en se basant sur l'image, sans avoir besoin de lire le texte ou d'intégrer de connaissances externes.
• La preuve expérimentale : Les auteurs ont démontré qu'un modèle entraîné uniquement sur des requêtes visuelles (sans texte) obtenait des performances de récupération comparables à celles d'un modèle multimodal complet sur ces benchmarks. Cela indique que les tâches actuelles ne testent pas réellement la capacité de raisonnement multimodal ni l'intégration de connaissances, mais simplement la reconnaissance d'entités visuelles.

2. Méthodologie

Pour résoudre ce problème, les auteurs proposent une nouvelle approche composée d'un nouveau benchmark et d'une nouvelle architecture de modèle.

A. Le Benchmark RETINA (Relational Entity Text-Image kNowledge Augmented)

L'objectif est de créer un environnement d'évaluation réaliste où le raccourci visuel est brisé.

• Construction automatisée : Un pipeline piloté par un LLM (Large Language Model) génère 120 000 échantillons d'entraînement et un jeu de test de 2 000 échantillons curatés par des humains.
• Stratégie de génération :
  1. À partir d'un document Wikipédia (entité principale), le système identifie des entités liées (ex: pour un document sur un insecte, il identifie la plante qu'il mange).
  2. Il extrait un sous-graphe de connaissances contenant l'entité réponse, l'entité de la requête (liée) et une entité de qualification pour éviter l'ambiguïté.
  3. Le changement clé : L'image de la requête montre l'entité liée (ex: la plante), tandis que la question demande l'information sur l'entité principale (ex: l'insecte). Le document cible contient l'entité principale, mais l'image de la requête ne lui correspond pas visuellement.
• Résultat : Le modèle ne peut plus se fier à la similarité visuelle directe entre l'image de la question et l'image du document. Il doit comprendre les relations sémantiques et utiliser le texte pour faire le lien.

B. Le Modèle MIMIR (Multi-Image MultImodal Retriever)

Les modèles existants (comme MuKA) n'augmentent les documents qu'avec une seule image (l'entité principale), ce qui échoue sur RETINA. MIMIR propose une nouvelle architecture de récupération :

• Enrichissement des documents : Au lieu d'associer un seul document à une seule image, MIMIR enrichit chaque représentation de document avec les images de plusieurs entités liées mentionnées dans le texte.
• Architecture technique :
  • Basé sur l'architecture late-interaction (type ColBERT) et MuKA.
  • Encodage Multi-image : Pour chaque document, le modèle encode le texte, l'image principale, et les images des entités liées.
  • Fusion Multimodale : Utilisation d'une couche de cross-attention pour contextualiser les patchs visuels avec le texte.
  • Entity Token Embedding (ETE) : Une innovation clé où un vecteur apprenable est ajouté aux tokens textuels correspondant à une entité spécifique. Cela aide le modèle à aligner explicitement l'image de l'entité liée avec le texte la décrivant, améliorant la précision de la fusion multimodale.
• Fonctionnement : Lors d'une requête, si l'image montre une entité liée (ex: une plante), le système peut retrouver le document cible car celui-ci contient désormais l'image de cette plante dans son encodage enrichi, même si le titre du document est l'entité principale.

3. Contributions Clés

1. Identification du biais : Mise en évidence du problème des raccourcis visuels dans les benchmarks MKB-VQA actuels, prouvant qu'ils ne mesurent pas la véritable intelligence multimodale.
2. Création de RETINA : Un nouveau benchmark à grande échelle (120k/2k) conçu spécifiquement pour éliminer ces raccourcis et simuler des scénarios réels où l'information pertinente se trouve dans des documents liés, mais pas directement sur l'image de la requête.
3. Proposition de MIMIR : Un nouveau récupérateur multimodal capable de gérer des requêtes complexes en enrichissant les documents avec des images multiples d'entités liées, surpassant les approches mono-image.
4. Validation empirique : Démonstration que les modèles SOTA (State-of-the-Art) échouent sur RETINA, tandis que MIMIR améliore considérablement les performances.

4. Résultats Expérimentaux

Les expériences ont été menées sur RETINA, EVQA et InfoSeek.

• Performance sur les benchmarks existants (InfoSeek, EVQA) : MIMIR maintient des performances compétitives, parfois supérieures aux modèles mono-image, même en présence de raccourcis visuels.
• Performance sur RETINA (Sans raccourcis) :
  • Les modèles baselines (MuKA, UniIR, etc.) voient leurs performances chuter drastiquement (ex: Recall@5 tombe à ~8-20% sur la partie "Unseen" de RETINA).
  • MIMIR atteint un Recall@5 de 43,2% sur la partie "Seen" et 36,9% sur la partie "Unseen" de RETINA, soit presque le double des meilleurs modèles existants.
  • En termes de génération de réponse (BEM), MIMIR obtient également des scores nettement supérieurs.
• Analyse des raccourcis : L'analyse montre que les modèles baselines sont facilement trompés par des "distracteurs" (documents dont l'entité principale correspond à l'image de la requête, mais qui ne sont pas la bonne réponse). MIMIR, grâce à ses images multiples, parvient à distinguer le document correct (GT) de ces distracteurs visuels.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

• Réalignement des benchmarks : Il force la communauté à revoir les standards d'évaluation du VQA multimodal. Les benchmarks actuels sont jugés trop faciles et trompeurs car ils permettent aux modèles de "tricher" via des indices visuels.
• Vers un raisonnement réel : En éliminant les raccourcis, RETINA oblige les modèles à véritablement raisonner sur les relations entre entités et à intégrer des connaissances externes, ce qui est essentiel pour des applications réelles (recherche d'information, assistance médicale, etc.).
• Avancée architecturale : MIMIR démontre que l'enrichissement des documents avec des contextes visuels multiples (et non seulement l'entité principale) est une stratégie efficace pour la récupération d'information multimodale complexe.

En conclusion, l'article propose un changement de paradigme : passer d'une évaluation basée sur la reconnaissance visuelle simple à une évaluation basée sur le raisonnement relationnel multimodal, soutenue par un nouveau benchmark rigoureux et une architecture de récupération innovante.