VQA-MHUG: A Gaze Dataset to Study Multimodal Neural Attention in Visual Question Answering

Cet article présente VQA-MHUG, un nouveau jeu de données de regards humains sur les images et les questions, et démontre pour la première fois que la corrélation entre l'attention textuelle des modèles de VQA et celle des humains est un prédicteur significatif de leurs performances, soulignant ainsi le besoin d'améliorer les mécanismes d'attention textuelle dans les architectures multimodales.

L'essentiel

🧐 Le Problème : Les Robots qui "lisent" mal les questions

Imaginez que vous donnez à un robot une photo d'un chat et vous lui posez la question : "Quelle couleur a le chat ?".
Le robot doit regarder la photo (le chat) ET lire la question (le texte) pour trouver la réponse.

Jusqu'à présent, les chercheurs pensaient que le secret pour que le robot soit intelligent, c'était de savoir où regarder sur la photo. Ils ont créé des cartes de "regard" pour voir si le robot fixait les yeux du chat ou sa queue, comme le ferait un humain.

Mais il y avait un gros trou dans cette logique : Personne ne s'était jamais demandé comment le robot lisait la question. On savait s'il regardait bien la photo, mais on ignorait s'il "lisait" vraiment le texte avec autant d'attention qu'un humain. C'est comme si on évaluait un étudiant en lui disant : "Tu as bien regardé le dessin, mais as-tu lu la consigne ?"

🔍 La Solution : VQA-MHUG, le "Regard Humain" sur tout

Les auteurs de cet article (des chercheurs allemands et néerlandais) ont créé quelque chose de nouveau : VQA-MHUG.

C'est une immense base de données où ils ont filmé les yeux de 49 personnes pendant qu'elles répondaient à des questions sur des images.

• L'analogie : Imaginez que vous mettez des lunettes spéciales sur 49 personnes. Ces lunettes enregistrent exactement où leurs yeux s'arrêtent, milliseconde par milliseconde.
• Ce qu'ils ont vu : Ils ont vu que les humains ne font pas que regarder l'image. Ils lisent d'abord la question, puis regardent l'image, puis relisent la question, etc.

C'est la première fois dans l'histoire que l'on possède une carte précise du regard humain à la fois sur l'image ET sur le texte.

🤖 L'Expérience : Comparer les Robots aux Humains

Les chercheurs ont pris 5 robots (des modèles d'intelligence artificielle très avancés) et ils ont comparé leur "regard" (leur attention) avec celui des humains enregistrés dans VQA-MHUG.

Ils ont découvert deux choses fascinantes :

1. Sur les images : Certains robots regardent l'image presque comme des humains, d'autres non. Mais ce n'est pas toujours le robot qui regarde le mieux la photo qui a la meilleure réponse.
2. Sur le texte (La Révélation !) : C'est ici que ça devient excitant. Ils ont découvert que plus un robot "lit" la question comme un humain, plus il donne la bonne réponse.

L'analogie du lecteur :
Imaginez deux étudiants qui passent un examen avec une photo.

• Étudiant A (Le robot "mauvais lecteur") : Il regarde la photo, mais il lit la question en diagonale, en sautant des mots. Il rate des détails importants. Même s'il voit bien la photo, il se trompe.
• Étudiant B (Le robot "bon lecteur") : Il lit la question mot par mot, comme un humain, en s'arrêtant sur les mots clés ("quelle couleur", "chat"). Il a beaucoup plus de chances de réussir.

Les chercheurs ont prouvé que pour tous les robots testés, la capacité à lire le texte comme un humain est un indicateur clé de la réussite.

💡 Pourquoi est-ce important ?

Avant cette étude, les ingénieurs en intelligence artificielle se disaient : "Il faut que notre robot regarde mieux la photo !".
Grâce à VQA-MHUG, ils doivent maintenant se dire : "Attends, il faut aussi qu'il apprenne à lire la question comme un humain !"

C'est comme si on essayait d'améliorer une voiture de course en ne regardant que les pneus, alors que le problème venait en fait du volant. Si on apprend aux robots à mieux "tenir le volant" (lire le texte), ils deviendront beaucoup plus intelligents.

🚀 En Résumé

• Le Dataset (VQA-MHUG) : C'est un trésor de données qui montre exactement où les humains regardent (sur l'image et sur le texte) quand ils répondent à des questions.
• La Découverte : Pour qu'un robot soit brillant en "Question-Réponse sur Image", il ne suffit pas qu'il soit bon pour voir. Il doit aussi être bon pour lire.
• L'Avenir : Les prochains robots seront probablement ceux qui sauront imiter la façon dont nos yeux parcourent un texte, pas seulement une image.

En bref, cette étude nous rappelle que pour comprendre le monde, il faut savoir lire autant que savoir voir.

Résumé technique

1. Problématique et Contexte

Le domaine du Visual Question Answering (VQA) vise à développer des modèles capables de raisonner conjointement sur une image et une question textuelle pour générer une réponse. Bien que les mécanismes d'attention aient considérablement amélioré les performances des modèles, une question fondamentale reste ouverte : les stratégies d'attention des réseaux de neurones correspondent-elles à celles des humains ?

Le problème principal identifié par les auteurs est le manque de données d'attention humaine multimodales. Les travaux antérieurs se sont concentrés exclusivement sur l'attention visuelle (sur l'image), souvent en utilisant des données de suivi de souris comme substitut (proxy) au regard humain. Or, ces données de souris ont été démontrées comme peu fiables : elles surestiment certaines zones de l'image et ignorent le contexte de fond. De plus, aucune base de données publique n'existait jusqu'alors pour capturer le regard humain à la fois sur les images et sur les questions textuelles, ce qui empêche d'étudier comment les modèles traitent le texte par rapport aux humains.

2. Méthodologie

Pour combler ce vide, les auteurs ont proposé une approche en deux temps : la création d'un nouveau jeu de données et une analyse comparative approfondie.

A. Création du jeu de données VQA-MHUG

• Collecte : Une étude de suivi oculaire (eye-tracking) a été menée auprès de 49 participants (étudiants universitaires).
• Matériel : Utilisation d'un eye-tracker haute vitesse EyeLink 1000 Plus (2 kHz) pour enregistrer les données binoculaires.
• Stimuli : Le jeu de données couvre 3 990 paires question-image issues de la validation du benchmark VQAv2.
• Stratégie d'échantillonnage :
  • Sélection de paires que les machines trouvent difficiles mais que les humains répondent facilement (fort accord inter-annotateurs).
  • Équilibrage selon le type de raisonnement (12 catégories, incluant la lecture de texte sur l'image) et la difficulté machine (basée sur des métriques de robustesse et de cohérence de modèles existants).
• Données : Le corpus contient 11 970 échantillons de regard, avec des cartes d'attention générées à partir de la moyenne des fixations de trois participants par stimulus.
• Validation : Une étude de validation a confirmé que les cartes d'attention dérivées de VQA-MHUG contiennent les régions d'image pertinentes nécessaires pour répondre aux questions.

B. Analyse Comparative (Humain vs Machine)

Les auteurs ont comparé les cartes d'attention humaines de VQA-MHUG avec les mécanismes d'attention internes de cinq modèles d'état de l'art (SOTA) ayant remporté ou terminé dans le top 5 des challenges VQA entre 2017 et 2020 :

1. MFB (Multimodal Factorized Bilinear Pooling)
2. BAN (Bilinear Attention Network)
3. Pythia
4. MCAN (Modulated Co-Attention Network) avec deux variantes : features de grille (MCANG) et features de région (MCANR).

Métriques d'évaluation :

• Corrélation de rang de Spearman ($\rho$) : Pour comparer le classement de l'importance des mots/régions.
• Divergence de Jensen-Shannon (JSD) : Pour mesurer la distance entre les distributions d'attention.
• Régression Logistique Ordinale (OLR) : Pour déterminer si la similarité avec l'attention humaine (sur le texte et l'image) prédit la probabilité de succès du modèle sur une question donnée.

3. Contributions Clés

1. VQA-MHUG : C'est le premier jeu de données public offrant des données de regard humain réel simultanément sur les images et les questions textuelles dans un contexte VQA.
2. Analyse Multimodale : La première étude démontrant que la similarité de l'attention sur le texte est un prédicteur significatif de la performance globale, au-delà de l'attention visuelle.
3. Validation des Limites des Proxies : Confirmation que les données de suivi de souris (SALICON, VQA-HAT) sont moins corrélées à l'attention humaine réelle (regard) que les données d'eye-tracking, justifiant la nécessité de nouvelles données.

4. Résultats Principaux

• Attention sur le Texte (Découverte Majeure) :

  • Pour tous les cinq modèles, une corrélation plus élevée avec l'attention humaine sur le texte est un prédicteur significatif de la précision de la réponse.
  • Les modèles qui "lisent" les questions de manière plus similaire aux humains ont tendance à mieux performer.
  • L'analyse OLR montre que pour des modèles comme MCANG, MCANR et MFB, une faible corrélation textuelle réduit drastiquement la probabilité de réponse correcte.

• Attention sur l'Image :

  • Les modèles utilisant des features de région (MCANR, MFB, Pythia, BAN) montrent une corrélation plus forte avec l'attention humaine visuelle que ceux utilisant des features de grille (MCANG).
  • Paradoxalement, MCANG (le modèle le plus performant en termes de précision brute, 70,24 %) présente la plus faible corrélation avec l'attention humaine sur l'image. Cela suggère que les stratégies d'attention optimisées par les modèles ne sont pas toujours "humaines" pour la partie visuelle.

• Corrélation Inter-Modale :

  • L'interaction entre la corrélation texte et image est un prédicteur significatif pour certains modèles (MCANG, Pythia), indiquant que la façon dont le modèle fusionne les deux modalités influence la performance.

• Qualité des Cartes d'Attention :

  • Les cartes d'attention générées par VQA-MHUG révèlent que les modèles SOTA ne sont pas toujours "humains" dans leur lecture du texte, contrairement à ce qu'on pourrait penser. Les datasets basés sur la souris surestiment les zones pertinentes.

5. Signification et Implications

• Amélioration des Performances VQA : Le travail suggère que l'intégration de biais d'attention humaine sur le texte pourrait améliorer significativement les performances des modèles VQA actuels.
• Nouvelle Direction de Recherche : Il appelle à une recherche approfondie sur les mécanismes d'attention neuronale pour le texte et leur intégration dans les architectures vision-langage.
• Impact au-delà du VQA : Ces résultats ouvrent la voie à de meilleures interfaces utilisateur intelligentes, à des systèmes d'apprentissage adaptatif (e-learning) et à une meilleure interprétabilité des modèles multimodaux.
• Éthique : Les auteurs soulignent les risques potentiels d'exploitation des biais comportementaux ou de discrimination basée sur les mouvements oculaires, tout en détaillant les mesures de protection des données (anonymisation, conformité RGPD) mises en place.

En résumé, VQA-MHUG fournit une ressource cruciale pour comprendre et améliorer les modèles d'IA en démontrant que pour réussir dans les tâches vision-langage, il est essentiel de ne pas seulement "voir" comme un humain, mais aussi de "lire" comme un humain.