Résumé Technique : VISTAQA

Énoncé du Problème

Les évaluations actuelles des Modèles de Langage Multimodaux à Grande Échelle (MLLM) souffrent d'une rupture fondamentale entre la justesse textuelle des réponses et l'ancrage des preuves visuelles. Les benchmarks standards évaluent la performance principalement par la précision textuelle, récompensant les modèles produisant des réponses correctes même lorsque ces réponses ne sont pas étayées par les preuves visuelles appropriées (hallucinations) ou lorsque le modèle s'appuie sur des priors linguistiques plutôt que sur la perception visuelle. Inversement, les benchmarks d'ancrage existants traitent souvent les masques de segmentation comme l'objectif de prédiction principal plutôt que comme des preuves explicites soutenant une réponse textuelle, ou ils évaluent le texte et la localisation comme des métriques indépendantes sur des ensembles de données distincts. Ce manque d'évaluation conjointe laisse le couplage du raisonnement et de l'ancrage comme un défi ouvert, ne permettant pas de déterminer si la réponse d'un modèle est véritablement ancrée dans l'image — une exigence critique pour l'interprétabilité et la fiabilité dans les domaines à risque élevé.

Méthodologie

Le Benchmark VISTAQA

Pour combler ces lacunes, les auteurs introduisent VISTAQA, un benchmark complet conçu pour l'évaluation conjointe de la justesse des réponses libres et de l'ancrage des preuves au niveau des pixels dans le cadre de la Réponse aux Questions Visuelles (VQA).

• Composition du Jeu de Données : VISTAQA comprend 1 157 échantillons curatés par des experts. Contrairement aux pipelines de génération automatisée que les auteurs ont jugés peu fiables pour créer des triplets image-question-masque complexes, VISTAQA a été construit à l'aide d'un pipeline rigoureux en plusieurs étapes impliquant l'acquisition d'images adaptées au domaine, une génération hybride de masques, une génération de questions assistée par LLM, et une vérification humaine en plusieurs tours.
• Portée : Le benchmark couvre six types de tâches (Identification, Attribut, OCR, Spatial, Comptage, Comparaison) et six domaines visuels (Intérieur, Extérieur, Conduite Autonome, Robotique, Sciences, Mathématiques).
• Prise de Conscience des Hallucinations : Environ 27 % des échantillons (314) sont spécifiquement conçus comme des cas sensibles aux hallucinations où l'entité interrogée est absente ou la question est sans réponse, obligeant les modèles à identifier correctement l'absence de preuves visuelles valides.
• Annotation : Chaque échantillon comprend une question, une réponse de référence et un masque de segmentation spécifiant la preuve visuelle requise pour soutenir cette réponse.

La Métrique d'Évaluation GROVE

L'article introduit GROVE (GROunded eVidence Evaluation), une métrique unifiée conçue pour imposer une justesse conjointe.

• Sensibilité Conjointe : Une prédiction est considérée comme entièrement correcte uniquement lorsque la réponse textuelle et le masque de preuve correspondant sont valides.
• Mécanisme : GROVE calcule la moyenne géométrique par échantillon de scores de texte et de masque lissés.
  • Score de Texte ($S_a$) : Un signal de justesse binaire (0 ou 1) déterminé via un protocole LLM-comme-juge (utilisant Qwen 2.5-14B) pour évaluer la justesse sémantique plutôt que la correspondance de chaînes.
  • Score de Masque ($S_m$) : Mesure la fidélité des masques de segmentation prédits en utilisant l'Intersection sur Union (IoU) avec la vérité terrain, normalisée par le nombre maximum d'instances pour pénaliser à la fois les prédictions manquantes et les prédictions erronées. Il gère également les cas d'hallucination en récompensant les prédictions vides lorsqu'aucune entité n'existe.
  • Lissage : Pour éviter l'effondrement des scores (où un échec unique annule tout le score), un paramètre de plancher $\epsilon$ (fixé empiriquement à 0,1) est appliqué aux deux scores avant le calcul de la moyenne géométrique : $S = \sqrt{S'_a \cdot S'_m}$.
• Objectif de Conception : Cette formulation garantit qu'aucune dimension (texte ou masque) ne peut compenser les déficiences de l'autre, empêchant les modèles d'obtenir des scores élevés en excellant dans une seule modalité.

Contributions Clés

1. Benchmark VISTAQA : Le premier benchmark systématique exigeant que les modèles produisent des réponses libres correctes explicitement soutenues par des preuves visuelles au niveau des pixels à travers six tâches et domaines divers, incluant des scénarios d'hallucination explicites.
2. Métrique GROVE : Une métrique d'évaluation unifiée qui mesure conjointement la justesse de la réponse et la fidélité de l'ancrage, imposant la satisfaction simultanée des deux modalités par une approche de moyenne géométrique.
3. Évaluation Complète : Expériences extensives sur des références de pointe, incluant des modèles de segmentation de raisonnement dédiés (par exemple, LISA, SESAME, GLaMM) et des pipelines hybrides associant des MLLM de pointe à des modèles de segmentation (par exemple, Qwen3-VL + SAM3, GPT-5.4 + SAM3).

Résultats Expérimentaux

Les auteurs ont évalué 14 modèles sur VISTAQA sans fine-tuning. Les résultats mettent en évidence un écart substantiel entre la précision des réponses et l'alignement des preuves visuelles :

• Faible Performance Globale : Même les systèmes les plus performants obtiennent des résultats limités sous GROVE. Le modèle le plus performant, GPT-5.4-T + SAM3, a obtenu un score GROVE de seulement 45,53 %.
• Écart de Modalité : Bien que certains pipelines hybrides aient atteint des précisions textuelles individuelles relativement élevées (par exemple, >60 %) ou des scores IoU de masque, le score GROVE conjoint est resté faible. Cela indique que les réponses correctes et les preuves précises se produisent souvent sur des échantillons différents ; les modèles n'alignent pas constamment les deux.
• Défis des Tâches et des Domaines :
  • Le raisonnement spatial et l'OCR se sont imposés comme les tâches les plus difficiles.
  • Les Mathématiques ont été systématiquement le domaine le plus difficile pour toutes les familles de modèles, probablement en raison de l'abstraction requise pour ancrer le raisonnement symbolique dans les pixels.
  • Robustesse aux Hallucinations : Les modèles de segmentation avaient tendance à prédire des masques même lorsqu'aucune entité valide n'était présente, tandis que certains pipelines hybrides sur-prédisaient « aucun masque », entraînant des compromis entre la détection d'hallucinations et la qualité de l'ancrage sur les échantillons valides.
• Complexité de l'Ancrage : Les modèles ont généralement vu leur performance se dégrader en passant de scénarios d'ancrage à instance unique à des scénarios à multiples instances, les modèles d'ancrage dédiés montrant les baisses les plus sévères.

Importance et Revendications

L'article revendique que VISTAQA et GROVE exposent une limitation fondamentale du raisonnement multimodal actuel : la justesse textuelle seule ne peut pas déterminer si une réponse est véritablement ancrée dans l'image.

• Révélation de l'Écart : Le benchmark démontre que même les MLLM les plus avancés peinent à aligner simultanément leurs réponses avec les preuves visuelles correctes. Une haute performance sur les benchmarks VQA ou de segmentation traditionnels ne garantit pas un raisonnement fiable et ancré.
• Rigueur de l'Évaluation : En empêchant la compensation entre les modalités, GROVE fournit une évaluation plus rigoureuse des capacités des modèles, en particulier pour les applications à risque élevé comme la conduite autonome et la robotique où les hallucinations peuvent avoir des conséquences graves.
• Direction Future : Les auteurs posent que VISTAQA sert de fondation pour les recherches futures en évaluation multimodale ancrée, soulignant le besoin de modèles capables non seulement de raisonner, mais aussi de justifier explicitement leur raisonnement par des preuves visuelles.

L'article reconnaît des limites, notant que la nature statique du benchmark ne couvre pas l'ancrage vidéo ou multi-images, et que la construction d'échantillons de haute qualité reste intensive en main-d'œuvre en raison de la fiabilité actuelle limitée des modèles à générer automatiquement de tels triplets.