Résumé Technique : GridVQA-X

Énoncé du Problème

L'avancement rapide des modèles de langage-vision de grande taille (LVLM) a dépassé le développement de protocoles d'évaluation fiables pour l'IA explicable multimodale (MxAI). Bien que les méthodes actuelles de MxAI prétendent attribuer les décisions à des interactions cross-modales, les benchmarks existants manquent de la vérité de terrain (ground truth) nécessaire pour distinguer le véritable raisonnement cross-modal (ex: composition spatiale) des raccourcis cross-modaux superficiels (ex: correspondance d'attributs de type "Sac de mots").

L'évaluation actuelle repose sur des jeux de données naturels dont les distributions de caractéristiques sont bruitées et causalement indéfinies, ou sur des annotations humaines qui peuvent être de manière spécieuse corrélées avec des éléments visuels. Par conséquent, on ignore si les méthodes de MxAI capturent fidèlement les interactions synergiques ou si elles ne font qu'halluciner un raisonnement sur des modèles agissant comme de simples détecteurs de caractéristiques. Il existe une lacune critique dans l'évaluation rigoureuse de la capacité des expliqueurs à différencier un modèle utilisant un véritable raisonnement spatial d'un modèle exploitant des raccourcis statistiques.

Méthodologie : Le Cadre GridVQA-X

Pour répondre à cela, les auteurs introduisent GridVQA-X, un cadre de diagnostic utilisant une logique de synthèse en monde fermé pour générer des explications mathématiquement garanties. Le cadre opère selon un pipeline à quatre étapes :

1. Génération de Données avec Masques de Vérité de Terrain

Les auteurs génèrent deux jeux de données synthétiques, $D_{pure}$ et $D_{spur}$, paramétrés par un quadruplet : Profondeur ($D$), Type de Question ($Q$), Forme ($F$) et Densité ($\rho$).

• $D_{pure}$ (Pur) : Supprime systématiquement tous les raccourcis heuristiques énumérés. Il impose une Indépendance Spatiale en peuplant les "régions de confusion" avec des distracteurs adverses qui correspondent aux attributs cibles mais violent les contraintes spatiales. Cela garantit mathématiquement que la seule explication causale valide pour une requête est l'intersection spécifique des objets cibles et ancres.
• $D_{spur}$ (Spurieux) : Préserve intentionnellement le raccourci cross-modal le plus répandu (Cas-1 : Alignement Bag-of-Words). Le générateur garantit qu'aucun objet correspondant à la cible n'existe en dehors de la région spatiale valide, rendant le raccourci parfaitement prédictif ($P(Y_{ans} | \text{Target Attrs}) = 1.0$).

2. Entraînement de Modèles Appariés

Deux modèles de référence, $M_{pure}$ et $M_{spur}$, sont entraînés sur des architectures identiques (MDETR) mais sur leurs jeux de données respectifs.

• $M_{pure}$ : Apprend un raisonnement spatial-relationnel robuste pour atteindre une précision élevée sur $D_{pure}$.
• $M_{spur}$ : Est structurellement forcé de s'appuyer sur des raccourcis cross-modaux. Lorsqu'il est évalué sur $D_{pure}$, ses performances s'effondrent (chutant à environ 49 % globalement et ~8 % sur les requêtes multi-étapes), confirmant qu'il opère via un raccourci unimodal plutôt que par un véritable raisonnement.

3. Génération d'Attribution

Des méthodes de MxAI post-hoc sont appliquées aux deux modèles. Le cadre évalue si les expliqueurs produisent des voies de raisonnement distinctes pour $M_{pure}$ (raisonnement véritable) par rapport à $M_{spur}$ (dépendance aux raccourcis).

4. Métriques d'Évaluation

Les auteurs adaptent les métriques existantes et en introduisent de nouvelles :

• Précision de la Masse de Pertinence (RMA - Relevance Mass Accuracy) : Mesure la masse de pertinence assignée aux masques de vérité de terrain par rapport aux masques de distracteurs. Un expliqueur fidèle devrait assigner une masse proche de zéro aux distracteurs pour $M_{pure}$, mais une masse élevée à ceux-ci pour $M_{spur}$.
• Vérification de la Fallacie Additive : Pour les méthodes globales, le score de synergie ($S_{score}$) doit augmenter de manière monotone avec la complexité de la requête (Profondeur) pour $M_{pure}$, tout en restant invariant pour $M_{spur}$.

Contributions Clés

1. Jeux de Données GridVQA-X : L'introduction de $D_{pure}$ et $D_{spur}$, qui fournissent des caractéristiques de vérité de terrain uniques mathématiquement garanties et une taxonomie isolant divers degrés d'interactions réelles. Ces jeux de données prouvent explicitement l'absence (dans $D_{pure}$) ou la présence (dans $D_{spur}$) de corrélations spécieuses connues.
2. Modèles de Référence ($M_{pure}$ et $M_{spur}$) : La publication de deux modèles entraînés via des dynamiques guidées par l'explication. Leurs mécanismes de raisonnement vérifiables (raisonnement spatial véritable vs raccourci cross-modal) permettent l'évaluation des expliqueurs avec une ambiguïté nulle concernant les attributions attendues de la vérité de terrain.
3. Nouveau Protocole d'Évaluation : L'adaptation des métriques de MxAI au domaine multimodal et l'introduction de la vérification de la Fallacie Additive pour évaluer les scalaires d'interaction entre modèles en fonction de la complexité compositionnelle.

Résultats et Analyse

L'évaluation des méthodes de MxAI de pointe (incluant DIME, MultiSHAP, MultiViz, EMAP et InterSHAP) révèle des échecs significatifs :

• Échec de Distinction entre Modèles : La plupart des expliqueurs locaux échouent à différencier $M_{pure}$ de $M_{spur}$.
  • MultiViz présente une "cécité de modèle absolue", produisant une Précision de la Masse de Pertinence (RMA) statistiquement identique pour les deux modèles malgré leurs voies causales distinctes.
  • DIME souffre d'une "fidélité accidentelle", où ses cartes de chaleur diffuses interceptent accidentellement les cibles réelles dans $M_{spur}$, masquant ainsi le raccourci.
  • MultiSHAP préfère structurellement le modèle spécurieux ($M_{spur}$), produisant une RMA plus élevée pour celui-ci que pour le modèle fidèle, probablement parce que les marginales de théorie des jeux s'alignent mieux sur les détecteurs de caractéristiques indépendants (raccourcis) que sur les intersections entrelacées.
• Incapacité à Capturer les Contraintes Spatiales : Les méthodes locales reviennent souvent à une détection de caractéristiques superficielle. MultiSHAP met en évidence tous les objets correspondant aux attributs cibles (y compris les distracteurs adverses), échouant à appliquer les contraintes spatiales binaires.
• Synergie Hallucinée : Les méthodes globales échouent au test de la Fallacie Additive. EMAP et InterSHAP hallucinent une synergie cross-modale élevée pour le modèle de raccourci ($M_{spur}$) et, inversement, montrent une diminution de l'interaction estimée à mesure que la complexité augmente pour le modèle fidèle ($M_{pure}$), prouvant que leurs estimateurs sont mal alignés avec le graphe causal.

Signification et Revendications

L'article affirme que GridVQA-X expose un angle mort critique dans la recherche actuelle en MxAI : les expliqueurs de pointe échouent fondamentalement à capturer la véritable synergie cross-modale.

Les auteurs soutiennent que les méthodes actuelles créent une "illusion d'interprétabilité" qui masque le comportement biaisé des modèles. En fournissant un environnement strictement contrôlé avec une vérité de terrain mathématiquement vérifiable, GridVQA-X offre un banc d'essai définitif, sans ambiguïté. Le cadre vise à détourner le domaine des métriques de plausibilité superficielle vers le développement d'expliqueurs capables de diagnostiquer de manière vérifiable l'ancrage relationnel cross-modal. Les auteurs ne prétendent pas avoir résolu le problème de l'explicabilité, mais plutôt avoir fourni l'outil de diagnostic nécessaire pour identifier là où les méthodes actuelles échouent.