🤖 AI

Visual Credit Audit for Multimodal Spatial Reasoning

Cet article introduit le Visual Credit Audit (VCA), un cadre d'apprentissage et de labellisation sans entraînement qui décompose la performance du raisonnement spatial multimodal en exactitude, support visuel et réponse spécifique à la relation, révélant qu'une partie significative des réponses correctes aux tests de référence n'est en réalité pas créditée par l'évidence visuelle.

Auteurs originaux : Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen, Xueqi Cheng

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen, Xueqi Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous passiez un examen où un professeur vous montre l'image d'un chat assis sous une télévision et vous demande : « La télévision est-elle au-dessus du chat ? » Vous répondez « Oui », et vous obtenez une étoile dorée. Mais et si vous aviez obtenu cette étoile non pas parce que vous avez réellement regardé l'image, mais parce que vous avez deviné la réponse grâce aux mots seuls ? Peut-être avez-vous entendu cette phrase un million de fois, ou peut-être savez-vous simplement que les télévisions sont généralement fixées aux murs et les chats sur les sols. Dans le monde de l'Intelligence Artificielle, spécifiquement avec les « Modèles de Langage Multimodaux » (l'IA qui peut voir et lire), c'est un problème délicat. Ces modèles sont comme des étudiants super intelligents qui ont lu tous les livres de la bibliothèque, mais qui parfois trichent en devinant la réponse à partir de la formulation de la question plutôt qu'en analysant réellement l'image. Les scientifiques veulent savoir : quand l'IA dit « Oui », est-elle vraiment en train de voir la télévision au-dessus du chat, ou s'agit-il simplement d'une chance basée sur le texte ?

C'est exactement l'énigme abordée dans un nouvel article intitulé « Visual Credit Assignment for Multimodal Spatial Reasoning ». Les chercheurs ont construit un outil d'audit spécial appelé Visual Credit Audit (VCA). Considérez le VCA comme un détective strict qui ne se contente pas de vérifier si la réponse est correcte, mais qui enquête sur le pourquoi elle l'est. Ils posent deux questions principales. Premièrement, l'image a-t-elle réellement apporté une aide supplémentaire à l'IA pour prendre cette décision par rapport à la simple lecture du texte ? Deuxièmement, si l'on inversait la relation dans l'image (comme mettre le chat au-dessus de la télévision), l'IA changerait-elle d'avis ? L'article conclut que même lorsque l'IA donne la bonne réponse, elle « triche » souvent en s'appuyant sur des indices textuels plutôt que sur des preuves visuelles. En fait, pour certains modèles, jusqu'à 26,25 % de leurs bonnes réponses lors de tests spatiaux étaient en réalité non créditées — elles ont eu la bonne réponse, mais l'image ne les a pas du tout aidées.

La boîte à outils du détective : Comment fonctionne le VCA

Pour comprendre comment les chercheurs ont démasqué ces « tricheurs », imaginez un jeu de « Trouvez les différences » joué avec un robot très têtu.

La configuration : Les contrôles « Sans Image »
Les chercheurs ont mis en place une expérience ingénieuse. Ils ont pris une question comme « La télévision est-elle au-dessus du chat ? » et l'ont présentée à l'IA de trois manières différentes :

L'original : La question accompagnée de la vraie image.
Le texte seul : La question sans aucune image (juste un espace vide).
La toile vierge : La question avec une boîte grise vide là où l'image devrait se trouver.

Si l'IA répond « Oui » dans ces trois scénarios avec la même assurance, les chercheurs se disent : « Aha ! L'image n'a servi à rien. » L'IA ne fait que deviner à partir du texte. Mais si l'IA est beaucoup plus confiante lorsque l'image est présente, alors l'image reçoit le « crédit » de la réponse. C'est la première partie de l'audit : la dépendance à l'image.

Le rebondissement : « L'inversion de la relation »
Mais attendez, il y a un second piège. Et si l'IA était sensible à l'image, mais d'une manière étrange ? Peut-être voit-elle la télévision et le chat, mais elle ne comprend pas réellement lequel est au-dessus de l'autre. Pour attraper cela, les chercheurs ont utilisé un test « factoriel ». Ils ont créé des scénarios où le texte disait « La télévision est-elle au-dessus du chat ? » mais où l'image montrait la télévision sous le chat.

Si l'IA est vraiment intelligente, elle devrait dire « Non » lorsque l'image contredit le texte. Si elle dit toujours « Oui » parce qu'elle ignore l'image, elle échoue au second test : la cohérence de la relation.

La grande révélation : « Correct mais non crédité »

Les chercheurs ont soumis cet audit à quatre modèles d'IA différents (Qwen, InternVL, LLaVA et Ministral) en utilisant deux benchmarks de raisonnement spatial différents. Les résultats sont frappants.

Ils ont découvert qu'une part importante des « bonnes » réponses de l'IA était en réalité Correcte-mais-Non-Créditée (C-U).

Sur le jeu de données GSR-COCO, le modèle Qwen a obtenu 90,91 % de bonnes réponses. Mais lorsqu'ils ont appliqué l'audit, seulement 78,18 % de ces réponses étaient réellement soutenues par l'image. Cela signifie que 12,73 % du temps, le modèle a donné la bonne réponse, mais l'image ne l'a pas du tout aidé.
Pour le modèle LLaVA sur le même jeu de données, l'écart était encore plus large : 26,25 % de ses bonnes réponses étaient non créditées.

L'article écarte explicitement l'idée que ces modèles soient simplement « mauvais » en raisonnement spatial. En fait, les modèles sont sensibles aux changements visuels. Lorsque les chercheurs ont inversé les positions des objets dans les images (une « inversion de relation »), 81,57 % à 100,00 % des modèles ont bien changé leurs réponses dans la bonne direction. Cela prouve que les modèles peuvent voir la différence, mais que dans le test standard, ils n'avaient souvent pas besoin de regarder pour obtenir la bonne réponse. Ils s'appuyaient sur des raccourcis.

Pourquoi cela importe (sans le jargon)

Pensez à un élève passant un examen de mathématiques.

L'exactitude (Accuracy) est simplement la note : « A-t-il trouvé le bon chiffre ? »
Le VCA est l'enseignant qui regarde le brouillon de l'élève : « A-t-il réellement fait les calculs, ou a-t-il juste deviné la réponse parce qu'il sait que l'enseignant aime le nombre 42 ? »

L'article montre que les benchmarks actuels de l'IA sont comme un test où l'enseignant donne accidentellement les réponses dans la formulation de la question. Les modèles obtiennent des scores élevés, mais ils n'apprennent pas nécessairement à mieux « voir ».

Les chercheurs ont également testé ce qui se passe si l'on remplace l'image par une image totalement différente et sans rapport (comme remplacer la photo du chat/télévision par une photo de plage). Lorsqu'ils l'ont fait, le score de « crédit » des modèles a chuté de 21,25 à 47,80 points. Cela confirme que l'image originale effectuait bien le gros du travail pour ces réponses correctes spécifiques, et sans elle, les modèles auraient trébuché.

Ce qu'il faut retenir

L'article ne dit pas que l'IA est cassée ou qu'elle est incapable de voir. Au lieu de cela, il propose une nouvelle façon de mesurer le succès. Il suggère que nous ne devrions pas seulement compter combien de fois une IA donne la bonne réponse. Nous devons compter combien de fois l'IA a eu besoin de l'image pour obtenir cette réponse.

En séparant la « justesse » du « soutien visuel », les chercheurs ont découvert qu'une grande partie de ce que nous pensons être une « vision intelligente » est en fait une « supposition intelligente ». Ils proposent que les futurs tests pour l'IA incluent ces « audits de crédit » pour garantir que lorsqu'une IA dit « Je vois le chat », elle veut vraiment dire qu'elle regarde le chat, et qu'elle ne se contente pas de réciter une phrase qu'elle a mémorisée. C'est un appel à arrêter de célébrer la note et à commencer à vérifier les devoirs.

Résumé technique : Attribution du crédit visuel pour le raisonnement spatial multimodal

Énoncé du problème

Les modèles de langage de grande taille multimodaux (MLLM) sont de plus en plus évalués sur des tests de raisonnement spatial (ex. : VSR, GSR-COCO) à l'aide de questions fermées de type oui/non. Cependant, les métriques de précision standard confondent deux phénomènes distincts : une réponse correcte due à une véritable preuve visuelle versus une réponse correcte due à de forts a priori textuels, des biais de jeux de données ou des habitudes de suivi d'instructions. Un modèle peut répondre « oui » à la question « La télévision est-elle au-dessus du chat ? » correctement, pourtant l'image peut ne fournir pas plus de support pour cette décision qu'une invite uniquement textuelle ou une image vide. Les méthodes existantes de débiaisage et de contre-factuel se concentrent souvent sur la réduction des a priori linguistiques ou l'amélioration de la précision globale, mais n'auditent pas explicitement si une décision spatiale spécifique reçoit un support incrémentiel par rapport à des contrôles sans image, tout en maintenant simultanément la cohérence de la relation.

Méthodologie : Audit du Crédit Visuel (VCA)

Le document propose le Visual Credit Audit (VCA), un cadre d'audit décisionnel sans entraînement qui sépare le succès du benchmark en trois composantes : la correction, le support d'image additionnel et la réponse cohérente avec la relation. Le VCA opère sur une interface binaire fixe (ex. : Oui/Non) et fige le MLLM, en analysant les marges de log-vraisemblance sous des contextes appariés.

Cadre d'audit à deux axes

Le VCA identifie deux estimands distincts :

Dépendance Relative à l'Image (Axe de Support) :
- Objectif : Déterminer si l'image originale fournit plus de support pour la décision déclarée du modèle que les contrôles textuels ( $t$ ) ou vides ( $b$ ).
- Métrique : L'écart de dépendance VCA ( $G^{\text{img}}_i$ ) est défini comme la différence entre le support de l'image originale aligné sur la prédiction ( $r_{i,o}$ ) et le support maximal des contrôles sans image ( $\max(r_{i,t}, r_{i,b})$ ).
- Définition : Une décision est « créditée » ( $D_i=1$ ) si $G^{\text{img}}_i > 0$ . Crucialement, cela ne nécessite pas que les contrôles sans image favorisent la réponse opposée, seulement que l'image offre plus de support que les contrôles.
- Décomposition : Cela conduit à une décomposition en quatre cellules de la précision :
  - D-CC (Correct avec Crédit de Dépendance) : Décisions correctes avec un avantage de support d'image.
  - C-U (Correct mais Non-Crédité) : Décisions correctes où l'image n'offre aucun avantage par rapport aux contrôles textuels/vides.
  - Erreurs avec Avantage de Support : Décisions incorrectes où l'image a en réalité fourni un support plus fort que les contrôles (une catégorie souvent masquée dans les métriques basées uniquement sur le "gold").
  - Erreurs Non-Créditées : Décisions incorrectes sans avantage de support d'image.
Cohérence de la Relation (Axe d'Interaction) :
- Objectif : Déterminer si le modèle distingue la relation spatiale réelle des alternatives fausses sur des pixels fixes.
- Métrique : Le Contraste de Relation Sémantique (SRC) compare la marge de la requête de la relation vraie ( $q_{r+}$ ) contre la marge maximale des alternatives fausses ( $q_{r-}$ ).
- PairCredit : Mesure si la séparation spécifique à l'image ( $G_{\text{int}}$ ) dépasse la séparation trouvée dans les contrôles sans image.
- Joint : Une conjonction exigeant à la fois la cohérence de la relation absolue et la dépendance appariée.

Interventions Diagnostiques

Pour valider ces estimands et traiter les limitations des contrôles nuls (qui ne peuvent identifier la réactivité à la relation), les auteurs emploient :

Permutation d'Image Appariée : Remplacer l'image originale par une image non liée, déterministe et de même division, pour calibrer la métrique D-CC.
Facteur de Source d'Évidence Contrôlé : Un plan factoriel $3 \times 3$ faisant varier l'évidence visuelle (relation supportée, opposée à la relation, neutre) et l'évidence textuelle (supportante, opposante, neutre) pour isoler si les décisions non créditées répondent toujours aux changements de relation visuelle.
Éditions Auditées par l'Humain : Un ensemble de 108 éditions d'images naturelles compatibles avec la géométrie pour vérifier la correspondance entre les interventions contrôlées et les changements d'images naturelles.

Contributions Clés

Audit Décisionnel Sans Étiquette : Introduction d'une méthode qui attribue du crédit aux décisions déclarées sans dépendre des étiquettes de vérité terrain pour l'audit lui-même. Cela récupère le gain aligné sur le "gold" pour les éléments corrects mais conserve de manière unique les « erreurs avec avantage de support », fournissant une décomposition complète de la précision.
Séparation du Support Marginal et de la Réponse à la Relation : Établissement que les contrôles nuls (texte/vide) ne peuvent identifier si un modèle répond aux inversions de relation. Le papier démontre qu'une décision peut être « non créditée » (aucun avantage de support marginal) tout en étant « réactive à la relation » (changeant correctement lorsque la relation visuelle est inversée).
Analyse Empirique Complète : Application du VCA à quatre MLLM ouverts (Qwen, InternVL, LLaVA, Ministral) et deux benchmarks (VSR, GSR-COCO), utilisant 1 800 entrées factorielles par modèle et 108 audits d'édition indépendants.

Résultats

Prévalence de la Correction Non-Créditée : À travers les modèles et les jeux de données, 12,73 % à 26,25 % des décisions correctes sont « non créditées » (C-U), signifiant que l'image n'a fourni aucun avantage de support supplémentaire par rapport aux contrôles textuels ou vides.
Spécificité de l'Image : La permutation d'image appariée réduit le D-CC de 21,25 à 47,80 points sur tous les tests, avec des intervalles de confiance à 95 % strictement supérieurs à zéro. Cela confirme que l'avantage de l'image originale est spécifique à son contenu, et non simplement à la présence de n'importe quelle image.
Réactivité à la Relation dans les Cas Non-Crédités : Parmi les décisions correctes mais non créditées, 81,57 % à 100,00 % des modèles répondent correctement aux inversions de relation dans la configuration factorielle. De plus, 32,11 % de ces décisions non créditées inversent réellement leur réponse binaire lorsque la relation est inversée, prouant qu'elles ne sont pas purement pilotées par le texte.
Correspondance Naturelle : Sur les éditions d'images naturelles auditées par l'humain, 25,00 % des décisions sources-correctes mais non créditées basculent avec succès selon la visibilité, confirmant que des cas non crédités réactifs existent dans les images naturelles, et non seulement dans les rendus procéduraux.
Décomposition : Le cadre révèle que la précision agrégée masque une variance significative dans la façon dont les modèles utilisent l'évidence visuelle. Par exemple, sur GSR-COCO, Qwen atteint 90,91 % de précision, mais seulement 78,18 % des exemples sont à la fois corrects et supportés par l'image.

Signification et Revendications

Le papier affirme que le VCA fournit une décomposition nécessaire du succès des benchmarks que la précision seule ne peut offrir.

Au-delà de la Précision : Il soutient que la « correction » et le « support visuel » sont des dimensions distinctes. Un modèle peut être précis mais s'appuyer sur des a priori (C-U), ou être imprécis mais utiliser correctement l'évidence visuelle (erreurs avec avantage de support).
Rigueur Méthodologique : En séparant l'estimand de « support marginal » de l'estimand de « réponse à la relation », le VCA évide la confusion présente dans les méthodes de contrôle nul existantes. Il démontre que les contrôles nuls sont insuffisants pour identifier les réponses visuelles spécifiques à une relation.
Utilité Pratique : Le VCA sert de compagnon post-hoc à la précision, offrant un « rapport stratifié » qui aide à diagnostiquer si les améliorations du raisonnement spatial proviennent d'une véritable évidence visuelle ou de plus forts a priori de réponse. Il ne prétend pas remplacer la précision mais en affiner l'interprétation du succès des benchmarks.
Limites : Les auteurs notent modestement que le VCA mesure le support relatif sous des contrôles présupposés, et non les voies causales internes ou l'attribution au niveau du pixel. Il est conçu pour des interfaces à choix forcé fixes et ne traite pas directement la génération ouverte et non contrainte.