VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images

Ce papier présente VB, un nouveau benchmark conçu pour évaluer la capacité des modèles vision-langage à déterminer la visibilité d'éléments dans une image et à savoir s'abstenir lorsque la réponse est incertaine, en utilisant des modifications minimales contrôlées pour vérifier la robustesse et la cohérence de leurs jugements.

L'essentiel

🕵️‍♂️ Le Grand Jeu de l'Enquêteur Visuel : C'est quoi le benchmark VB ?

Imaginez que vous êtes un détective privé. On vous montre une photo et on vous pose une question simple : "Est-ce que le chat est visible sur cette photo ?" ou "Est-ce que le panneau de signalisation est lisible ?".

Parfois, la réponse est évidente. Mais souvent, la photo est floue, le chat est caché derrière un canapé, ou le panneau est hors champ. Dans ces cas-là, un bon détective ne doit pas deviner au hasard. Il doit dire : "Je ne peux pas savoir avec certitude."

C'est exactement ce que teste VB (Visibility Benchmark). C'est un examen de passage pour les intelligences artificielles (les "modèles de vision") pour voir si elles savent :

1. Ce qu'elles voient vraiment.
2. Ce qu'elles ne voient pas.
3. Et surtout, quand elles doivent se taire plutôt que de faire une fausse réponse.

🎭 La Règle des "Trois Réponses"

Dans ce jeu, l'IA ne peut pas juste dire "Oui" ou "Non". Elle a trois options, comme un joueur de poker prudent :

1. VISIBLY_TRUE (C'est Vrai) : "Je vois clairement le chat, je suis sûr à 100 %."
2. VISIBLY_FALSE (C'est Faux) : "Je vois très bien que le chat n'est pas là, je suis sûr à 100 %."
3. ABSTAIN (Je m'abstiens) : "La photo est trop floue / le chat est caché. Je ne peux pas répondre sans risquer de me tromper. Je préfère ne pas jouer."

Le but du jeu : Un bon modèle doit savoir dire "Je ne sais pas" quand un humain normal ne pourrait pas répondre non plus. Se tromper en devinant est plus dangereux que de ne pas répondre du tout (pensez à une voiture autonome qui doit savoir si un piéton est caché derrière un bus).

🧪 L'Expérience de Laboratoire : Le "2 x 2" Magique

Pour tester les IA, les chercheurs n'ont pas juste montré des photos au hasard. Ils ont créé des familles de 4 photos basées sur une petite astuce :

Imaginez une photo de base (la photo originale). Ensuite, ils font deux petits changements :

• Changement d'image : Ils bougent un objet ou changent l'éclairage (ex: ils déplacent un vase pour qu'il soit visible).
• Changement de texte : Ils changent la question (ex: ils passent de "Le vase est-il visible ?" à "Le vase est-il caché ?").

Cela crée 4 scénarios. Si l'IA est intelligente, elle doit changer sa réponse exactement quand la photo ou la question change. Si elle garde la même réponse alors que la photo a changé, c'est qu'elle est "bête" ou qu'elle hallucine.

C'est comme si on testait un détective en lui montrant la même scène, mais en changeant subtilement un détail : s'il ne remarque pas le changement, c'est qu'il ne regarde pas vraiment.

🏆 Les Résultats : Qui gagne la médaille d'or ?

Les chercheurs ont mis en compétition 9 IA différentes (certaines très puissantes et payantes, d'autres gratuites et open-source).

• Les Champions (Les "Flagships") : GPT-4o et Gemini 3.1 Pro sont arrivés en tête. Ils sont comme des détectives très expérimentés : ils voient bien, ils savent quand se taire, et ils sont très fiables.
• Les Outsiders (Open Source) : Le modèle Gemma 3 12B (gratuit) a fait une excellente performance. Il a même battu un ancien modèle payant (Claude 3.7 Sonnet). C'est comme si un élève de lycée (le modèle gratuit) avait battu un ancien professeur (l'ancien modèle payant) à un examen de logique visuelle.
• Le Problème de Confiance : Certains modèles sont très sûrs d'eux, même quand ils se trompent. D'autres sont très prudents. Le benchmark VB a montré que savoir évaluer sa propre confiance est aussi important que de bien répondre. Un modèle qui dit "Je suis sûr à 99%" alors qu'il se trompe est plus dangereux qu'un modèle qui dit "Je ne suis pas sûr".

🚧 Les Défis Restants

L'article révèle deux faiblesses intéressantes :

1. Le piège du texte vs l'image : Les IA sont souvent meilleures pour comprendre quand on change la question (ex: ajouter un "non") que quand on change l'image (ex: déplacer un objet de quelques pixels). C'est comme si elles lisaient très bien mais regardaient mal.
2. La perspective des autres : Certaines questions demandent de se mettre à la place de quelqu'un d'autre sur la photo ("Est-ce que Paul peut voir ce que Marie regarde ?"). C'est très difficile pour les IA, même les plus puissantes.

💡 En Résumé

Le benchmark VB est une nouvelle règle du jeu pour les intelligences artificielles. Il ne demande pas seulement "Combien de chats vois-tu ?", mais "Es-tu capable de reconnaître tes limites ?".

C'est une étape cruciale pour l'avenir : pour que les IA soient utiles et sûres (dans les hôpitaux, les voitures, etc.), elles doivent apprendre à dire "Je ne sais pas" quand elles ne sont pas sûres, au lieu de faire des suppositions dangereuses. Et pour l'instant, les modèles les plus avancés y arrivent bien mieux que les autres, mais les modèles gratuits commencent à rattraper leur retard !

Résumé technique

Résumé Technique : VB (Visibility Benchmark)

1. Problématique et Contexte

Les modèles vision-langage (VLM) sont de plus en plus déployés dans des domaines critiques (conduite autonome, technologies d'assistance pour les malvoyants, imagerie médicale) où une erreur de jugement visuel peut avoir des conséquences graves. Un problème majeur est la tendance des modèles à "deviner" même lorsque les preuves visuelles sont insuffisantes (occlusion, hors champ, faible luminosité, etc.).

Le papier identifie un manque de benchmarks capables de tester spécifiquement la capacité d'un modèle à :

• Distinguer ce qui est visible de ce qui est simplement présent dans une scène.
• S'abstenir (ne pas répondre) de manière calibrée lorsque la réponse ne peut être déterminée avec confiance à partir de l'image seule.
• Comprendre la perspective (qui voit quoi) dans des contextes multi-agents.

2. Méthodologie et Conception du Benchmark

Le benchmark VB introduit une approche rigoureuse basée sur des familles d'items structurées et des modifications minimales contrôlées.

• Définition des Tâches et Labels :
  Pour chaque paire (Image, Question), le modèle doit choisir parmi trois labels :

  • VISIBLY_TRUE : La preuve visuelle suffit pour confirmer l'affirmation.
  • VISIBLY_FALSE : La preuve visuelle réfute l'affirmation.
  • ABSTAIN : L'image ne permet pas de trancher avec confiance (le modèle doit s'abstenir).
    Le modèle doit également fournir un code de raison (ex: occlusion, hors champ, éclairage) et un score de confiance.

• Structure en Familles (Design 2×2) :
  Les données sont organisées en 100 familles. Chaque famille croise une modification minimale d'image avec une modification minimale de texte, générant quatre cellules :

  1. BASE : Image originale + Question originale (Étiquette : VISIBLY_FALSE).
  2. TEXT_FLIP : Image originale + Question modifiée (négation ou changement de cible) (Étiquette : VISIBLY_TRUE).
  3. IMAGE_FLIP : Image modifiée (changement atomique de la scène, ex: déplacer un objet) + Question originale (Étiquette : VISIBLY_TRUE).
  4. DOUBLE_FLIP : Image modifiée + Question modifiée (Étiquette : VISIBLY_FALSE, utilisée uniquement pour le diagnostic).
     Note : Les modifications d'image sont réelles (reprises de photos) et non numériques, pour éviter les artefacts de génération.

• Catégories de Visibilité :
  Le benchmark couvre 8 catégories principales (ex: direction du regard, occlusion, hors champ, limitations d'éclairage) et une tranche dédiée au raisonnement multi-agent / perspective du second ordre (ex: "Bob sait-il qu'Alice ne voit pas la carte ?").

• Métriques d'Évaluation :

  • CAA (Confidence-Aware Accuracy with Abstention) : Mesure la précision en pénalisant les erreurs confiantes et en accordant un crédit partiel aux abstentions correctes.
  • MEFR (Minimal-Edit Flip Rate) : Mesure la robustesse. Un modèle est robuste s'il change sa réponse uniquement lorsque la preuve visuelle ou textuelle change (taux de basculement correct).
  • SelRank : Évalue la qualité de la prédiction sélective (la confiance du modèle est-elle corrélée à la justesse de la réponse ?).
  • ToMAcc : Précision spécifique sur la tranche de raisonnement du second ordre.
  • Score Composite : Une moyenne pondérée (70% CAA, 15% MEFR, 10% SelRank, 5% ToMAcc).

3. Contributions Clés

1. Le Benchmark VB : Une définition de tâche isolant la compétence de raisonnement sur la visibilité, avec un design expérimental 2×2 permettant d'analyser la causalité des erreurs.
2. Taxonomie et Codes de Raison : Une classification des facteurs limitant la visibilité (occlusion, distance, etc.) pour rendre les échecs interprétables.
3. Évaluation Comparative : Une analyse de neuf modèles (3 propriétaires phares, 3 générations précédentes, 3 open-source 8-12B) révélant des écarts de capacités significatifs.
4. Ressources Publiques : Publication complète du dataset, des métadonnées et du code d'évaluation.

4. Résultats Principaux

L'évaluation porte sur 9 modèles, dont GPT-4o, Gemini 3.1 Pro, GPT-5, et des modèles open-source comme Gemma 3 12B.

• Performance Globale :

  • GPT-4o (0.728) et Gemini 3.1 Pro (0.727) obtiennent les meilleurs scores composites, suivis par Gemini 2.5 Pro (0.678).
  • Le meilleur modèle open-source, Gemma 3 12B (0.505), surpasse un système propriétaire de génération précédente (Claude 3.7 Sonnet, 0.476), montrant que le raisonnement sur la visibilité commence à se transférer aux modèles open-source de taille moyenne (8-12B).

• Robustesse aux Modifications (MEFR) :

  • Une asymétrie notable existe : la plupart des modèles (6 sur 9) sont plus robustes aux modifications de texte qu'aux modifications d'image (T_MEFR > I_MEFR). Cela suggère que les modèles détectent mieux les négations logiques que les changements visuels subtils.
  • GPT-4o montre la meilleure robustesse globale (0.847).

• Calibration et Abstention :

  • GPT-5 abstient très souvent (78/300 items), ce qui réduit son score composite malgré une haute précision sur les réponses données.
  • Gemini 3.1 Pro présente la meilleure calibration (SelRank 0.394), signifiant que ses scores de confiance correspondent bien à la justesse.
  • À l'inverse, Gemini 2.5 Pro a un SelRank négatif (-0.106), indiquant que ses réponses les plus confiantes sont paradoxalement moins fiables.

• Raisonnement du Second Ordre :

  • Les modèles propriétaires (GPT-4o : 0.952) dominent largement les modèles open-source sur les tâches de perspective (ToMAcc). Gemma 3 12B (0.714) est le seul open-source à performer au-dessus du hasard, mais reste loin des leaders.

5. Signification et Implications

• Sécurité et Fiabilité : Le benchmark démontre que la capacité à s'abstenir est cruciale pour les applications de sécurité. Un modèle qui devine quand il ne devrait pas est plus dangereux qu'un modèle qui refuse de répondre.
• Écart Propriétaire vs Open-Source : Bien que l'écart se réduise pour les modèles open-source de 8-12B (qui surpassent parfois les anciens modèles propriétaires), un fossé significatif persiste sur le raisonnement complexe (perspective, calibration fine).
• Limites des Modèles Actuels : La difficulté à détecter les modifications d'image minimales (par rapport aux modifications de texte) révèle une fragilité dans la compréhension visuelle profonde des modèles actuels.
• Direction Future : Le travail ouvre la voie à des recherches sur l'amélioration de la calibration des confiances et sur l'entraînement spécifique pour la détection de changements visuels subtils.

En conclusion, VB établit un nouveau standard pour évaluer non seulement ce que les modèles voient, mais comment ils raisonnent sur les limites de leur vision et sur la nécessité de l'incertitude.