Résumé Technique : Mal posé par conception : Sonder l'utilisation des preuves dans les VLM

Énoncé du problème

L'analyse contrefactuelle est un outil standard pour étudier l'utilisation des preuves par les modèles de vision-langage (VLM), mais sa valeur diagnostique est limitée sur les tâches bien posées. Dans des tâches comme la reconnaissance d'objets, de multiples indices visuels soutiennent souvent indépendamment la même réponse ; masquer un indice peut laisser la prédiction inchangée, rendant impossible la distinction entre un indice non utilisé et un indice simplement redondant.

Ce papier propose l'estimation de la taille d'un objet par monoculaire comme un cadre de diagnostic mal posé. Parce que l'échelle physique ne peut être déterminée à partir d'une seule image non calibrée sans indices stéréoscopiques ou références connues, la tâche est fondamentalement sous-déterminée. Les modèles doivent s'appuyer sur des indices imparfaits et potentiellement conflictuels tels que les priors de catégorie, l'apparence de la cible, le contexte local, la taille apparente de l'image et la géométrie de la scène. Les métriques de précision standard regroupent ces stratégies en un score unique, occultant quel canal de preuve spécifique le modèle utilise ou échoue à utiliser.

Méthodologie

Benchmark : Metric VQA

Les auteurs introduisent Metric VQA, un benchmark comprenant 10 813 requêtes dimensionnelles appariées à des mesures de vérité terrain, divisées en deux ensembles complémentaires :

1. Split dérivé d'Objectron (10 482 requêtes) : Images extraites de l'ensemble de données Objectron avec une vérité terrain de boîte englobante 3D, couvrant neuf catégories d'objets du quotidien.
2. Split In-the-Wild (ITW) (331 requêtes) : Scènes réelles encombrées avec des mesures effectuées à l'aide de rubans à mesurer, contenant plusieurs objets avec des occlusions et des éclairages arbitraires.

Interventions Contrefactuelles

La méthodologie centrale consiste à appliquer six interventions au niveau de l'image tout en maintenant la requête en langage naturel fixe. Ces interventions sondent six canaux de preuves distincts :

1. Texte seul : Suppression de la modalité image (ou remplacement par une image grise) pour mesurer la dépendance aux priors linguistiques.
2. Pixels de la cible : Masquage de toute la scène sauf l'objet cible (object_only).
3. Identité de la cible : Remplacement de l'objet cible par un autre objet dans la même scène (wrong_object) tout en préservant l'emplacement et les statistiques de la scène.
4. Contexte local : Conservation de la cible et d'un anneau fin de contexte environnant (object_ring).
5. Taille apparente : Redimensionnement de l'objet cible dans l'image (zoom avant 1,4× et zoom arrière 0,6×) pour tester la sensibilité à l'empreinte de pixels.
6. Géométrie globale de la scène : Application d'une distorsion de lentille radiale (effet barillet et coussinet) pour perturber les structures de point de fuite tout en préservant l'identité de l'objet.

Configuration de l'évaluation

L'étude évalue 12 VLM en poids ouverts allant de 3B à 397B de paramètres (incluant les familles Qwen, InternVL, LLaVA et Molmo). La performance est mesurée par rapport à :

• Un LLM frontal textuel uniquement (ChatGPT 5.5) interrogé sans images.
• Une base humaine sur le split ITW.
• Acc@10% (fraction des prédictions à moins de 10 % de la vérité terrain) est la métrique principale.

Les auteurs analysent également le fine-tuning LoRA comme une intervention actionnable, entraînant des adaptateurs sur le split Objectron pour observer comment l'apprentissage supervisé modifie les schémas de sélection des preuves.

Résultats Clés

1. Les priors linguistiques dominent dans le monde réel

Même les plus grands VLM ouverts testés (Qwen3.5-397B, InternVL3.5-241B) restent en deçà d'un LLM frontal textuel uniquement sur le split in-the-wild de Metric VQA. Cela indique que pour l'estimation métrique, de forts priors linguistiques au niveau de la catégorie expliquent souvent davantage la variance de la performance que les preuves visuelles dans des environnements non structurés.

2. Utilisation stratifiée des preuves

Les signatures contrefactuelles révèlent un schéma hiérarchique de dépendance aux preuves :

• L'identité de la cible est structurelle : Le remplacement de l'objet cible provoque les chutes de précision les plus constantes et significatives à travers les modèles, indiquant que les modèles conditionnent fortement leurs estimations sur ce que l'objet visible est.
• Les pixels de la cible et le contexte local sont sélectifs : Seul un sous-ensemble de modèles plus larges exploite les pixels bruts de la cible pour l'estimation métrique. Le contexte local fournit un bénéfice plus faible et dépendant du modèle, et pour certains modèles, l'encombrement de la scène agit comme un distracteur plutôt que comme un indice.
• La taille apparente est non directionnelle : Bien que les prédictions changent lorsque la taille de l'objet change, les changements ne sont pas directionnellement cohérents (par exemple, le zoom avant n'augmente pas systématiquement la taille prédite). La taille apparente agit comme un signal déstabilisant pour de nombreux modèles plutôt que comme un indice métrique fiable.
• La géométrie de la scène est largement inutilisée : La géométrie globale de la scène (perspective/points de fuite) est le canal le plus faible ; un seul modèle a montré une chute de précision fiable sous la distorsion de lentille, et aucun modèle n'a présenté de comportement directionnellement cohérent.

3. Limites du Fine-Tuning LoRA

Le fine-tuning supervisé LoRA améliore la précision globale sur la tâche d'estimation métrique. Cependant, l'analyse montre que les modèles n'apprennent pas à exploiter la géométrie de la scène ni à développer une nouvelle compréhension visuo-géométrique. Au lieu de cela, le fine-tuning améliore les canaux spécifiques que le modèle de base utilise déjà partiellement (par exemple, stabiliser les priors linguistiques, approfondir la sensibilité à l'identité de la cible ou utiliser le contexte local). La tâche est apprenable, mais le mécanisme consiste à corriger les canaux faibles existants plutôt qu'à acquérir de nouvelles capacités géométriques.

Signification et Revendications

Le papier soutient que les tâches mal posées servent de meilleur outil de diagnostic pour les systèmes multimodaux par rapport aux benchmarks bien posés. En forçant les modèles à choisir parmi des sources de preuves imparfaites et non redondantes, les interventions contrefactuelles isolent les schémas d'utilisation des indices que les métriques de précision globales masquent.

Points clés à retenir :

• Diagnostic plutôt que classement : L'étude privilégie la compréhension de comment les modèles raisonnent (sélection d'indices) plutôt que de simplement les classer par précision.
• L'illusion de la mesure visuelle : L'estimation en centimètres d'un VLM ne doit pas être traitée comme une mesure fiable. Elle est mieux comprise comme un prior de niveau catégorie avec une modulation visuelle sélective et dépendante du modèle.
• Limites de l'entraînement actuel : Le fine-tuning standard par perte de prochain jeton (next-token-loss) n'induit pas de véritable compréhension de la géométrie de la scène, suggérant que les paradigmes d'entraînement actuels pourraient ne pas être suffisants pour combler le fossé entre les priors linguistiques et le raisonnement physique.

Les auteurs publient Metric VQA (données, variantes d'intervention, prédictions et code) pour soutenir l'analyse diagnostique reproductible de l'utilisation des preuves dans les futurs systèmes multimodaux.