CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models

Résumé Technique : CounterCount : Un Cadre Diagnostique pour le Biais de Comptage dans les Modèles Visuels-Linguistiques

Énoncé du Problème
Les Modèles Visuels-Linguistiques (VLM) ont démontré de fortes capacités en raisonnement multimodal, en grande partie en exploitant les Modèles de Langage (LLM) comme épine dorsale textuelle. Cependant, une ambiguïté critique subsiste : lorsqu'un VLM répond à une question visuelle, la prédiction est-elle ancrée dans l'évidence visuelle spécifique, ou est-elle pilotée par des régularités statistiques et des « priors canoniques » appris à partir de corpus textuels ? Cette question est particulièrement aiguë dans les tâches de comptage. Bien que le comptage semble simple, il exige des modèles qu'ils identifient les entités, les distinguent des leurres et agrègent l'évidence visuelle. Les VLM actuels éprouvent souvent des difficultés avec le comptage, et les analyses antérieures suggèrent que même lorsque les objets pertinents reçoivent de l'attention, les modèles peuvent échouer à utiliser correctement cette évidence, optant plutôt pour des connaissances prototypiques (par exemple, en supposant qu'un lapin a deux oreilles indépendamment du contenu de l'image). Les benchmarks existants confondent souvent les erreurs de comptage avec d'autres facteurs tels que le biais de prompt ou l'ambiguïté sémantique, rendant difficile l'isolement des défaillances spécifiquement pilotées par le conflit entre l'évidence visuelle et les priors linguistiques.

Méthodologie
Pour répondre à cela, les auteurs introduisent CounterCount, un cadre diagnostique conçu pour isoler les conflits entre l'évidence visuelle et les priors de comptage au niveau des objets.

1. Construction de l'Ensemble de Données :

   • Paires Contrefactuelles : L'ensemble de données comprend 168 paires d'images (336 au total) couvrant 10 catégories sémantiques (par exemple, mammifères, transport, monnaie). Chaque paire inclut une image « factuelle » avec des attributs d'objets canoniques et une image « contrefactuelle » (CF) où un attribut pertinent pour le comptage (par exemple, le nombre d'oreilles, de roues ou de lames) est systématiquement altéré à l'aide de modèles d'édition d'images (Nano-Banana Pro).
   • Localisation : Contrairement aux benchmarks standards, CounterCount fournit des annotations au niveau des régions. Pour chaque image CF, les auteurs génèrent des masques de segmentation et des boîtes englobantes (BB) pour les attributs modifiés. Ceux-ci sont mappés sur la grille de tokens visuels de l'encodeur visuel pour créer des régions « Mask-BB », isolant les tokens visuels spécifiques requis pour le comptage.
   • Formats d'Évaluation : Chaque instance est évaluée à l'aide de prompts Ouverts (OE) et de Questions à Choix Multiples (MCQ) avec des leurres équilibrés pour distinguer entre les erreurs de comptage génériques et les erreurs pilotées par les priors.

2. Analyse Diagnostique :

   • Les auteurs évaluent des VLM récents à poids ouverts (Qwen3-VL, Gemma3) et un modèle à source fermée (Claude-haiku-4.5).
   • Ils analysent les mécanismes d'attention pour déterminer si les défaillances proviennent d'un manque de localisation ou d'une incapacité à pondérer l'évidence localisée. Les résultats indiquent que, bien que les modèles accordent souvent de l'attention aux régions pertinentes, ils sous-pondèrent ces tokens par rapport à l'arrière-plan ou au contexte non pertinent lors du raisonnement.

3. Stratégie d'Intervention :

   • L'article propose une stratégie unifiée de Modulation d'Attention au Moment de l'Inférence. Cette méthode opère sur les logits bruts d'attention de l'épine dorsale LLM avant la couche softmax.
   • Elle permet l'amplification ($\alpha > 1$), la suppression ($0 < \beta < 1$) ou le masquage ($\beta = 0$) de jeux spécifiques de tokens visuels (Cible) tout en atténuant simultanément les tokens d'arrière-plan.
   • Cette formulation unifie diverses interventions (amplification, suppression, masquage) dans un seul espace continu de modulation des logits, permettant un rééquilibrage ciblé des contributions des modalités sans réentraînement.

Contributions Clés

• Ensemble de Données CounterCount : Un ensemble de données diagnostique contrôlé présentant des paires d'images factuelles et contrefactuelles avec des annotations localisées (masques et boîtes englobantes), spécifiquement conçu pour tester l'ancrage visuel face aux priors canoniques.
• Insight Diagnostique : Des preuves empiriques montrant que les VLM affichent de fortes performances sur les images factuelles mais subissent une dégradation constante de la précision sur les images contrefactuelles. Cela confirme une dépendance aux priors au niveau des objets même lorsque des preuves visuelles contradictoires sont présentes.
• Analyse de l'Attention : Démonstration que les échecs de comptage ne sont pas uniquement dus à l'absence d'évidence visuelle ou à une mauvaise localisation ; plutôt, les modèles accordent de l'attention aux régions pertinentes mais échouent à les pondérer suffisamment face aux priors linguistiques et au bruit de fond.
• Intervention Sans Réentraînement : Une stratégie unifiée de modulation d'attention qui améliore la précision du comptage contrefactuel jusqu'à 8 % sur plusieurs VLM en réaffectant les tokens visuels pertinents pour le comptage au moment de l'inférence.

Résultats

• Chute de Performance : Sur les images factuelles, les modèles atteignent une haute précision (par exemple, Qwen3-VL-32B : ~87 %, Gemma3 : ~66–81 %). Cependant, sur les images contrefactuelles, la précision chute considérablement (par exemple, Qwen3-VL-32B : ~48 %, Gemma3 : ~34–38 %), avec des taux élevés de biais vers le comptage canonique.
• Efficacité de la Modulation : L'application de la modulation d'attention (spécifiquement l'amplification des tokens cibles et l'atténuation/masquage des tokens d'arrière-plan) améliore la précision contrefactuelle. Par exemple, Qwen3-VL-32B a enregistré une amélioration de 8,26 % de la précision en mode Ouvert.
• Réduction du Biais : L'intervention déplace avec succès les prédictions loin des priors canoniques vers l'évidence visuelle, réduisant le taux de biais dans plusieurs configurations.
• Généralisation : Les résultats sont valables à travers différentes échelles de modèles (de 4B à 32B) et pour les architectures à poids ouverts et à source fermée, suggérant un problème systémique dans le raisonnement actuel des VLM.
• Stabilité Factuelle : Les stratégies de modulation ne dégradent généralement pas les performances sur les images factuelles et, dans certains cas, les améliorent, indiquant que la méthode renforce le focus sur les tokens sémantiquement pertinents sans nuire à la compréhension générale.

Signification
L'article affirme que CounterCount expose une défaillance de raisonnement persistante dans les VLM actuels où les prédictions de comptage sont pilotées par des connaissances antérieures plutôt que par l'évidence visuelle, même lorsque l'évidence visuelle est explicite et localisée. La signification réside dans :

1. L'Isolation du Mode de Défaillance : Fournir un cadre contrôlé pour distinguer entre les limitations perceptuelles et le déséquilibre des modalités (la sous-utilisation de l'évidence visuelle au profit des priors linguistiques).
2. Insight Mécanistique : Montrer que les défaillances ne se produisent pas parce que les modèles ne peuvent pas « voir » le comptage, mais parce qu'ils échouent à prioriser les tokens visuels associés au comptage au cours du processus de raisonnement.
3. Guidage de Conception : Offrir un mécanisme sans réentraînement, au moment de l'inférence, pour sonder et atténuer ces biais, fournissant une voie pour concevoir de futurs VLM avec un ancrage visuel plus fort. Les auteurs notent que, bien que l'intervention améliore la précision, elle n'élimine pas totalement le biais, suggérant que des changements architecturaux plus profonds pourraient être nécessaires pour un ancrage visuel robuste.