GroundCount: Grounding Vision-Language Models with Object Detection for Mitigating Counting Hallucinations

Le papier présente GroundCount, un cadre qui améliore la précision du comptage des modèles vision-langage en intégrant des données de détection d'objets pour atténuer les hallucinations, démontrant que l'ancrage spatial explicite surpasse la fusion de caractéristiques implicite tout en réduisant le temps d'inférence.

L'essentiel

🎨 Le Problème : Les "Rêveurs" qui Comptent Mal

Imaginez que vous avez un ami très intelligent, un Vision-Language Model (VLM). C'est un robot qui peut voir des photos et répondre à des questions sur elles. Il est brillant pour décrire une scène, dire si quelqu'un est heureux, ou identifier un objet.

Mais il y a un gros problème : il est terrible pour compter.

Si vous lui montrez une photo avec 5 pommes et que vous lui demandez : "Combien de pommes y a-t-il ?", il va souvent halluciner. Il peut dire "3", puis "7", puis se reprendre et dire "4". Il semble perdu dans ses propres pensées, confondant ce qu'il voit avec ce qu'il pense qu'il devrait voir. C'est comme si un artiste peintre, en regardant un tableau, décidait soudainement d'ajouter ou de retirer des objets parce que son imagination est plus forte que ses yeux.

Les chercheurs ont découvert que même les modèles les plus avancés (les "génies" de l'IA) échouent systématiquement sur cette tâche simple, alors qu'ils excellent ailleurs.

🔍 La Solution : Le Détective de Confiance (GroundCount)

Pour régler ce problème, les auteurs (de l'Université de New York) ont eu une idée géniale : ne pas essayer de rééduquer le "génie", mais lui donner un assistant.

Imaginez que votre ami rêveur (le VLM) est un chef cuisinier très créatif mais distrait. Pour compter les ingrédients, il a besoin d'un détective (un modèle de détection d'objets comme YOLO) qui est excellent pour repérer les choses, les localiser et les compter avec une précision chirurgicale.

Leur méthode, appelée GroundCount, fonctionne en trois étapes simples :

1. Le Détective scanne la photo : Avant que le chef ne regarde l'image, le détective (YOLO) passe un coup d'œil rapide. Il dit : "J'ai vu 3 personnes à gauche, 2 chats au centre, et 1 vélo à droite."
2. Le Chef reçoit la note : Au lieu de demander au chef de chercher lui-même, on lui donne cette liste écrite : "Note : 3 personnes, 2 chats, 1 vélo."
3. Le Chef répond : Maintenant, le chef n'a plus besoin de deviner. Il lit la note, vérifie rapidement l'image pour confirmer, et donne la réponse exacte.

🚀 Les Résultats : Plus Vite et Plus Juste

Ce qui est surprenant, c'est que cette méthode ne rend pas le système plus lent. Au contraire, elle l'accélère !

• Avant : Le chef passait 10 secondes à se demander "Attends, est-ce que c'est un chat ou un chien ? Combien y en a-t-il ?" en tournant en rond (ce qu'on appelle une "boucle d'hallucination").
• Après : Avec la note du détective, il répond en 7,8 secondes. Il a gagné du temps car il ne perd plus de temps à rêver.

Sur les tests, la précision est passée de 74,7 % à 81,3 %. C'est une énorme amélioration pour une tâche aussi basique que compter.

🧪 Les Découvertes Intéressantes (Les "Leçons")

En testant leur méthode, les chercheurs ont appris trois choses importantes :

1. Les détails de position sont cruciaux (pour les forts) : Dire "Il y a 3 pommes" ne suffit pas toujours. Il faut dire "Il y a 3 pommes : une en haut à gauche, une en bas au milieu...". Pour les modèles les plus intelligents, cette précision spatiale est comme une boussole indispensable.
2. Parfois, moins c'est mieux (pour les faibles) : Pour certains modèles plus petits ou moins puissants, donner trop d'informations (comme un score de confiance "98%") les embrouille. Ils préfèrent une liste simple. C'est comme donner une carte routière trop détaillée à quelqu'un qui ne sait pas lire les cartes : il se perd.
3. Le texte bat l'image (pour l'instant) : Les chercheurs ont essayé de fusionner les "cerveaux" du chef et du détective au niveau des circuits électroniques (une fusion complexe). Résultat ? Ça a moins bien marché que de simplement donner la liste écrite au chef. Cela prouve que nos IA actuelles comprennent mieux les mots clairs et structurés que les mélanges complexes de signaux invisibles.

🏁 Conclusion : Pourquoi c'est important ?

Cette recherche nous dit quelque chose de fondamental sur l'intelligence artificielle actuelle : elle est très bonne pour le "sens" (comprendre une émotion, une histoire), mais elle a du mal avec la "géométrie" (compter, localiser précisément).

Au lieu de construire une IA parfaite qui fait tout, GroundCount propose une approche pragmatique : collaborer. En combinant la créativité du langage avec la précision de la détection d'objets, on obtient un système plus fiable, plus rapide et plus digne de confiance.

C'est comme si on disait : "Ne demande pas à l'artiste de faire le travail de l'architecte. Demande-lui de dessiner la maison, mais laisse l'architecte compter les briques."

Résumé technique

1. Problématique : Les Hallucinations de Comptage dans les VLM

Les modèles Vision-Language (VLM) ont fait des progrès remarquables dans le raisonnement multimodal, mais ils souffrent d'une hallucination persistante lors des tâches de comptage. Contrairement à d'autres tâches de raisonnement visuel (comme la reconnaissance d'objets ou l'identification d'attributs), le comptage reste la tâche la moins précise pour les VLM les plus avancés (SOTA), avec des taux de précision variant entre 64,0 % et 74,7 %.

• Cause racine : Les auteurs identifient que ce problème ne provient pas d'un manque de capacité de raisonnement, mais d'une intégration spatiale-sémantique fondamentale défaillante. Les VLM, basés sur des Transformers (ViT), ont du mal à discriminer les instances spatiales fines et tendent à sur-attirer l'attention sur les priors textuels plutôt que sur les tokens visuels.
• Limites des solutions actuelles : Les stratégies d'atténuation existantes (réglage du décodage, régularisation à l'entraînement, ou guidage des couches) sont inefficaces pour les tâches de comptage, en particulier dans les VLM dotés de mécanismes de réflexion itérative où il n'existe pas de "token correct" unique à cibler.
• Opportunité : Les modèles de détection d'objets (ODM) basés sur des CNN (comme YOLO) excellent dans la localisation spatiale et le comptage d'instances avec une faible latence, offrant une solution complémentaire.

2. Méthodologie : Le Framework GroundCount

Les auteurs proposent GroundCount, un cadre qui enrichit les VLM avec un ancrage spatial explicite provenant de modèles de détection d'objets. Trois stratégies d'implémentation sont évaluées :

A. GroundCount A : Augmentation par Prompt (Plan A)

C'est l'approche la plus efficace et la plus simple.

• Principe : L'image est d'abord traitée par un ODM (YOLOv13x). Les détections (classes, boîtes englobantes, scores de confiance) sont converties en descriptions textuelles structurées.
• Encodage Spatial : L'espace image est discrétisé en une grille 3x3 (haut/milieu/bas × gauche/centre/droite). Chaque détection est assignée à une cellule.
• Séquentiation : Les objets sont ordonnés de gauche à droite, puis de bas en haut pour maintenir la cohérence spatiale.
• Intégration : Ces informations sont ajoutées au prompt utilisateur sous forme de contexte structuré (ex: person 1 lower-left: 0.92).
• Avantage : Aucune modification architecturale ni réentraînement nécessaire (plug-and-play).

B. GroundCount B : Fusion au Niveau des Caractéristiques (Plan B)

Cette approche tente une intégration plus profonde au niveau des vecteurs latents.

• Architecture : Un réseau de fusion léger est inséré entre l'encodeur visuel du VLM (ViT) et le décodeur de langage.
• Mécanisme : Il combine deux branches :
  1. Transformation (FiLM) : Modulation linéaire des caractéristiques ViT par les caractéristiques CNN locales.
  2. Attention Sélective (Cross-Attention) : Permet aux patches ViT d'interroger les caractéristiques CNN globales et locales.
• Entraînement : Nécessite un fine-tuning du réseau de fusion et potentiellement du VLM/ODM.

C. GroundCount C : Approche Hybride

Combinaison de l'augmentation par prompt (Plan A) et de la fusion architecturale (Plan B.4) pour bénéficier à la fois de l'ancrage explicite et implicite.

3. Résultats Clés

Les expériences ont été menées sur le benchmark PhD avec cinq VLM SOTA (Ovis2.5-2B, Molmo2-4B, R-4B, Qwen3-VL-2B, InternVL3.5-1B).

• Performance de Comptage :

  • GroundCount A (Prompt) atteint la meilleure précision : 81,3 % sur Ovis2.5-2B, soit une amélioration de 6,6 points de pourcentage (pp) par rapport à la ligne de base (74,7 %).
  • L'amélioration est consistante sur 4 des 5 modèles testés (gain de 6,2 à 7,5 pp).
  • GroundCount B (Fusion) performe moins bien (78,0 % pour la meilleure configuration B.4), suggérant que la fusion implicite introduit du bruit ou ne comble pas le fossé représentationnel entre CNN et ViT aussi efficacement que l'ancrage explicite.

• Efficacité et Vitesse :

  • Contre-intuitivement, l'augmentation par prompt réduit le temps d'inférence de 22 % (de 10,0s à 7,8s pour Ovis2.5-2B).
  • Raison : En fournissant des informations de localisation explicites, le VLM génère moins de tokens et évite les boucles de raisonnement hallucinatoires (re-vérifications infinies).

• Études d'Ablation :

  • Encodage de Position : Crucial pour les modèles forts (Ovis2.5, Molmo2), mais délétère pour les modèles plus faibles (R-4B, InternVL3.5), qui semblent mieux gérer des listes d'objets sans coordonnées explicites.
  • Scores de Confiance : L'ajout des scores de confiance introduit souvent du bruit. Leur suppression améliore les performances sur 4 des 5 modèles.
  • Seuil de Détection : Une précision élevée (seuil 0,5) est bien plus importante qu'un rappel élevé. Baisser le seuil à 0,3 dégrade fortement les performances en introduisant de faux positifs.

• Cas Particulier (InternVL3.5) : Ce modèle montre une dégradation des performances avec l'augmentation par prompt, indiquant une incompatibilité entre ses mécanismes de réflexion itérative et les prompts structurés.

4. Contributions Principales

1. Analyse Systématique : Démonstration que le comptage reste la tâche la plus faible pour les VLM SOTA, malgré les avancées en raisonnement, révélant une limite fondamentale d'intégration spatiale-sémantique.
2. Framework GroundCount : Introduction d'un pipeline d'augmentation piloté par la détection d'objets, capable d'améliorer la précision de comptage de 6,2 à 7,5 pp avec un surcoût mémoire négligeable.
3. Insights Architecturaux : Mise en évidence que l'ancrage symbolique explicite (via des prompts) surpasse la fusion de caractéristiques implicite pour les tâches de comptage, et que l'efficacité de l'augmentation dépend fortement de l'architecture du VLM (compatibilité).
4. Efficacité Opérationnelle : Preuve que guider les VLM avec des données structurées réduit non seulement les hallucinations, mais accélère également l'inférence en évitant les boucles de réflexion inutiles.

5. Signification et Impact

Ce travail suggère que pour des tâches nécessitant une précision spatiale stricte comme le comptage, il est plus efficace d'augmenter les VLM avec des outils spécialisés (ODM) plutôt que d'essayer de réparer leurs mécanismes d'attention internes.

• Applications : Amélioration de la fiabilité des outils d'accessibilité, des systèmes d'inventaire automatisé et des technologies éducatives.
• Limites et Futur : L'approche dépend de la compatibilité architecturale (certains modèles comme InternVL3.5 réagissent mal). Les auteurs suggèrent d'explorer des ODM basés sur des Transformers (comme DETR) pour réduire l'écart représentationnel et d'optimiser le caching pour des requêtes répétées.

En résumé, GroundCount démontre que l'hybridation intelligente entre la puissance de raisonnement contextuel des VLM et la précision spatiale des détecteurs d'objets classiques est la clé pour surmonter les hallucinations de comptage.