CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting

Ce papier présente CountFormer, un cadre de comptage d'objets sans exemple qui remplace l'encodeur d'image par le modèle fondation auto-supervisé DINOv2 pour améliorer la cohérence structurelle et réduire les erreurs de surcomptage liées aux répétitions visuelles, tout en obtenant des performances compétitives sur le jeu de données FSC-147.

L'essentiel

Voici une explication de l'article CountFormer en français, imagée et simplifiée pour tout le monde.

🧐 Le Problème : Pourquoi les robots comptent mal ?

Imaginez que vous regardez une photo remplie de lunettes de soleil. Vous, humain, vous voyez immédiatement : « Ah, il y a 10 paires de lunettes ». Votre cerveau est malin : il sait que deux verres et un pont forment une seule paire.

Mais si vous demandez à un robot de compter ces mêmes lunettes sans lui montrer d'exemple au préalable, il va souvent se tromper. Il va compter chaque verre séparément et dire : « Il y a 20 objets ! ».

Pourquoi ? Parce que la plupart des robots actuels sont comme des enfants qui apprennent à compter en regardant des étiquettes. Ils savent ce qu'est une « voiture » ou un « chat », mais s'ils voient quelque chose de nouveau (comme des lunettes), ils ne comprennent pas la structure. Ils voient des formes, mais pas comment les pièces s'assemblent pour former un tout.

🚀 La Solution : CountFormer

Les chercheurs ont créé un nouveau modèle appelé CountFormer. Leur idée n'était pas de construire un robot plus compliqué, mais de lui donner des « lunettes de vision » plus intelligentes.

Voici comment cela fonctionne, avec une analogie simple :

1. Le Cerveau (DINOv2) : Le Chef d'Orchestre

Au lieu d'utiliser un cerveau standard, ils ont utilisé un modèle appelé DINOv2.

• L'analogie : Imaginez un chef d'orchestre très expérimenté. Avant, les robots écoutaient chaque musicien individuellement (chaque pixel de l'image). Le chef d'orchestre, lui, entend la symphonie complète. Il comprend non seulement qui joue, mais comment les musiciens sont disposés sur la scène.
• En pratique : DINOv2 est un modèle entraîné seul (sans étiquettes humaines) qui a appris à voir la structure du monde. Il sait qu'un verre et un cadre sont liés, même s'il ne sait pas que c'est une « paire de lunettes ».

2. La Carte (Les Embeddings Positionnels) : Le GPS

Le chef d'orchestre a besoin de savoir où se trouve chaque musicien.

• L'analogie : Le modèle ajoute une « carte GPS » à chaque information visuelle. Cela permet au robot de dire : « Ce verre est à gauche de ce pont, donc ils font partie du même objet ». Sans cette carte, le robot perd le fil et compte les pièces séparément.

3. Le Dessin (Le Décodeur) : Le Peintre

Enfin, le robot dessine une carte de chaleur (une image où les zones denses sont plus chaudes).

• L'analogie : Au lieu de compter un par un, le robot peint une carte où chaque objet est un point chaud. En additionnant la chaleur totale de la carte, il obtient le nombre final. C'est comme compter les gouttes de pluie en mesurant la quantité d'eau dans un seau, plutôt que de les compter une par une.

🏆 Les Résultats : Qu'est-ce que ça donne ?

Les chercheurs ont testé ce modèle sur une base de données appelée FSC-147 (des images avec plein d'objets différents).

• Le score global : Le modèle est très compétitif. Il compte aussi bien que les meilleurs robots actuels en moyenne.
• La vraie victoire : Regardez les lunettes !
  • Les anciens modèles comptaient souvent les verres séparément (erreur : 185 lunettes au lieu de 96).
  • CountFormer a compris que c'étaient des paires et a compté 98 (très proche de la réalité).
  • L'analogie : C'est comme si un robot, pour la première fois, comprenait qu'une chaise a quatre pieds mais qu'on ne compte pas « 4 chaises », mais « 1 chaise ».

⚠️ Les Limites : Quand ça coince ?

Le modèle n'est pas magique. Il a du mal dans deux cas précis :

1. La foule compacte : Si vous avez une image remplie de milliers de petits Lego collés les uns aux autres sans espace entre eux, le robot se perd. C'est comme essayer de compter les grains de sable sur une plage par temps de brouillard.
2. Les cas extrêmes : Quelques images très denses dans le test ont faussé les résultats globaux. Si on enlève ces 4 images « impossibles », le robot est encore meilleur !

💡 En Résumé

CountFormer, c'est comme donner à un robot une intuition visuelle.
Au lieu de simplement chercher des objets connus, il apprend à voir comment les choses sont assemblées. Il ne compte plus juste des formes, il comprend la structure.

C'est une étape importante pour que les robots puissent compter n'importe quoi dans le monde réel, même s'ils n'ont jamais vu cet objet auparavant, en comprenant la logique des pièces qui forment un tout.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting", présenté en français.

1. Problématique

Le comptage d'objets en vision par ordinateur est une tâche bien maîtrisée pour des classes spécifiques (ex: foules, véhicules). Cependant, les modèles actuels peinent dans des scénarios agnostiques aux classes (sans réentraînement) et sans exemplaires (sans fournir d'images de référence de l'objet à compter).

Le défi majeur identifié par les auteurs est l'absence de cohérence structurelle dans les modèles existants. Les systèmes actuels, souvent basés sur des modèles langage-vision (comme CLIP) ou des mécanismes d'attention, ont tendance à compter les parties d'un objet comme des objets distincts. Par exemple, un modèle peut compter chaque verre d'une paire de lunettes comme deux objets séparés, ou échouer face à des structures répétitives et symétriques, conduisant à un sur-comptage (overcounting). L'objectif est donc de développer une méthode capable de comprendre comment les parties s'assemblent pour former un tout, sans avoir besoin d'exemples visuels ni de prompts textuels.

2. Méthodologie : CountFormer

Les auteurs proposent CountFormer, une architecture qui intègre de manière contrôlée un modèle de fondation auto-supervisé dans un cadre de régression de densité classique.

• Architecture Globale : Le modèle s'inspire de l'architecture CounTR mais remplace l'encodeur d'images standard par un modèle de fondation auto-supervisé : DINOv2.
• Encodeur Visuel (DINOv2) : Contrairement aux modèles entraînés sur des paires image-texte (comme CLIP), DINOv2 apprend directement à partir de données visuelles. Cela lui permet de capturer non seulement la sémantique, mais aussi une cohérence spatiale fine et des relations structurelles entre les parties d'un objet.
• Fusion des Embeddings Positionnels : Une étape clé de la méthode consiste à ajouter des embeddings positionnels 2D explicites aux caractéristiques (tokens) extraites par DINOv2 avant le décodage. Cela ancre les représentations transformer dans l'espace géométrique de l'image, renforçant la compréhension de la structure globale.
• Décodeur : Les caractéristiques fusionnées sont ensuite traitées par un décodeur léger basé sur un réseau de neurones convolutifs (ConvNet) avec quatre étapes de sur-échantillonnage. Ce décodeur génère une carte de densité continue.
• Comptage Final : Le nombre total d'objets est obtenu en intégrant (somme) les valeurs de la carte de densité générée.
• Protocole d'Inférence : Le modèle fonctionne en mode zero-shot exemplaire-free (sans aucun exemple de l'objet fourni à l'inférence).

3. Contributions Clés

1. Intégration Contrôlée de DINOv2 : Les auteurs ne proposent pas une nouvelle fonction de perte ou un nouveau protocole d'inférence, mais isolent l'impact de l'utilisation de caractéristiques de fondation auto-supervisées (DINOv2) sur la robustesse structurelle dans le comptage sans exemplaires.
2. Fusion Positionnelle Explicite : L'ajout d'embeddings positionnels 2D avant le décodage permet de fournir un ancrage spatial aux tokens transformer, améliorant la cohérence géométrique tout en restant léger.
3. Analyse Qualitative et Diagnostic : Au-delà des métriques standards, l'étude fournit une analyse qualitative montrant une réduction des erreurs de sur-comptage au niveau des parties (ex: lunettes) et une analyse de sensibilité sur les scènes extrêmement denses.
4. Clarification des Limites des Métriques : L'article met en évidence comment un petit nombre de scènes à très haute densité influence de manière disproportionnée les métriques d'erreur quadratique (RMSE), offrant une perspective critique sur l'évaluation des benchmarks.

4. Résultats

Les expériences ont été menées sur le dataset FSC-147 (Few-Shot Counting 147), un benchmark standard pour le comptage agnostique.

• Performance Quantitative :
  • Sur l'ensemble de test officiel, CountFormer obtient un MAE (Erreur Absolue Moyenne) de 19,06 et un RMSE (Erreur Quadratique Moyenne) de 118,45.
  • Ces résultats sont compétitifs par rapport aux méthodes exemplaire-free existantes (comme CounTR et RCC), bien que légèrement inférieurs en RMSE global en raison de la sensibilité aux scènes denses.
• Analyse de Sensibilité (Diagnostic) :
  • Les auteurs ont exclu 4 scènes extrêmes (très denses) à des fins d'analyse uniquement. Dans ce cas, le MAE chute à 13,14 et le RMSE à 33,05, démontrant que les erreurs sur ces cas rares gonflent artificiellement les métriques globales.
• Performance Qualitative :
  • L'analyse visuelle montre que CountFormer réussit mieux à regrouper les parties d'objets complexes (comme des paires de lunettes) en une seule instance, évitant le sur-comptage fréquent chez les modèles basés sur CLIP ou CounTX.
  • Les cartes de densité générées sont plus lisses et mieux alignées avec les instances complètes des objets.

5. Signification et Conclusion

Ce travail démontre que la qualité de la représentation est un facteur déterminant pour la cohérence structurelle dans le comptage d'objets sans exemplaires.

• Apport Principal : L'utilisation de modèles de fondation auto-supervisés (DINOv2) permet de capturer la structure spatiale et la répétition visuelle mieux que les approches sémantiques pures, réduisant ainsi les erreurs de fragmentation d'objets.
• Limites : Le modèle rencontre encore des difficultés dans les scènes extrêmement denses avec des frontières faibles (ex: blocs Lego empilés), où la résolution d'entrée (224x224) et la capacité du décodeur limitent la précision.
• Perspective : L'étude établit une base de référence contrôlée pour explorer comment les représentations visuelles modernes peuvent améliorer la compréhension "partie-tout" dans les tâches de comptage, suggérant que l'avenir du comptage agnostique réside dans l'amélioration de la cohérence structurelle plutôt que dans la complexité architecturale pure.

En résumé, CountFormer prouve que l'intégration de représentations auto-supervisées riches en structure spatiale est une voie prometteuse pour rendre les systèmes de comptage plus robustes et plus proches de la perception humaine, capable de distinguer un objet complexe de la somme de ses parties.