CountEx: Fine-Grained Counting via Exemplars and Exclusion

Each language version is independently generated for its own context, not a direct translation.

🍝 Le Problème : Compter dans un bazar

Imaginez que vous êtes dans une cuisine remplie de deux types de pâtes : des penne (en forme de petits tubes) et des spaghetti (en forme de longs fils). Si vous demandez à un compteur automatique : "Compte les pâtes", il va probablement compter les deux types, car pour lui, ce sont juste "des pâtes". C'est comme si vous demandiez à un ami de compter "les voitures" dans un parking, et qu'il comptait aussi les camions de pompiers et les motos parce qu'ils ont tous des roues.

Les anciennes méthodes d'intelligence artificielle sont un peu comme cet ami : elles sont bonnes pour dire "combien d'objets", mais elles ont du mal à faire la différence entre deux choses qui se ressemblent beaucoup, sauf si on leur donne des instructions très précises.

🚀 La Solution : CountEx (Le Compteur Intelligents)

Les chercheurs ont créé CountEx, un nouveau système qui ne se contente pas de demander "Quoi compter ?", mais qui demande aussi "Quoi ignorer ?".

C'est comme si vous donniez une double instruction à votre ami :

"Compte les penne, mais ne compte pas les spaghetti."

CountEx comprend cette nuance. Il peut même utiliser des photos d'exemple (des "exemplaires") pour montrer exactement à quoi ressemblent les penne et à quoi ressemblent les spaghetti, rendant la tâche encore plus précise.

🧠 Comment ça marche ? (L'analogie du Tri de Tri)

Pour comprendre la magie derrière CountEx, imaginez un tri de tri en trois étapes, comme un chef cuisinier qui prépare un plat complexe :

L'Identification des Similitudes (Le "C'est pareil") :
D'abord, le système regarde les penne et les spaghetti et se dit : "Attends, ils sont tous les deux des pâtes, ils ont la même couleur, la même texture...". Il crée une liste de ce qu'ils ont en commun. C'est comme repérer que les deux objets sont "des pâtes".
L'Extraction des Différences (Le "C'est spécial") :
Ensuite, il se concentre uniquement sur ce qui rend les spaghetti spécifiquement différents des penne (leur forme en spirale). Il isole ces détails "exclusifs" aux spaghetti.
Le Filtrage Intelligent (Le "Oublie ça") :
Enfin, quand le système doit compter les penne, il utilise cette liste de différences pour dire : "Ah, cet objet a une forme en spirale ? C'est un spaghetti. Je l'ignore !" Il supprime activement les objets qui ressemblent aux spaghetti de son comptage, tout en gardant les penne.

C'est ce qu'ils appellent le "Raffinement Discriminatif". Au lieu de simplement soustraire le nombre de spaghetti du nombre total (ce qui est souvent faux), il apprend à ignorer les spaghetti dès le début.

📚 Le Nouveau Terrain de Jeu : CoCount

Pour entraîner ce nouveau compteur, les chercheurs ont dû créer un nouveau jeu de données appelé CoCount.

Imaginez un grand livre d'images contenant 10 000 photos de situations brouillonnes :

Des piles de pièces de monnaie et de trombones (qui se ressemblent).
Des boulons noirs et des boulons blancs.
Des bonbons de différentes couleurs.

Ce livre est spécial car il contient des paires d'objets très similaires (comme des vis à tête plate et des vis à tête ronde) mélangés ensemble. C'est l'école idéale pour apprendre à l'IA à faire des distinctions fines, comme un expert qui peut dire "C'est un boulon, pas une vis".

🏆 Les Résultats : Pourquoi c'est génial ?

Les tests montrent que CountEx est bien meilleur que les anciens systèmes :

Plus précis : Il fait beaucoup moins d'erreurs quand les objets se ressemblent.
Plus flexible : Il peut apprendre à compter de nouveaux objets qu'il n'a jamais vus, tant qu'on lui dit quoi exclure.
Plus humain : Il comprend mieux ce que l'utilisateur veut vraiment dire, même si la scène est très encombrée.

En résumé

CountEx, c'est comme passer d'un compteur automatique qui dit "Il y a 100 objets" à un assistant personnel très attentif qui dit "Il y a 100 objets, mais j'ai retiré les 20 qui ressemblent à ce que vous ne voulez pas, donc il vous reste 80 objets exacts".

C'est une avancée majeure pour la vision par ordinateur, permettant aux robots et aux logiciels de mieux comprendre le monde complexe et rempli de détails qui nous entoure, un peu comme nous le faisons nous-mêmes.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Le comptage d'objets visuels est une tâche fondamentale en vision par ordinateur, mais les méthodes actuelles basées sur des invites (prompts) textuelles ou des exemples visuels présentent une limitation majeure : l'incapacité à exclure explicitement des distracteurs visuellement similaires.

Dans des scènes encombrées contenant plusieurs catégories d'objets coexistantes (par exemple, compter des pâtes penne tout en ignorant les pâtes spirales, ou des pièces de poker blanches en excluant les bleues), les modèles existants tendent à :

Mal interpréter l'intention de l'utilisateur.
Sur-compter les objets confusibles (distracteurs).
Se focaliser sur la catégorie dominante de l'image.

Les approches actuelles ne permettent généralement de spécifier que ce qu'il faut compter (invite positive), sans mécanisme robuste pour dire explicitement "ceci, mais pas cela". Une soustraction naïve des cartes de densité ou des comptages séparés échoue souvent car elle ignore le contexte relationnel entre les objets à inclure et ceux à exclure.

2. Méthodologie : CountEx

Les auteurs proposent CountEx, un cadre de comptage discriminatif qui intègre simultanément des intentions d'inclusion et d'exclusion via des invites multimodales (texte et exemples visuels facultatifs).

Architecture Principale

Le modèle s'appuie sur un détecteur basé sur des requêtes (query-based), tel que Grounding DINO ou LLMDet, et introduit un module novateur appelé Discriminative Query Refinement (DQR) (Raffinement Discriminatif des Requêtes).

Le processus se déroule en trois étapes clés :

Encodage des Requêtes Conditionnées par l'Invite (Prompt-Conditioned Query Encoding) :
- Le modèle encode l'image et les invites (positives et négatives) pour générer deux ensembles de requêtes distincts : $Q_{pos}$ (cible) et $Q_{neg}$ (distracteurs à exclure).
- Ces requêtes intègrent à la fois des descriptions textuelles et des boîtes englobantes d'exemples visuels (exemplars).
Raffinement Discriminatif des Requêtes (DQR) :
Ce module vise à purifier les requêtes positives en supprimant les motifs spécifiques aux objets à exclure, tout en préservant les caractéristiques partagées. Il fonctionne en trois sous-étapes :
- Identification des Caractéristiques Partagées : Un ensemble de prototypes apprenables ( $C$ ) est entraîné pour capturer les attributs visuels communs aux deux ensembles de requêtes (forme, texture, catégorie de base).
- Extraction des Caractéristiques Exclusives : Le module projette les requêtes négatives ( $Q_{neg}$ ) sur l'espace des caractéristiques partagées. Les résidus (ce qui reste après soustraction des parties partagées) représentent les caractéristiques exclusives aux objets à exclure.
- Raffinement Sélectif : Les requêtes positives ( $Q_{pos}$ ) sont affinées via une attention croisée avec les caractéristiques exclusives négatives. Un mécanisme de "gating" (porte) supprime sélectivement les motifs alignés avec les distracteurs, sans éliminer les attributs communs essentiels à la catégorie cible.
Prédiction Finale :
Les requêtes raffinées ( $\tilde{Q}_{pos}$ ) sont passées à la tête de détection pour produire la prédiction finale du nombre d'objets.

Fonctionnement des Invites

L'utilisateur peut spécifier son intention de plusieurs manières :

Texte uniquement : "Compter les pâtes penne, pas les pâtes spirales".
Texte + Exemples visuels : Fournir quelques boîtes englobantes pour illustrer la catégorie cible et la catégorie à exclure.
Le modèle est conçu pour être flexible et fonctionner même si certaines modalités (texte ou exemples) manquent.

3. Contributions Clés

Formalisation de la tâche de comptage avec exclusion : C'est l'un des premiers travaux à formaliser explicitement le comptage en intégrant des indices d'exclusion (négatifs) pour résoudre l'ambiguïté dans les scènes à objets multiples.
Architecture CountEx et Module DQR : Une nouvelle architecture capable de raisonner conjointement sur les signaux d'inclusion et d'exclusion, évitant les soustractions naïves grâce à un raffinement discriminatif des requêtes.
Le Benchmark CoCount :
- Les auteurs introduisent CoCount, un nouveau jeu de données conçu spécifiquement pour évaluer le comptage à grain fin.
- Il contient 1 780 vidéos et 10 086 images annotées couvrant 97 paires de catégories.
- Les paires incluent des distinctions inter-catégories (ex: pièces vs trombones) et intra-catégories (ex: vis droites vs vis à œil, ou bonbons noirs vs marrons).
- Le dataset est divisé en scénarios "Catégories Connues" (KC) et "Catégories Nouvelles" (NC) pour tester la généralisation.

4. Résultats Expérimentaux

Les expériences montrent que CountEx surpasse l'état de l'art (SOTA) sur plusieurs benchmarks :

Sur CoCount :
- Configuration Catégories Nouvelles (NC) : CountEx atteint un MAE (Erreur Absolue Moyenne) de 26,61, contre 33,22 pour la meilleure baseline (LLMDet), soit une réduction d'erreur de près de 20 %.
- Configuration Catégories Connues (KC) : Le modèle obtient un MAE de 12,72, surpassant CountGD (15,55) de 18 %.
Généralisation (Zero-Shot) :
- Sur le benchmark LOOKALIKES (sans fine-tuning), CountEx atteint un MAE de 18,53, surpassant toutes les méthodes zero-shot existantes. Il bat même des méthodes qui nécessitent une adaptation par catégorie et la génération de données synthétiques (qui obtiennent un MAE de 10,00 mais avec un coût computationnel élevé).
- Sur PairTally, CountEx obtient les meilleurs résultats sur toutes les métriques (MAE et NAE), surpassant les modèles de comptage spécialisés pré-entraînés et les grands modèles de langage visuel (VLM).
Ablation : Les études montrent que l'ajout de prompts négatifs pertinents réduit significativement l'erreur. De plus, les pertes d'apprentissage des prototypes (partage et diversité) et la prédiction de densité sont essentielles aux performances.

5. Signification et Limites

Signification :
Ce travail marque une avancée significative vers un comptage d'objets plus contrôlable et précis. En permettant aux utilisateurs de spécifier explicitement ce qu'ils ne veulent pas compter, CountEx résout un problème d'ambiguïté majeur dans les scènes complexes. La création du dataset CoCount comble un vide critique dans la littérature, offrant une base pour l'évaluation systématique des méthodes de comptage à grain fin.

Limites identifiées :

Dominance du texte positif : Le modèle tend à trop dépendre des descriptions textuelles positives en raison de son architecture de base (fine-tuning d'un détecteur centré sur le texte), ce qui peut parfois mener à ignorer les nuances visuelles si le texte est imprécis.
Capacité de raisonnement du langage : L'utilisation de BERT pour l'encodage textuel limite la capacité du modèle à inférer des caractéristiques visuelles discriminatives à partir de descriptions abstraites ou vagues (ex: "billets de 5000 dong vietnamiens" sans détails visuels spécifiques).

En conclusion, CountEx établit une nouvelle référence pour le comptage d'objets en milieu encombré en introduisant une logique d'exclusion explicite, soutenue par une architecture de raffinement de requêtes innovante et un benchmark rigoureux.