💻 computer science

CoDi -- an exemplar-conditioned diffusion model for low-shot counting

Le document présente CoDi, un nouveau modèle de diffusion latente conditionné par des exemples qui surpasse de manière significative les méthodes de pointe existantes dans le comptage d'objets en régime de faible échantillonnage (low-shot) en abordant efficacement les défis des régions denses et de petits objets grâce à un module de conditionnement spécialisé qui génère des cartes de densité de haute qualité pour une localisation précise.

Auteurs originaux : Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de compter chaque grain de sable sur une plage, ou chaque petite étoile dans un ciel nocturne bondé. Si vous regardez simplement l'ensemble de l'image, c'est un flou. Si vous essayez de les compter un par un avec une loupe, vous pourriez en manquer certains ou en compter un deux fois. C'est le combat quotidien des ordinateurs qui tentent de « compter » des choses dans des images, une tâche connue sous le nom de comptage d'objets (object counting). Pendant longtemps, les ordinateurs avaient deux manières principales de le faire. La première était comme verser de l'eau sur le sable : ils créaient une « carte de densité », une colline lisse dont la hauteur représentait la quantité de choses présentes. C'était efficace pour obtenir un total approximatif, mais terrible pour dire précisément où se trouvait chaque grain. La seconde méthode consistait à utiliser un pointeur laser pour marquer chaque étoile. C'était excellent pour trouver les emplacements, mais si les étoiles étaient trop serrées, l'ordinateur s'embrouillait, manquait de « pointeurs » à utiliser et commençait à en manquer ou à boucler indéfiniment.

Maintenant, imaginez un nouveau genre d'artiste qui ne se contente pas de peindre une colline floue ou d'utiliser un nombre limité de pointeurs laser. Au lieu de cela, cet artiste commence par une toile remplie de bruit statique — comme un écran de télévision sans signal — et commence lentement, étape par étape, à dissiper le bruit pour révéler une image parfaite et nette de l'emplacement exact de chaque objet. C'est l'idée centrale derrière une nouvelle méthode appelée CoDi (Counting by Diffusion). Les chercheurs derrière ce papier, Grega Šuštar et son équipe, ont construit un système qui utilise un « modèle de diffusion » — un type d'IA célèbre pour générer des images — pour résoudre le problème du comptage. Au lieu de deviner un nombre ou de dessiner un cadre, CoDi apprend à « débruiter » une toile vierge jusqu'à ce qu'elle fasse apparaître de petits points distincts, chacun représentant un objet. Le tour de magie est que Co peut le faire même si vous ne lui montrez qu'un ou deux exemples de ce qu'il faut chercher, ou même si vous ne lui donnez aucun exemple du tout. C'est comme montrer à un ami une seule photo d'un type spécifique de champignon et lui demander de trouver chaque champignon dans une forêt ; CoDi ne se contente pas de deviner le nombre total, il pointe l'endroit exact de chaque champignon, même dans les parties les plus denses et les plus encombrées de la forêt.

Le Problème : Le dilemme de la « salle bondée »

Compter des choses dans une photo est facile quand les objets sont dispersés. Mais qu'arrive-t-il lorsque vous avez une photo d'un essaim d'abeilles, un tas de raisins ou une foule de personnes ? C'est là que les anciennes méthodes se heurtent à un mur.

Les méthodes de « densité » sont comme essayer de compter une foule en mesurant la hauteur de la « chaleur » de la foule. Si la foule est dense, la chaleur est élevée, et l'ordinateur sait qu'il y a beaucoup de personnes. Mais il ne peut pas vous dire qui est où. Si vous essayez de trouver des individus en cherchant les pics les plus hauts dans cette carte de chaleur, vous vous trompez souvent car la chaleur se mélange.

Les méthodes de « détection » sont comme avoir un agent de sécurité avec un nombre limité de talkies-walkies. L'agent peut pointer des personnes spécifiques, mais s'il y a trop de personnes (plus que le nombre de talkies-walkies), l'agent doit diviser la foule en groupes plus petits, les compter séparément et essayer de recoudre les réponses. C'est lent, désordonné, et cela conduit souvent à compter la même personne deux fois ou à en oublier une entière.

La Solution : Le « Bruit Magique » de CoDi

Les auteurs proposent CoDi, un système qui traite le comptage comme un jeu de « nettoyage de statique ».

Voici comment cela fonctionne, étape par étape :

Le point de départ : Imaginez un écran de télévision vide et bruyant. C'est le point de départ de CoDi. Il ne sait pas encore où se trouvent les objets.
L'indice de l'« exemplaire » : Si vous voulez compter des pommes, vous montrez à l'ordinateur quelques images de pommes (appelées « exemplaires »). CoDi possède un « module de conditionnement » spécial qui agit comme un filtre ultra-intelligent. Il examine vos exemples de pommes et dit : « D'accord, je dois trouver des choses qui ressemblent exactement à celles-ci, et ignorer tout le reste. »
La danse du débruitage : CoDi commence à retirer le bruit de l'écran de télévision, mais il le fait d'une manière très spécifique. Il ne se contente pas de deviner ; il affine progressivement l'image. À chaque étape, le bruit flou se transforme en points de plus en plus nets.
Le résultat : À la fin du processus, l'écran n'est pas une colline floue ou une liste désordonnée. C'est une carte propre avec de petits pics nets. Chaque pic est un point parfait représentant un objet. L'ordinateur n'a plus qu'à compter les points.

Le ingrédient secret est que CoDi apprend à générer ces points nets un par un plutôt que de les moyenner. Cela signifie que même dans une scène très encombrée où les objets se touchent, CoDi peut les séparer et les compter avec précision.

Ce qu'ils ont trouvé : Battre les meilleurs

L'équipe a testé CoDi sur des ensembles de données très difficiles, notamment FSC147 (qui contient 147 types différents d'objets) et MCAC (un ensemble de données de comptage multi-classes). Les résultats sont impressionnants :

Comptage Few-Shot : Lorsqu'on lui donne seulement quelques exemples (comme 3 images de l'objet cible), CoDi bat les meilleures méthodes actuelles de 15 % en termes de précision (Erreur Absolue Moyenne, ou MAE).
Comptage One-Shot : Même avec un seul exemple, CoDi reste le meilleur, battant la méthode précédente la plus performante de 13 %.
Sans exemples (Sans référence) : Lorsqu'on ne lui donne aucun exemple et qu'on lui demande de compter l'objet le plus commun de l'image, CoDi surpasse toujours les meilleures méthodes existantes de 10 %.
Le défi Multi-Classes : Sur l'ensemble de données MCAC, où une image peut contenir des pommes, des oranges et des bananes mélangées, CoDi écrase la concurrence, battant la meilleure méthode de façon massive de 38 %.

Pourquoi cela importe

Le papier écarte explicitement l'idée selon laquelle vous avez besoin d'un nombre massif de « pointeurs » pré-entraînés (comme les anciennes méthodes de détection) pour compter de grandes foules. Ils ont montré que le pavage d'images (découper les images en morceaux) est un contournement maladroit qui ralentit le processus et provoque des erreurs. CoDi prouve que vous n'avez pas besoin de découper l'image ; vous pouvez traiter l'ensemble d'un coup et obtenir des résultats parfaits.

Ils ont également montré que CoDi est robuste. Même si les exemples que vous lui donnez sont légèrement désordonnés ou si les objets sont minuscules, il tient bon. En fait, les auteurs ont constaté que CoDi est si stable que si vous passez la même image à travers lui vingt fois, le compte varie de moins de 1 % en moyenne.

Les limites et l'avenir

Bien que CoDi soit un pas de géant, les auteurs sont honnêtes sur ses difficultés. Il a parfois du mal avec les objets extrêmement longs et fins (comme une rangée de livres posés sur la tranche) ou lorsque les objets se chevauchent de manière très étrange. Ils notent également que, bien qu'il soit excellent pour trouver le centre d'un objet, il ne trace pas encore de boîte autour de l'objet entier (bien qu'ils prévoient de travailler sur ce point).

En résumé, CoDi suggère qu'en traitant le comptage comme un processus de « nettoyage du bruit » plutôt que comme une « estimation d'un nombre », nous pouvons construire des ordinateurs qui voient les foules comme le font les humains : non pas comme un flou, mais comme une collection d'individus distincts et dénombrables. C'est une nouvelle façon de voir le monde, un point à la fois.

Résumé Technique : CoDi – Un modèle de diffusion conditionné par des exemplaires pour le comptage à faible échantillonnage (Low-Shot)

1. Définition du Problème

Le papier traite du comptage d'objets à faible échantillonnage (low-shot), une tâche qui consiste à estimer le nombre d'objets dans une image appartenant à des catégories non vues, en utilisant seulement quelques exemplaires annotés (few-shot/one-shot) ou sans aucun exemplaire (sans référence).

Bien que les méthodes modernes aient progressé, elles font face à des défis importants dans les régions denses contenant de petits objets :

Les compteurs basés sur la densité (ex: LOCA, CounTR) estiment les comptes en sommant une carte de densité régressée. Cependant, ces cartes manquent souvent de modes uniques bien exprimés pour les objets individuels, ce qui conduit à une mauvaise localisation et à des faux positifs lorsqu'une suppression des non-maxima (NMS) est appliquée.
Les compteurs basés sur la détection (ex: CountGD, GeCo) prédisent des boîtes englobantes ou des points centraux. Ces méthodes sont souvent basées sur des requêtes (architectures transformer) avec un nombre fixe de requêtes pré-entraînées. Dans les scènes denses, le nombre d'objets dépasse souvent cette capacité, forçant l'utilisation d'un découpage en tuiles (tiling) coûteux en calcul (division de l'image en recadrages) et d'un post-traitement complexe de réconciliation des bordures. De plus, les modèles basés sur la régression entraînés sur des centres de vérité terrain (ground-truth) bruités produisent souvent des cartes floues, peu adaptées à un comptage précis des pics.

2. Méthodologie : CoDi

Les auteurs proposent CoDi (Counting by Diffusion), le premier compteur de type "low-shot" basé sur la diffusion latente, conçu pour produire des cartes de localisation d'objets de haute qualité et nettes.

Architecture Centrale

CoDi utilise un Modèle de Diffusion Latente Conditionné (LDM) pour affiner de manière itérative une carte de localisation d'objets.

Représentation d'Entrée :
- L'image d'entrée $I$ est encodée en une représentation latente $z_I$ via un backbone AM-RADIO pré-entraîné.
- La carte de localisation cible $L$ est construite en plaçant des gaussiennes normalisées sur les centres de vérité terrain. Cette carte est projetée dans un espace latent $z_0$ via un VAE pré-entraîné.
- Pendant le processus de diffusion direct, du bruit est ajouté à $z_0$ pour créer une séquence de latents bruités $z_t$ .
Réseau de Débruitage :
- Un UNet standard (trois niveaux) est entraîné pour inverser le processus de diffusion, prédisant le bruit ou le vecteur de vitesse ( $v_t$ ) pour récupérer le latent propre.
- L'entrée de l'UNet est la concaténation du latent de l'image $z_I$ et du latent de localisation bruité actuel $z_t$ .
Conditionnement par Exemplaire (EC) :
- C'est l'innovation centrale. Pour spécialiser le modèle à la catégorie d'objet cible au moment du test, le réseau est conditionné par des boîtes englobantes d'exemplaires fournies par l'utilisateur.
- Extraction de Prototypes Adaptatifs : Contrairement au conditionnement statique, CoDi extrait des prototypes d'apparence (via RoI-Align sur les caractéristiques actuelles de l'UNet) et des prototypes de forme (via un MLP sur les dimensions des boîtes) à chaque étape de la diffusion.
- Modulation : Ces prototypes sont injectés dans les premières et dernières couches de l'UNet via une couche d'attention Transformer. Les caractéristiques de l'UNet agissent comme des requêtes (queries), tandis que les prototypes spécifiques au temps agissent comme des clés (keys) et des valeurs (values). Cela permet au réseau de s'adapter continuellement à sa compréhension de l'objet cible à mesure que le processus de débruitage affine la carte de localisation.
Inférence :
- En partant d'un bruit gaussien aléatoire, le réseau effectue $T$ étapes de débruitage (ex: $T=25$ ).
- Le latent final est décodé par le VAE en une carte de localisation haute résolution $\tilde{L}$ .
- Les centres d'objets sont détectés comme des maxima locaux dans des voisinages de $3\times3$ dépassant un seuil, et le compte total est le nombre de pics détectés.

Adaptation Sans Référence (Reference-Less)

Pour les scénarios sans exemplaires, les auteurs introduisent des requêtes sans référence entraînables. Ces requêtes sont converties en prototypes en faisant attention aux caractéristiques des couches, permettant au modèle de compter la classe majoritaire sans prompt visuel spécifique. Cela nécessite uniquement le réglage fin (fine-tuning) des paramètres de la requête tout en gelant le reste du réseau.

3. Contributions Clés

Premier Compteur Low-Shot par Diffusion Latente : CoDi est la première méthode appliquant la diffusion latente spécifiquement au comptage low-shot, évitant le problème de moyenne du bruit d'annotation des modèles de régression en générant des prédictions d'instances uniques.
Module de Conditionnement par Exemplaire : Un mécanisme novateur qui extrait et ajuste dynamiquement les prototypes d'objets pendant le processus de diffusion. Cela conduit à des pics étroits et séparés dans la carte de localisation, permettant une localisation précise via NMS sans nécessiter de découpage en tuiles (tiling).
Spectre Low-Shot Unifié : CoDi est le premier compteur basé sur la diffusion capable de couvrir les scénarios few-shot, one-shot et sans référence au sein d'un même cadre.
Efficacité : En opérant dans l'espace latent et en évitant le découpage adaptatif requis par les détecteurs basés sur les requêtes (comme CountGD), CoDi offre un processus d'inférence plus stable sur le plan computationnel, particerément pour les images contenant de nombreux petits objets.

4. Résultats Expérimentaux

Le papier évalue CoDi sur les benchmarks FSC147 (few-shot) et MCAC (multi-classe).

Few-Shot (FSC147) : CoDi surpasse le compteur basé sur la densité SOTA (CountDiff) de 38% MAE et 42% RMSE sur l'ensemble de test. Comparé au SOTA basé sur la localisation (CountGD), CoDi améliore le MAE de 15% et le RMSE de 29%.
One-Shot : CoDi atteint un nouveau SOTA, surpassant GeCo de 13% MAE et 49% RMSE, démontrant sa robustesse même avec un seul exemplaire.
Sans Référence (Reference-Less) : CoDi surpasse le meilleur SOTA sans texte (GeCo) de 10% MAE. Bien qu'il soit légèrement derrière les méthodes zero-shot avec prompt textuel (ex: CountSE), il reste compétitif sans dépendre du texte.
Multi-Classe (MCAC) : CoDi établit un nouveau SOTA, surpassant la meilleure méthode (GeCo2) de 38% MAE.
Qualité de Localisation : CoDi obtient un rappel (recall) plus élevé (0,88 contre 0,81) et des scores F1 (0,92 contre 0,87) par rapport à CountGD sur l'ensemble de test, avec une distance de détection moyenne de 8,79 pixels par rapport à la vérité terrain.
Efficacité : CoDi présente des temps d'inférence stables (~1,1s/image) avec une faible variance, contrairement à CountGD dont le temps d'exécution se dégrade significativement sur les images denses à cause du tiling. Il utilise moins de paramètres que GeCo et moins de VRAM.

5. Signification et Revendications

Les auteurs affirment que CoDi représente un changement significatif dans le comptage low-shot en reformulant la tâche comme un problème de génération plutôt que comme un problème de régression ou de détection.

Robustesse à la Densité : La principale importance réside dans la capacité de CoDi à gérer les régions denses de petits objets là où les méthodes existantes échouent en raison des limites de requêtes ou des cartes de densité floues. Le processus de diffusion produit naturellement des pics "nets" adaptés à la NMS.
Élimination du Tiling : En évitant la limite de capacité des requêtes fixes des détecteurs transformeurs, CoDi supprime le besoin de découpage en tuiles (tiling) et de réconciliation de bordures coûteux en calcul.
Adaptabilité : Le module de conditionnement par exemplaire permet au modèle de se généraliser à des catégories non vues avec un minimum de données, tandis que l'adaptation sans référence étend cela au comptage de la classe majoritaire sans réentraînement complet du réseau.

L'article conclut que CoDi définit un nouveau état de l'art à travers le spectre du comptage low-shot, offrant un équilibre entre haute précision, localisation précise et stabilité computationnelle. Des travaux futurs pourraient potentiellement étendre cela à la prédiction de boîtes englobantes et à la gestion d'objets ayant des rapports d'aspect extrêmes.