💻 computer science

Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting

Ce papier présente WS-COC, le premier cadre d'apprentissage faible supervisé piloté par un MLLM pour le comptage d'objets indépendant de la classe, qui utilise des stratégies de dialogue, de classement et de fusion globale-locale pour atteindre des performances compétitives avec des méthodes entièrement supervisées tout en réduisant considérablement les coûts d'annotation.

Auteurs originaux : Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

Publié 2026-02-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un compteur de moutons dans un champ.

Le Problème : Compter est difficile, surtout quand il y a la foule

Jusqu'à présent, pour apprendre aux ordinateurs à compter des objets (des voitures, des personnes, des poissons), les chercheurs devaient leur montrer des milliers de photos où chaque objet était marqué d'un petit point rouge. C'est comme si un professeur devait coller un autocollant sur chaque mouton d'un troupeau de 10 000 bêtes pour enseigner à l'élève. C'est long, cher et épuisant.

De plus, les ordinateurs actuels (les "grands modèles") sont très forts pour reconnaître ce qu'est un objet, mais ils sont très mauvais pour compter quand il y en a beaucoup. Si vous leur montrez une photo d'une foule dense, ils paniquent et donnent un chiffre au hasard, souvent beaucoup trop bas. C'est comme si un enfant qui sait dire "un" et "deux" essayait de compter une mer de sable : il s'arrête à 10 et dit "beaucoup".

La Solution : WS-COC (Le "Compteur de Foule Intelligent")

Les auteurs de ce papier ont créé une nouvelle méthode appelée WS-COC. Au lieu de coller des points rouges sur chaque objet, ils utilisent une astuce géniale : ils apprennent à l'ordinateur à compter en utilisant seulement le nombre total écrit sur la photo (par exemple, une étiquette qui dit "50 voitures" sans dire où elles sont).

Pour y arriver, ils ont donné trois "super-pouvoirs" à leur intelligence artificielle (un modèle appelé MLLM, un peu comme un robot très cultivé qui voit et parle) :

1. La Stratégie du "Jeux des Questions" (Divide-and-Discern)

Au lieu de demander au robot : "Combien y a-t-il de voitures ?" (ce qui est trop dur d'un coup), ils lui posent une série de questions de plus en plus précises, comme un jeu de devinettes.

L'analogie : Imaginez que vous cherchez un livre dans une bibliothèque géante. Au lieu de chercher le livre exact tout de suite, vous demandez d'abord : "Est-ce qu'il est dans la première moitié de la bibliothèque ?" (Oui/Non). Puis : "Est-ce qu'il est dans le premier quart ?" (Oui/Non).
Le résultat : Le robot divise le problème en petits morceaux faciles. Il ne compte pas tout d'un coup, il réduit la zone de recherche jusqu'à trouver le bon nombre. C'est comme descendre un escalier plutôt que de sauter d'un immeuble.

2. La Stratégie du "Classement" (Compare-and-Rank)

Parfois, dire "il y a 50 voitures" est dur pour un robot car les chiffres sont abstraits. Mais comparer est plus facile.

L'analogie : Au lieu de demander "Quelle est la hauteur de cette montagne ?", montrez-lui trois montagnes et demandez : "Laquelle est la plus haute ? Laquelle est la plus basse ?".
Le résultat : Le robot apprend à comparer les images entre elles. Il comprend que l'image A a "moins" que l'image B, qui a "moins" que l'image C. En apprenant à classer, il comprend mieux la quantité globale.

3. La Stratégie du "Zoom et Recul" (Global-and-Local)

Quand la foule est très dense, le robot a tendance à sous-estimer le nombre (il dit 50 alors qu'il y en a 100).

L'analogie : C'est comme regarder une forêt depuis un avion. De loin, on voit juste une tache verte (le "compte global"). Mais si on descend en parachute et qu'on regarde un petit carré de forêt, on voit les arbres individuellement (le "compte local").
Le résultat : Le robot regarde d'abord la photo entière, puis il la découpe en 4 petits morceaux et compte dans chaque morceau. Ensuite, il fait la moyenne entre sa vue d'ensemble et ses vues rapprochées. Cela compense les erreurs : s'il a raté des arbres dans les coins en regardant de loin, le zoom local les rattrape.

Le Résultat : Un miracle en économie de temps

Grâce à ces trois astuces, leur méthode WS-COC arrive à compter aussi bien (voire mieux) que les méthodes qui nécessitaient des milliers d'heures de travail humain pour marquer chaque objet.

Avantage : Ils ont économisé des années de travail humain.
Performance : Ils battent même des méthodes très avancées sur des images très encombrées (comme des foules de personnes ou des parkings pleins).

En résumé

Les chercheurs ont pris un robot très intelligent mais un peu "naïf" quand il s'agit de compter des foules. Au lieu de le forcer à apprendre par cœur (ce qui coûte cher), ils lui ont appris à raisonner :

Découper le problème en petits morceaux (Questions).
Comparer les situations (Classement).
Regarder de loin et de près (Zoom).

C'est comme passer d'un élève qui apprend par cœur à un détective qui utilise sa logique pour résoudre l'énigme du nombre d'objets, et ce, sans avoir besoin d'avoir vu chaque objet individuellement au préalable.

1. Problématique et Contexte

Le comptage d'objets est une tâche fondamentale en vision par ordinateur, cruciale pour de nombreuses applications réelles. Cependant, les méthodes actuelles souffrent de limitations majeures :

Coût de l'annotation : Les méthodes supervisées de pointe nécessitent des annotations au niveau des points (point-level) pour chaque objet, ce qui est extrêmement coûteux en temps et en main-d'œuvre, particulièrement dans les scènes denses où les objets se chevauchent.
Limites de l'apprentissage faible (Weakly-Supervised) : Les méthodes existantes utilisant uniquement le comptage au niveau de l'image (image-level) comme supervision sont souvent limitées à une seule catégorie d'objets (par exemple, uniquement les personnes) et peinent à généraliser.
Défaillance des MLLM "Zero-shot" : Bien que les Modèles de Langage Multimodaux (MLLM) offrent un potentiel pour le comptage de catégories agnostiques via des prompts textuels, ils sont entraînés sur des corpus contenant majoritairement des scènes denses faibles. En conséquence, leur performance se dégrade considérablement dans les scènes denses (plus de 100 objets) lorsqu'ils sont utilisés sans ajustement fin (zero-shot).

L'objectif de cet article est de proposer un cadre faiblement supervisé capable de réaliser un comptage d'objets agnostique aux catégories (class-agnostic) en utilisant uniquement le nombre d'objets par image comme supervision, tout en exploitant la puissance des MLLM.

2. Méthodologie : Le Framework WS-COC

Les auteurs proposent WS-COC (Weakly-Supervised Class-agnostic Object Counting), un framework qui "bootstrappe" (amorce) un MLLM (par défaut LLaVA-OneVision-7B) via trois stratégies clés pour surmonter l'écart modalité (vision-texte) et les biais de densité.

A. Ajustement par Dialogue Divisé et Discerné (Divide-and-Discern Dialogue Tuning - D3T)

Au lieu de demander au modèle de prédire un nombre absolu en une seule étape (ce qui est difficile sans supervision des objets individuels), la tâche est reformulée en une série de jugements de plages.

Principe : Le modèle engage un dialogue multi-tours. Il commence par une plage large (ex: [1, 2000]) et est interrogé : "Y a-t-il plus de X objets ?".
Processus : En fonction de la réponse ("oui" ou "non"), la plage est divisée par deux de manière récursive (approche binaire).
Objectif : Cela permet au modèle d'apprendre à compter de manière progressive, du facile au difficile, en réduisant l'incertitude étape par étape jusqu'à ce que la plage soit suffisamment petite pour prédire le nombre exact.

B. Optimisation de Comptage par Comparaison et Classement (Compare-and-Rank Count Optimization - CRCO)

L'optimisation directe d'un nombre prédit par rapport à une vérité terrain pose problème en raison de l'écart entre les caractéristiques visuelles et les tokens textuels discrets.

Stratégie : Le modèle est entraîné à comparer plusieurs images et à les classer par ordre croissant de leur nombre d'objets.
Échantillonnage : Pour garantir une couverture des scènes denses et clairsemées, les images sont regroupées par catégories et partitionnées en intervalles de comptage (ex: 4 groupes). À chaque itération, une image est tirée de chaque groupe pour former un ensemble à classer.
Avantage : Le modèle apprend les relations relatives de densité, ce qui est plus intuitif visuellement que la régression absolue.

C. Amélioration de Comptage Global et Local (Global-and-Local Counting Enhancement - GLCE)

Cette stratégie est appliquée uniquement lors de l'inférence pour corriger les biais dans les scènes denses.

Mécanisme :
1. Le modèle prédit un comptage global ( $c_g$ ).
2. Si $c_g$ dépasse un seuil (indiquant une scène dense), l'image est divisée en sous-images (grille 2x2 par défaut).
3. Le modèle prédit le comptage pour chaque sous-image ( $c_k$ ) et on somme ces résultats pour obtenir un comptage local agrégé ( $c_l$ ).
Fusion : Les prédictions globales ont tendance à sous-estimer dans les foules denses, tandis que les prédictions locales (soumises à l'effet de bord) ont tendance à surestimer. La méthode fusionne ces deux valeurs (par moyenne simple) pour obtenir un résultat final plus précis.

3. Contributions Clés

Premier cadre MLLM faiblement supervisé : WS-COC est le premier framework utilisant un MLLM pour le comptage d'objets agnostique aux catégories avec uniquement une supervision au niveau de l'image.
Réduction drastique des coûts d'annotation : Élimine le besoin d'annotations de points, ne nécessitant que le nombre total d'objets par image.
Stratégies de bootstrapping innovantes : Introduction de trois stratégies (D3T, CRCO, GLCE) qui transforment la capacité de raisonnement des MLLM en une capacité de comptage précise, comblant le fossé entre les capacités pré-entraînées et la tâche de comptage dense.
Performance compétitive : Le modèle atteint des performances comparables, voire supérieures, aux méthodes entièrement supervisées (nécessitant des points) sur plusieurs benchmarks.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre benchmarks majeurs : FSC-147, CARPK, PUCPR+ et ShanghaiTech.

Performance sur FSC-147 :
- WS-COC atteint un MAE (Erreur Absolue Moyenne) de 13,91 sur l'ensemble de test, surpassant des méthodes entièrement supervisées récentes comme CountDiff (14,83) et VLPG (17,60).
- Il réduit considérablement l'erreur par rapport au modèle de base (WS-COC-Base) et au modèle zero-shot (MLLM-Zero), en particulier dans les scènes denses (>100 objets), où le MAE passe de 149,69 (Zero-shot) à 54,37 (WS-COC).
Généralisation : Le modèle démontre une forte capacité de généralisation sur des données non vues (CARPK, PUCPR+, ShanghaiTech), obtenant les meilleurs résultats sur PUCPR+ et SHA, et restant compétitif sur les autres.
Efficacité : Grâce à l'ajustement fin via LoRA (Low-Rank Adaptation), le temps d'entraînement est réduit à 3,44 heures, nettement inférieur à d'autres méthodes de pointe comme CountGD (11,73h) ou T2ICount (23,84h).
Études d'ablation : Chaque composant (D3T, CRCO, GLCE) apporte une amélioration significative. L'absence de D3T augmente le MAE de +3,36, et l'absence de CRCO de +2,62.

5. Signification et Impact

Ce travail démontre que les MLLM, souvent perçus comme inadaptés aux tâches de comptage précis dans les foules denses, peuvent être efficacement "amorcés" pour exceller dans ce domaine avec un coût d'annotation minimal.

Paradigme : Il établit un nouveau paradigme pour le comptage d'objets, passant d'une dépendance aux annotations coûteuses de points à une supervision faible au niveau de l'image couplée à un raisonnement multimodal avancé.
Praticité : La méthode est applicable à n'importe quelle catégorie d'objets (agnostique) sans réentraînement spécifique, ce qui la rend hautement adaptable à des scénarios réels variés (trafic, foules, agriculture, etc.).
Futur : L'article ouvre la voie à l'utilisation de modèles de langage multimodaux pour des tâches de vision nécessitant une compréhension fine de la quantité et de la densité, au-delà de la simple reconnaissance de formes.

En résumé, WS-COC réussit à transformer les capacités de raisonnement des grands modèles multimodaux en un outil de comptage robuste, précis et économiquement viable pour l'industrie.