🤖 AI

Reference-based Category Discovery: Unsupervised Object Detection with Category Awareness

Ce papier propose la Découverte de Catégories Basée sur une Référence (RefCD), un cadre de détection d'objets non supervisé qui réalise une détection consciente des catégories sans annotations manuelles en exploitant la similarité des caractéristiques entre les objets prédits et des images de référence non étiquetées pour guider l'apprentissage de caractéristiques spécifiques aux catégories.

Auteurs originaux : Yichen Li, Qiankun Liu, Ying Fu

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yichen Li, Qiankun Liu, Ying Fu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment trouver des objets dans une pièce.

L'Ancienne Méthode (Apprentissage Supervisé) :
Traditionnellement, pour apprendre à un robot à repérer un « chien », vous devez lui montrer des milliers de photos de chiens et dessiner manuellement un cadre autour de chacun d'eux, en écrivant « chien » sur l'étiquette. C'est comme embaucher une équipe d'enseignants pour passer des années à étiqueter chaque image d'une bibliothèque. C'est coûteux, lent, et si le robot n'a pas vu un type spécifique de chien (comme un Chihuahua), il risque de se confondre.

La Méthode « Non Supervisée » (Le Problème Actuel) :
Certains chercheurs ont essayé d'enseigner aux robots sans aucune étiquette. Ils ont dit : « Regardez simplement les images et trouvez les formes qui ressemblent à des objets. » Le robot devient bon pour trouver quelque chose (comme un blob de pixels), mais il n'a aucune idée de ce que c'est. C'est comme un agent de sécurité qui peut vous dire « il y a une personne dans le couloir » mais ne peut pas vous dire si c'est votre mère, votre voisin ou un étranger. Ils sont « agnostiques aux catégories » (aveugles au type spécifique).

La Méthode « One-Shot » (L'Autre Problème) :
D'autres méthodes tentent d'enseigner au robot en lui montrant juste une photo d'un chien et en disant : « Trouvez tous les chiens comme celui-ci. » Mais voici le hic : pour que cela fonctionne, le robot a généralement encore besoin d'une quantité massive de données pré-étiquetées pour apprendre ses règles de base au préalable. C'est comme essayer d'enseigner une nouvelle langue à quelqu'un en lui montrant un seul mot, alors qu'il doit avoir étudié le dictionnaire pendant des années auparavant.

La Nouvelle Solution : RefCD (Découverte de Catégories Basée sur la Référence)

Ce papier introduit une nouvelle méthode appelée RefCD. Imaginez-la comme un jeu de « Qui ressemble à qui » joué sans livret de règles.

L'Idée Centrale :
Au lieu d'utiliser un dictionnaire d'étiquettes (comme « chien », « chat », « voiture »), RefCD utilise des Images de Référence.

L'Analogie : Imaginez que vous êtes à une fête et que vous voulez trouver tous ceux qui portent un « chapeau rouge ». Vous n'avez pas besoin de connaître le mot « chapeau rouge » ni d'avoir une liste de noms. Vous tenez simplement une photo d'un chapeau rouge (l'image de référence) et vous dites : « Trouvez tous ceux qui ressemblent à cela. »
Comment cela fonctionne : Le robot regarde l'image cible et compare chaque objet qu'il voit à votre photo de référence. Si les caractéristiques (l'« empreinte digitale » visuelle) correspondent étroitement, il dit : « Aha ! C'est l'un d'eux ! »

L'Ingrédient Magique : La Perte de Similarité des Caractéristiques
La plus grande innovation du papier est une nouvelle règle mathématique appelée Perte de Similarité des Caractéristiques (FS Loss).

La Métaphore : Imaginez que le robot essaie d'apprendre une danse. Autrefois, un enseignant corrigeait le robot en disant : « Non, c'est la mauvaise étape pour une danse de 'Chien'. »
L'approche de RefCD : Il n'y a pas d'enseignant avec une liste de pas. Au lieu de cela, on donne au robot un « Danseur de Référence » (l'image de référence). On dit au robot : « Votre objectif est de faire en sorte que vos mouvements de danse ressemblent exactement à ceux du Danseur de Référence. »
Si le robot voit un chien sur la photo, et que l'Image de Référence est un chien, le robot apprend à faire en sorte que ses « mouvements de danse » internes (caractéristiques) correspondent au chien de référence. S'il voit un chat, les mouvements ne correspondront pas.
Le Résultat : Le robot apprend à regrouper les choses en fonction de leur similarité visuelle avec la référence, sans jamais avoir besoin de connaître le mot « chien » ou « chat ». Il découvre les catégories par lui-même en faisant correspondre des motifs.

Que Peut-Il Faire ?

Trouver des Choses Spécifiques (Conscient de la Catégorie) : Vous lui donnez une photo d'un type spécifique de chaussure, et il trouve toutes les chaussures comme celle-ci dans une pièce en désordre. Il fait cela sans aucune étiquette pré-entraînée.
Trouver N'importe Quoi (Agnostique de la Catégorie) : Même si vous ne lui donnez pas de photo de référence, le processus d'entraînement le rend meilleur pour simplement trouver n'importe quel objet dans l'image, agissant comme un détecteur d'objets standard.
Suivre des Objets en Mouvement : Le papier montre également qu'il peut suivre un objet spécifique (comme un chien particulier) alors qu'il se déplace dans une vidéo, similaire à un jeu de « suivi du leader ».

Les Résultats
Les auteurs ont testé cela sur des ensembles de données standards de vision par ordinateur (comme COCO et ImageNet). Ils ont constaté que :

RefCD fonctionne mieux que les méthodes précédentes « sans étiquette » pour trouver des types spécifiques d'objets.
Il est étonnamment compétitif par rapport aux méthodes qui utilisent des étiquettes humaines coûteuses.
Il peut même distinguer des choses très similaires (comme une pomme rouge par rapport à une pomme orange) si vous lui donnez une photo de référence claire, quelque chose avec lequel de nombreux autres robots ont du mal.

En Résumé
RefCD est une nouvelle façon d'enseigner aux ordinateurs à trouver des choses. Au lieu de mémoriser un dictionnaire d'étiquettes, il apprend en jouant à un jeu de « repérer la similarité » en utilisant des photos de référence. C'est une façon plus intelligente et plus flexible d'enseigner aux robots à voir le monde sans avoir besoin qu'un humain étiquette chaque image au préalable.

Résumé Technique : Découverte de Catégories Basée sur une Référence (RefCD)

Énoncé du Problème

Les paradigmes existants de détection d'objets font face à une dichotomie entre supervision et généralisation. Les méthodes supervisées traditionnelles reposent fortement sur des annotations manuelles, laborieuses, et sont confinées à des catégories prédéfinies, limitant leur évolutivité face à des objets non vus. À l'inverse, les méthodes de détection d'objets non supervisées (par exemple, TokenCut, CutLER) localisent avec succès les objets d'arrière-plan sans étiquettes, mais manquent de conscience des catégories ; elles traitent tous les objets détectés comme une seule classe d'arrière-plan, les rendant incapables de classification ou de distinction entre différents types d'objets.

Parallèlement, les méthodes de détection en un seul coup (one-shot) et à vocabulaire ouvert tentent de résoudre le problème des nouvelles catégories, mais nécessitent généralement des étiquettes de catégories manuelles pour le fine-tuning ou s'appuient sur de grands modèles vision-langage pré-entraînés, entraînant des coûts computationnels significatifs. Il subsiste un besoin pour une méthode capable d'effectuer une détection consciente des catégories (identification de types d'objets spécifiques) de manière entièrement non supervisée, sans aucune annotation manuelle ni liste de catégories prédéfinie.

Méthodologie : Découverte de Catégories Basée sur une Référence (RefCD)

Les auteurs proposent RefCD, un détecteur non supervisé qui exploite des images de référence non étiquetées pour guider l'apprentissage de caractéristiques conscientes des catégories. Le cadre fonctionne sans étiquettes de catégories explicites, utilisant à la place la similarité des caractéristiques pour associer les objets détectés à des instances de référence.

1. Vue d'ensemble de l'Architecture

RefCD se compose de deux composants principaux :

Encodeur de Référence : Un Vision Transformer (ViT) auto-supervisé et figé (spécifiquement DINOv2) utilisé pour extraire des représentations de caractéristiques à la fois des patches d'images cibles (boîtes pseudo) et des images de référence fournies par l'utilisateur.
Détecteur : Un détecteur basé sur un transformateur (RT-DETR) entraîné pour effectuer deux tâches simultanément :
- Détection Agnostique des Catégories : Localisation de tous les objets d'arrière-plan à l'aide de pertes de classification binaire et de régression.
- Appariement Conscient des Catégories : Identification des objets partageant la même catégorie implicite que l'image de référence via la similarité des caractéristiques.

2. Perte de Similarité des Caractéristiques (FS)

L'innovation centrale de RefCD est la perte de Similarité des Caractéristiques (FS), qui remplace les pertes de classification traditionnelles (par exemple, l'entropie croisée) nécessitant des étiquettes de vérité terrain. La perte fonctionne comme suit :

Assignation : Au lieu d'apparier les prédictions aux annotations basées sur des étiquettes de catégories, RefCD utilise l'algorithme hongrois avec une fonction de coût basée sur la similarité des caractéristiques (similarité cosinus entre les caractéristiques des requêtes et les caractéristiques des boîtes pseudo) et la distance des boîtes englobantes.
Calcul de la Perte : La perte FS ( $L_{FS}$ $L_{F S}$ ) contraint le détecteur à maximiser la similarité entre une requête prédite et une image de référence si elles appartiennent à la même catégorie implicite, et à la minimiser sinon.
- Pour les paires appariées où la boîte pseudo correspond à l'image de référence, la perte encourage la similarité de la requête avec la référence à correspondre à la similarité de la boîte pseudo avec la référence.
- Pour les paires non appariées, la perte pénalise une forte similarité.
Stratégie d'Entraînement : Pendant l'entraînement, des boîtes pseudo sont générées à partir de l'image cible en utilisant des méthodes non supervisées existantes (par exemple, MaskCut). Une boîte pseudo est sélectionnée au hasard comme « référence » pour cette itération. Le modèle apprend à associer les autres objets de l'image à cette référence s'ils partagent une forte similarité de caractéristiques.

3. Inférence

À l'inférence, le modèle ne réalise pas de classification explicite. À la place, il accepte une image de référence fournie par l'utilisateur. Le détecteur émet des boîtes agnostiques des catégories, et le système filtre/identifie les objets en faisant correspondre leurs caractéristiques de requête avec les caractéristiques de l'image de référence. Les objets présentant une forte similarité de caractéristiques sont considérés comme des correspondances. Cela permet une détection en ensemble ouvert où la « catégorie » est définie dynamiquement par l'image de référence plutôt que par un ensemble d'étiquettes fixes.

Contributions Clés

Détection Non Supervisée Basée sur une Référence : La proposition de RefCD, le premier détecteur non supervisé capable de détection consciente des catégories sans aucune annotation manuelle, s'appuyant uniquement sur des images de référence et la similarité des caractéristiques.
Perte de Similarité des Caractéristiques : L'introduction d'une fonction de perte novatrice qui guide l'apprentissage de caractéristiques potentielles spécifiques aux catégories dans un paradigme non supervisé, comblant le fossé entre la localisation agnostique des catégories et l'appariement conscient des catégories.
Cadre Unifié : RefCD prend en charge à la fois la détection agnostique des catégories (localisation de tous les objets) et la détection consciente des catégories (identification d'instances spécifiques) au sein d'un cadre unique, ce dernier améliorant le premier grâce à un meilleur apprentissage des caractéristiques.

Résultats Expérimentaux

Les auteurs ont évalué RefCD sur des benchmarks standards, démontrant des performances de pointe dans des configurations non supervisées.

Détection Consciente des Catégories (One-Shot) :
- Sur COCO NOVEL (20 nouvelles catégories), RefCD a atteint 15,1 % de AP, surpassant la méthode supervisée précédente de pointe UNICL-SAM (13,2 % de AP) et dépassant considérablement d'autres méthodes supervisées en un seul coup comme Meta R-CNN (1,5 % de AP).
- Sur GMOT-40 (suivi/détection vidéo), RefCD a atteint 31,8 % de AP50 et 30,2 % de AR, démontrant une robustesse dans la distinction d'objets de la même catégorie à travers les trames vidéo.
Détection Agnostique des Catégories :
- Sur COCO 20K et val2017, RefCD a atteint 13,3 % de AP et 12,9 % de AP, respectivement. Cela surpasse les méthodes non supervisées de premier plan comme CutLER (10,1 % de AP) et approche les performances de CuVLER, malgré l'utilisation du même pipeline de génération de boîtes pseudo.
Extensions :
- Apprentissage Faiblement Supervisé : Lorsqu'entraîné uniquement avec des étiquettes de boîtes englobantes (sans étiquettes de catégories) sur COCO BASE, RefCD a atteint 24,9 % de AP sur COCO NOVEL, surpassant les méthodes supervisées en un seul coup entièrement supervisées.
- Suivi d'Objet Unique (SOT) : Appliqué sur le jeu de données VOT 2018, RefCD a démontré des performances compétitives dans le suivi d'instances sans étiquettes explicites.

Importance et Revendications

L'article revendique que RefCD élimine avec succès la dépendance aux annotations manuelles pour la détection consciente des catégories, une limitation qui a entravé à la fois les méthodes non supervisées traditionnelles et les approches en un seul coup. En déplaçant le paradigme de « prédire une étiquette » vers « faire correspondre une référence via des caractéristiques », RefCD permet une détection en ensemble ouvert où le système peut identifier de nouveaux objets simplement en fournissant un exemple.

Les auteurs soulignent que leur méthode ne nécessite ni listes de catégories prédéfinies ni fine-tuning sur des données étiquetées. Les résultats suggèrent que l'apprentissage de la similarité des caractéristiques de manière non supervisée permet non seulement la discrimination des catégories, mais améliore également implicitement la qualité de la localisation agnostique des catégories (régression de boîtes englobantes). Ce travail se positionne comme un cadre unifié qui comble le fossé entre la découverte d'objets non supervisée et la détection basée sur une référence, offrant une solution évolutive pour la détection d'objets dans des scénarios où les annotations sont indisponibles ou peu pratiques.