Unified Unsupervised and Sparsely-Supervised 3D Object Detection by Semantic Pseudo-Labeling and Prototype Learning

Cet article propose SPL, un cadre d'apprentissage unifié pour la détection d'objets 3D en contexte non supervisé et faiblement supervisé, qui combine l'étiquetage pseudo-semantic et l'apprentissage par prototypes pour générer des pseudo-étiquettes de haute qualité et stabiliser l'extraction de caractéristiques, surpassant ainsi les méthodes actuelles sur les ensembles de données KITTI et nuScenes.

L'essentiel

Imaginez que vous essayez d'apprendre à un robot à conduire une voiture autonome. Pour cela, le robot doit être capable de voir les piétons, les voitures et les vélos dans l'espace 3D (en hauteur, en largeur, en profondeur).

Le problème, c'est que pour apprendre, on a traditionnellement dû faire appel à des humains pour annoter manuellement des milliers d'heures de vidéos, en dessinant des boîtes autour de chaque objet. C'est long, cher et épuisant. C'est comme essayer d'apprendre à un enfant à reconnaître les animaux en lui montrant un album photo où chaque animal a été étiqueté par un professeur : ça marche bien, mais c'est très lent.

Les chercheurs ont donc essayé deux autres approches :

1. L'apprentissage "non supervisé" : Le robot apprend tout seul en regardant la route, sans aucune étiquette. Mais il fait souvent des erreurs, comme confondre un nuage avec un camion.
2. L'apprentissage "peu supervisé" : On donne au robot très peu d'étiquettes (par exemple, une seule voiture sur mille). Le robot doit deviner le reste, mais il a tendance à se perdre.

Ce papier propose une nouvelle méthode appelée SPL qui combine le meilleur des deux mondes. Voici comment ça marche, avec des analogies simples :

1. La "Recette de Cuisine" pour créer des étiquettes (Étiquetage Pseudo-Sémantique)

Au lieu de demander à un humain de dessiner des boîtes, le robot utilise une "recette" intelligente pour créer ses propres étiquettes, appelées pseudo-étiquettes.

• L'ingrédient secret : Le robot ne regarde pas seulement les points 3D (le nuage de points du Lidar), il regarde aussi les images 2D (comme nos yeux) et le mouvement (comme un senseur de vitesse).
• L'analogie : Imaginez que vous essayez de deviner la forme d'un objet dans le brouillard (le Lidar). Si vous regardez juste le brouillard, c'est flou. Mais si vous avez aussi une photo de l'objet (l'image) et que vous savez qu'il bouge (le mouvement), vous pouvez reconstituer sa forme parfaite.
• Le résultat :
  • Pour les objets bien visibles (comme une voiture), le robot dessine une boîte 3D parfaite.
  • Pour les objets rares ou flous (comme un piéton lointain), au lieu de dessiner une boîte imparfaite, il marque simplement le point exact où se trouve la personne. C'est comme dire : "Je ne suis pas sûr de la taille, mais je sais qu'il est ici".

2. Le "Mentor" et le "Carnet de Mémoire" (Apprentissage par Prototypes)

Une fois que le robot a ces étiquettes (parfois parfaites, parfois juste des points), comment apprendre sans se tromper ? C'est là que la méthode SPL devient géniale.

Au lieu d'apprendre directement des étiquettes (ce qui serait risqué si elles sont fausses), le robot utilise une stratégie en trois étapes, comme un étudiant qui prépare un examen :

• Étape 1 : Le Carnet de Mémoire (Stage 1)
  Le robot commence par apprendre uniquement avec les rares étiquettes humaines fiables. Il remplit un "carnet de mémoire" avec des exemples de voitures, de piétons, etc. C'est comme apprendre les bases avec un professeur strict.

• Étape 2 : Le Mentor (Stage 2)
  Le robot crée des "Mentors" (des prototypes). Imaginez que pour chaque catégorie (Voiture, Piéton), le robot crée une "image idéale" ou un "moule" moyen de ce que devrait être un objet. Il affine ces moules en utilisant uniquement les données humaines fiables. C'est comme si le robot se disait : "Voici à quoi ressemble une voiture parfaite selon mes données sûres".

• Étape 3 : L'Exploration Guidée (Stage 3)
  C'est le moment de vérité. Le robot utilise maintenant ses "Mentors" et ses "pseudo-étiquettes" (celles qu'il a créées lui-même).

  • Il ne se fie pas aveuglément aux étiquettes qu'il a créées.
  • Il dit : "Si mon 'Mentor Voiture' ressemble beaucoup à cet objet, et que ma 'pseudo-étiquette' dit aussi que c'est une voiture, alors je suis presque sûr !"
  • Si les deux ne sont pas d'accord, il ignore la zone pour ne pas apprendre d'erreurs.

Pourquoi est-ce révolutionnaire ?

Imaginez un détective qui enquête sur un crime.

• Les anciennes méthodes étaient soit : "Je n'ai aucun indice, je devine tout" (trop d'erreurs), soit "Je n'ai qu'un seul témoin, je me fie à lui pour tout" (risqué).
• La méthode SPL, c'est comme un détective qui :
  1. Utilise la technologie pour reconstituer la scène (les images + le mouvement).
  2. Crée un profil type du suspect (le prototype).
  3. Ne se fie aux indices reconstitués que s'ils correspondent parfaitement au profil type.

En résumé

Ce papier propose un système qui permet aux voitures autonomes d'apprendre à voir le monde en 3D sans avoir besoin de milliers d'humains pour dessiner des boîtes.

• Il crée ses propres étiquettes en mélangeant la vue (2D), la géométrie (3D) et le mouvement.
• Il apprend de manière stable en utilisant des "modèles types" (prototypes) qui agissent comme des garde-fous contre les erreurs.
• Il fonctionne aussi bien avec très peu d'étiquettes humaines qu'avec aucune étiquette du tout.

C'est une avancée majeure pour rendre l'intelligence artificielle plus autonome, moins coûteuse et plus adaptable à n'importe quel environnement, du désert à la ville dense.

Résumé technique

1. Problématique

La détection d'objets 3D est cruciale pour la conduite autonome et la robotique. Cependant, les méthodes supervisées classiques dépendent massivement de données annotées manuellement (boîtes 3D), ce qui est coûteux et limite la scalabilité. Deux paradigmes alternatifs ont émergé pour réduire cette dépendance :

1. Apprentissage non supervisé (Unsupervised) : Génère des étiquettes à partir des données brutes.
2. Apprentissage faiblement supervisé (Sparsely-Supervised) : Utilise un nombre très limité d'annotations.

Ces deux approches font face à des défis interconnectés non résolus par les travaux existants :

• Qualité médiocre des pseudo-étiquettes : Les méthodes basées sur le mouvement échouent sur les objets statiques, tandis que celles basées sur la sémantique 2D souffrent d'erreurs de projection et de bruit. De plus, les objets avec des nuages de points clairsemés (sparse) sont souvent mal détectés ou ignorés.
• Minage de features instable : Dans le contexte faiblement supervisé, les stratégies d'apprentissage contrastif actuelles (basées sur des queues de mémoire ou des prototypes aléatoires) souffrent d'instabilité, de manque de diversité d'échantillons et d'initialisation de prototypes inefficace.
• Absence de cadre unifié : Il n'existe pas de framework unique capable de traiter simultanément les deux paradigmes en exploitant la synergie entre la qualité des étiquettes et l'extraction de features.

2. Méthodologie : Le Framework SPL

Les auteurs proposent SPL (Semantic Pseudo-Labeling and Prototype Learning), un cadre d'entraînement unifié qui adresse ces défis via deux piliers principaux : la génération de pseudo-étiquettes de haute qualité et une stratégie d'apprentissage par prototypes multi-étapes.

A. Génération de Pseudo-Étiquettes Sémantiques (3D Pseudo Label Generation)

Cette étape fusionne les informations sémantiques d'images 2D, la géométrie des nuages de points 3D et les indices temporels pour générer deux types de labels :

1. Boîtes 3D (3D Bboxes) : Pour les objets denses.
   • Processus : Projection des points 3D sur l'image 2D pour récupérer les masques de segmentation. Filtrage par la profondeur (basé sur la hauteur de l'objet).
   • Raffinement : Utilisation de l'algorithme DBSCAN pour éliminer les points mal assignés, récupération des points manquants par expansion, et résolution des conflits de propriété par vote majoritaire.
   • Consistance temporelle : Ajustement de l'orientation et de la taille des boîtes en fonction de la vitesse calculée entre les frames (pour les piétons et véhicules).
2. Points 3D (3D Point Labels) : Pour les objets clairsemés (faible densité de points).
   • Au lieu de forcer une boîte 3D imprécise, le centre de gravité du nuage de points raffiné est enregistré comme une étiquette de point. Cela permet d'inclure des objets difficiles à détecter dans l'apprentissage.

B. Stratégie d'Apprentissage par Prototypes (Prototype Learning)

SPL utilise une architecture de détection de base (ex: CenterPoint) mais modifie la fonction de perte pour intégrer un mécanisme d'apprentissage par prototypes.

• Types d'entrées : Les données sont traitées sous deux formes : "Labels de Supervision GT" (annotations réelles ou pseudo-étiquettes de très haute qualité) et "Pseudo-Labels" (les autres).
• Minage de Features (Feature Mining) :
  • Calcul de la similarité cosinus entre les features BEV (Bird's Eye View) et une banque de prototypes.
  • Création d'une carte de chaleur de minage (Mining Heatmap) qui combine la similarité aux prototypes et les pseudo-étiquettes sémantiques. Cela permet d'identifier des objets non annotés mais probables.
  • Les zones ambiguës sont masquées pour éviter un apprentissage négatif erroné.
• Fonction de Perte :
  • Perte de régression : Basée uniquement sur les labels GT.
  • Perte de classification : Utilise la carte de chaleur mise à jour (GT + Minage).
  • Perte Contrastive : Comprend une perte intra-classe (attirer les features vers leur prototype) et inter-classe (repousser les autres classes et le fond).
• Mise à jour des Prototypes : Utilisation d'une mise à jour par momentum (inspirée de MoCo) pour assurer la stabilité des représentations de classe au fil du temps.

C. Pipeline d'Entraînement Multi-Étapes

Pour éviter l'instabilité due à l'initialisation aléatoire et au bruit des pseudo-étiquettes, SPL adopte un processus en trois étapes :

1. Étape 1 (Apprentissage par Mémoire) : Utilisation exclusive des labels GT pour construire une banque de features et initialiser les prototypes par clustering (K-means).
2. Étape 2 (Apprentissage par Prototypes - GT uniquement) : Stabilisation des prototypes initiaux en utilisant uniquement les features des objets annotés, sans encore introduire les pseudo-étiquettes.
3. Étape 3 (Apprentissage Complet) : Activation de la stratégie complète intégrant les labels GT et les pseudo-étiquettes pour un minage de features exhaustif et un apprentissage de représentation profond.

3. Contributions Clés

1. Framework Unifié SPL : Première approche capable de gérer simultanément la détection 3D non supervisée et faiblement supervisée dans un même pipeline.
2. Stratégie de Génération de Pseudo-Étiquettes Hybride : Combinaison innovante de sémantique 2D, géométrie 3D et cohérence temporelle, produisant à la fois des boîtes 3D précises et des étiquettes de points pour les objets clairsemés.
3. Apprentissage par Prototypes Multi-Étapes : Une stratégie qui découple l'initialisation des prototypes du bruit des pseudo-étiquettes, assurant une convergence stable et une meilleure discrimination des features.
4. Couplage Pseudo-Labels et Minage : Utilisation des pseudo-étiquettes non pas comme supervision directe, mais comme "priors" (cartes de chaleur) pour guider le minage de features, évitant ainsi la propagation d'erreurs.

4. Résultats Expérimentaux

Les expériences ont été menées sur les datasets KITTI et nuScenes.

• Détection Faiblement Supervisée (Sparsely-Supervised) :
  • Sur KITTI (2% d'annotations), SPL surpasse l'état de l'art (CoIn, SP3D) avec une amélioration moyenne de 2,1% en AP sur toutes les classes.
  • Sur nuScenes (10% d'annotations), SPL bat CoIn de manière significative avec +26,23% en mAP et +15,17% en NDS.
• Détection Non Supervisée (Unsupervised) :
  • Sur KITTI, entraîné uniquement sur KITTI (sans données externes comme Waymo), SPL surpasse toutes les méthodes récentes (MODEST, OYSTER, LISO), obtenant notamment des gains massifs pour les piétons et cyclistes.
  • Sur nuScenes, SPL obtient les meilleurs scores en mAP et NDS par rapport à UNION et AnnofreeOD.
• Études d'Ablation : Confirment que chaque composant (génération de points 3D, raffinement temporel, stratégie multi-étapes, cartes de chaleur de minage) est essentiel pour les performances finales.

5. Signification et Impact

Ce travail représente une avancée majeure pour la perception 3D dans des scénarios réels où les annotations sont rares ou inexistantes.

• Généralisation : La capacité à fonctionner aussi bien en mode non supervisé que faiblement supervisé avec un seul framework simplifie grandement le déploiement.
• Robustesse : La méthode résout le problème critique des objets clairsemés (souvent ignorés) grâce aux étiquettes de points, améliorant la sécurité des systèmes autonomes.
• Efficacité : En évitant l'annotation manuelle coûteuse tout en maintenant des performances proches du supervisé complet, SPL offre une solution économiquement viable pour l'expansion des systèmes de conduite autonome à de nouveaux environnements et capteurs.

En résumé, SPL établit un nouvel état de l'art en démontrant qu'une combinaison intelligente de sémantique visuelle, de géométrie temporelle et d'apprentissage par prototypes peut surmonter les limitations fondamentales de l'apprentissage sans ou avec peu de supervision en 3D.