GeoTeacher: Geometry-Guided Semi-Supervised 3D Object Detection

Le papier propose GeoTeacher, une méthode semi-supervisée pour la détection 3D d'objets qui améliore l'apprentissage avec peu de données étiquetées en transférant des connaissances géométriques via une supervision basée sur les points clés et en utilisant une augmentation de données par voxels avec un mécanisme de décroissance de distance.

L'essentiel

🚗 Le Défi : Apprendre à conduire sans avoir tous les permis

Imaginez que vous voulez entraîner un robot à conduire une voiture autonome. Pour cela, il doit apprendre à repérer les piétons, les autres voitures et les cyclistes dans la rue.

Le problème ? Pour que le robot apprenne parfaitement, il faut lui montrer des milliers d'images où chaque objet est soigneusement étiqueté (par exemple : "Ceci est un piéton", "Ceci est un camion"). Mais étiqueter ces images prend un temps fou et coûte très cher.

C'est là qu'intervient le Semi-supervisé. L'idée est d'utiliser un peu d'images étiquetées (le "cours magistral") et beaucoup d'images non étiquetées (le "travail de groupe" gratuit) pour apprendre.

🤖 Le Problème des méthodes actuelles : "On voit, mais on ne comprend pas"

Les méthodes actuelles fonctionnent un peu comme un professeur (le Teacher) qui donne des réponses à un élève (le Student).

• Le professeur regarde les images sans étiquettes, devine ce qu'il voit, et dit à l'élève : "Regarde, c'est une voiture".
• L'élève copie la réponse.

Mais il y a un hic : Avec peu d'exemples étiquetés, le professeur a parfois du mal à voir la forme réelle des objets. Il peut dire "C'est une voiture", mais il ne comprend pas bien sa structure interne (où sont les roues, comment le capot est orienté par rapport au pare-brise). Si le professeur ne comprend pas la géométrie, l'élève ne l'apprendra pas non plus.

🌟 La Solution : GeoTeacher (Le Professeur Géomètre)

Les auteurs de cet article proposent une nouvelle méthode appelée GeoTeacher. Au lieu de juste dire "C'est une voiture", GeoTeacher apprend à l'élève à comprendre la géométrie des objets, comme un architecte qui comprend la structure d'un bâtiment.

Ils utilisent deux astuces principales, que l'on peut comparer à des exercices de gymnastique mentale :

1. Le "Jeu des Points Clés" (La Supervision par Relations Géométriques)

Imaginez que vous devez décrire un chat à quelqu'un qui ne l'a jamais vu.

• Méthode classique : "C'est un animal avec des poils." (Trop vague).
• Méthode GeoTeacher : "Imaginez un point au milieu du corps, un point au bout de chaque oreille, et un point à l'extrémité de la queue. La distance entre l'oreille gauche et la queue est toujours la même, peu importe la taille du chat."

GeoTeacher fait pareil avec les voitures et les piétons. Il sélectionne des points clés (le centre, les coins, les bords) et apprend à l'élève à respecter les relations entre ces points.

• L'analogie : C'est comme si le professeur donnait à l'élève un squelette invisible de l'objet. Même si l'objet est caché par un buisson ou loin dans le brouillard, l'élève sait qu'il doit y avoir un "coin" ici et un "centre" là-bas. Cela aide l'élève à mieux localiser les objets, même quand ils sont difficiles à voir.

2. Le "Jeu de la Poupée Matryoshka" (L'Augmentation de Données Voxel)

Pour que l'élève ne soit pas surpris par des situations bizarres, on doit l'entraîner avec des objets de toutes les formes.

• Le problème : Les objets lointains sont souvent flous et composés de très peu de points (comme une image pixelisée). Si on les modifie trop, on risque de les effacer complètement.
• La solution GeoTeacher : Ils découpent chaque objet en petits cubes (comme des Lego ou des voxels).
  • Pour les objets proches (bien visibles), ils jouent à "Jenga" : ils retirent ou déplacent des cubes au hasard pour créer des formes bizarres. Cela force l'élève à apprendre à reconnaître un objet même s'il est partiellement caché ou déformé.
  • Pour les objets lointains (flous), ils appliquent une règle de "déclin de distance". Plus l'objet est loin, moins on touche à ses cubes. C'est comme si on disait : "Ne touche pas à ce qui est déjà fragile, ou tu vas le casser !"

🏆 Les Résultats : Pourquoi c'est génial ?

Grâce à ces deux techniques, GeoTeacher agit comme un super-tuteur :

1. Il apprend à l'élève à voir la structure des objets, pas juste leur apparence de surface.
2. Il s'assure que l'élève s'entraîne sur des situations variées sans détruire les objets lointains.

Résultat : Sur des bases de données réelles (comme ONCE et Waymo), cette méthode bat les records actuels. L'élève devient beaucoup plus précis pour détecter des voitures, des piétons et des cyclistes, même avec très peu d'exemples étiquetés au départ.

En résumé 🎒

Imaginez que vous apprenez à un enfant à reconnaître des animaux.

• L'ancienne méthode : "Montre-moi une photo, je te dis 'c'est un chien'."
• La méthode GeoTeacher : "Regarde, un chien a toujours un museau, deux oreilles et une queue. Même si tu ne vois que la queue, tu sais que c'est un chien. Et si le chien est loin, on ne va pas lui enlever sa queue pour l'entraîner, sinon il ne sera plus reconnaissable !"

C'est cette compréhension intelligente de la forme et de la structure qui rend GeoTeacher si performant pour la conduite autonome.

Résumé technique

1. Problématique

La détection d'objets 3D est cruciale pour la conduite autonome et la robotique, mais elle dépend généralement de vastes ensembles de données entièrement annotés, ce qui est coûteux et chronophage. La détection semi-supervisée 3D (SS3D) vise à résoudre ce problème en exploitant à la fois des données étiquetées (limitées) et des données non étiquetées (abondantes).

Cependant, les méthodes SS3D existantes souffrent de limitations majeures :

• Elles se concentrent souvent sur la génération de pseudo-étiquettes de haute qualité ou sur la cohérence des caractéristiques (features) entre un modèle "enseignant" (teacher) et un modèle "élève" (student).
• Elles négligent l'exploitation des relations géométriques internes aux objets. Avec peu de données étiquetées, les modèles ont tendance à avoir une faible sensibilité à la géométrie des objets, ce qui rend difficile la capture d'informations structurelles essentielles pour une localisation précise.

2. Méthodologie : GeoTeacher

Les auteurs proposent GeoTeacher, une nouvelle approche semi-supervisée conçue pour guider l'apprentissage du modèle élève en se focalisant sur l'information géométrique intrinsèque des objets, tirée des données non étiquetées. L'architecture repose sur deux modules principaux :

A. Supervision des Relations Géométriques (Geometric Relation Supervision - GRS)

Ce module vise à transférer la connaissance géométrique du modèle enseignant vers le modèle élève.

• Sélection de points clés : Pour chaque objet, des points clés représentatifs sont sélectionnés sur la boîte englobante projetée en vue de dessus (BEV) : points centraux, milieux des arêtes et points de coin.
• Modélisation des relations : Au lieu de comparer simplement les caractéristiques (features), le système calcule les relations géométriques entre ces points clés en mesurant la similarité cosinus de leurs représentations. Cela crée une matrice de relations géométriques ($M_{rel}$) qui capture la structure interne de l'objet.
• Pondération par la confiance : Pour éviter d'apprendre à partir de pseudo-étiquettes bruitées (fréquentes dans les scènes complexes), une pondération basée sur le score de classification du modèle enseignant est appliquée. Les relations issues d'objets avec une haute confiance contribuent davantage à la fonction de perte.
• Perte : Une perte $L_{GRS}$ (norme L1) est calculée pour minimiser la différence entre les matrices de relations géométriques de l'enseignant et de l'élève.

B. Augmentation de Données Voxel par Voxel avec Décroissance de Distance (Distant-decay Voxel-wise Data Augmentation - DVA)

Cette stratégie vise à augmenter la diversité géométrique des objets dans les données d'entraînement.

• Décomposition en voxels : Contrairement aux méthodes qui augmentent la scène entière, GeoTeacher décompose les objets individuels en petits voxels ($n_l \times n_w \times n_h$).
• Opérations d'augmentation :
  • Sparsification : Échantillonnage aléatoire des points dans les voxels sélectionnés.
  • Dropout ordonné : Suppression de points selon une séquence spatiale (horaire ou antihoraire) pour simuler l'occlusion.
• Mécanisme de décroissance de distance : Pour préserver la détectabilité des objets lointains (qui sont naturellement plus éparses et difficiles à détecter), la probabilité d'appliquer l'augmentation diminue avec la distance de l'objet par rapport au capteur, grâce à une fonction exponentielle de décroissance.
• Application : Cette augmentation est appliquée aux données étiquetées (avec les boîtes ground-truth) et non étiquetées (avec des boîtes de pseudo-étiquettes filtrées par un seuil de confiance élevé).

3. Contributions Clés

1. Nouvelle approche SS3D (GeoTeacher) : Une méthode qui guide l'apprentissage de l'élève via l'information géométrique, combinable avec d'autres méthodes SS3D existantes.
2. Module de supervision des relations géométriques : Une innovation qui transfère la connaissance structurelle (relations entre points clés) plutôt que de simples similarités de features, améliorant la compréhension de la forme des objets.
3. Stratégie d'augmentation DVA : Une méthode d'augmentation au niveau de l'objet avec un mécanisme de décroissance de distance, augmentant la diversité géométrique tout en protégeant les objets lointains.
4. Performance SOTA : Des résultats state-of-the-art démontrés sur deux grands ensembles de données (ONCE et Waymo).

4. Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données ONCE et Waymo Open Dataset.

• Sur l'ensemble ONCE :

  • GeoTeacher combiné à ProficientTeacher et PTPM dépasse systématiquement les méthodes de base.
  • Dans le protocole "Small" (100k échantillons non étiquetés), l'ajout de GeoTeacher améliore PTPM de +1,92 mAP (atteignant 62,67 mAP).
  • Dans le protocole "Large" (1M d'échantillons), GeoTeacher atteint 65,70 mAP avec PTPM, surpassant l'état de l'art précédent de +3,02 mAP.
  • La méthode montre une forte généralisation sur différents détecteurs (PV-RCNN, CenterPoint).

• Sur l'ensemble Waymo :

  • Avec seulement 5% de données étiquetées, GeoTeacher surpasse PTPM de +0,92 AP et ProficientTeacher de +1,28 AP.
  • Même avec la moitié des données étiquetées disponibles, le modèle surpasse un "Oracle" entraîné sur l'ensemble complet des données.

• Études d'ablation :

  • Les modules GRS et DVA fonctionnent indépendamment pour améliorer les performances, mais leur combinaison est la plus efficace, prouvant leur complémentarité.
  • L'analyse des points clés montre que l'utilisation conjointe des points centraux, des milieux d'arêtes et des coins donne les meilleurs résultats.
  • La comparaison avec d'autres méthodes d'augmentation (SE-SSD, TED) et de distillation (SOOD, NoiseDet) confirme la supériorité de l'approche géométrique de GeoTeacher.

5. Signification et Impact

Le papier GeoTeacher apporte une contribution significative au domaine de la détection 3D semi-supervisée en changeant de paradigme : au lieu de se focaliser uniquement sur la qualité des étiquettes ou la cohérence des features, il met l'accent sur la structure géométrique intrinsèque des objets.

• Efficacité des données : Il permet d'exploiter au mieux les données non étiquetées, réduisant ainsi le besoin d'annotation manuelle coûteuse.
• Robustesse : La prise en compte explicite des relations géométriques rend le modèle plus robuste aux occlusions et aux données éparses, des défis majeurs en conduite autonome.
• Généralité : Le caractère "plug-and-play" de GeoTeacher permet de l'intégrer facilement dans divers pipelines existants, offrant une voie prometteuse pour améliorer les systèmes de perception 3D futurs.