CVKD-UDA: Cross-View Knowledge Distillation for 3D Unsupervised Domain Adaptive Segmentation

Résumé Technique : CVKD-UDA

Énoncé du Problème
L'adaptation de domaine non supervisée (UDA) 3D pour la segmentation sémantique de nuages de points LiDAR vise à transférer les connaissances de domaines sources synthétiques étiquetés vers des domaines cibles réels non étiquetés, évitant ainsi le coût élevé de l'annotation manuelle. Bien que l'auto-apprentissage (Self-Training, ST) soit devenu le paradigme dominant, son succès dépend fortement d'un modèle de « préchauffage » (warm-up) bien initialisé, capable de générer des pseudo-étiquettes fiables. Les approches existantes pour obtenir ce modèle de préchauffage reposent généralement sur un entraînement supervisé de la source ou sur un alignement de caractéristiques par confrontation (adversarial alignment). Cependant, ces méthodes souffrent de limitations significatives : l'entraînement supervisé ne parvient pas à combler le large écart de domaine, entraînant des pseudo-étiquettes bruitées, tandis que l'entraînement antagoniste (adversarial training) entraîne souvent une optimisation instable et une sensibilité aux hyperparamètres. De plus, la construction de représentations similaires au domaine pour améliorer la transférabilité compromet souvent la discriminabilité du modèle (la capacité à séparer les classes), créant un compromis qui entrave une segmentation efficace.

Méthodologie
Les auteurs proposent CVKD-UDA (Cross-View Knowledge Distillation for 3D Unsupervised Domain Adaptive Segmentation), un cadre qui revisite la taille des voxels comme facteur de conception central pour équilibrer transférabilité et discriminabilité sans recourir à l'entraînement antagoniste.

1. Construction à Double Vue : La méthode génère deux représentations voxelisées complémentaires pour chaque scan LiDAR :

   • Vue Standard ($x_{sv}$) : Voxelisée avec une petite taille (ex: 5 cm) pour préserver les détails géométriques fins, garantissant une haute discriminabilité.
   • Vue Compressée ($x_{cv}$) : Voxelisée avec une taille modérément agrandie (ex: $d \cdot vs$) pour lisser les variations fines et réduire les écarts spécifiques au domaine, améliorant ainsi la transférabilité.

2. Distillation de Connaissances Inter-Vues (CVKD) : Construit sur un cadre de type Mean-Teacher, le modèle impose une cohérence entre les deux vues. Au lieu d'aligner des vues identiques, les prédictions de la vue standard de l'étudiant sont alignées avec les sorties de la vue compressée de l'enseignant (et vice versa). Cette stratégie sans étiquettes permet au modèle d'utiliser simultanément les données sources et cibles, en exploitant la similitude structurelle de la vue compressée pour améliorer la généralisation tout en maintenant la précision de la vue standard.

3. Préservation de la Discriminabilité : Pour éviter que la perte d'informations fines inhérente à la vue compressée ne dégrade les performances de segmentation, les auteurs introduisent trois composants spécifiques :

   • Découpleur-Adaptateur (D-Adapter) : Un module léger inséré avant l'étape finale du décodeur qui traite les caractéristiques de la vue compressée. Il affine ces caractéristiques pour réduire l'interférence avec l'apprentissage de la représentation de la vue standard.
   • Classificateur d'Imitation Auxiliaire : Une tête supplémentaire dans le modèle étudiant qui gère le transfert de connaissances inter-vues. En découplant le processus de distillation du classificateur principal, la méthode garantit que le classificateur principal conserve sa capacité discriminante pour la vue standard.
   • Régularisation par Entropie : Un terme de perte appliqué à la vue standard du domaine cible pour prévenir l'optimisation dégénérée (ex: prédictions uniformes) et encourager des représentations confiantes et bien séparées.

4. Objectif d'Entraînement : La perte totale combine la perte de segmentation (entropie croisée sur les données sources étiquetées) et une perte de distillation de cohérence (divergence KL entre les prédictions inter-vues et la régularisation d'entropie). Notamment, le D-Adapter et le classificateur auxiliaire sont écartés lors de l'inférence, n'introduisant aucun surcoût de calcul au modèle final.

Contributions Clés

• Révisiter la Taille des Voxels : L'article identifie la taille des voxels comme un facteur critique pour équilibrer transférabilité et discriminabilité, proposant une méthode pour construire des représentations similaires au domaine via la compression de voxels plutôt que par des réseaux génératifs antagonistes complexes.
• Stratégie CVKD : Une nouvelle approche de distillation de connaissances inter-vues qui transfère les connaissances entre des vues complémentaires (standard et compressée) pour améliorer la généralisation du modèle de préchauffage et la perception de la cible.
• Mécanisme de Découplage : La conception du D-Adapter et du classificateur d'imitation auxiliaire pour découpler l'apprentissage inter-vues de la tâche de segmentation principale, préservant efficacement la discriminabilité tout en exploitant la transférabilité.
• Intégration Plug-and-Play : Le cadre sert de phase de préchauffage efficace qui peut être intégré de manière transparente dans les pipelines d'auto-apprentissage existants (ex: SAC-LM, CosMix, LaserMix) sans coût d'inférence supplémentaire.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur deux benchmarks : SynLiDAR $\to$ SemanticKITTI et SynLiDAR $\to$ SemanticPOSS.

• Performance : CVKD-UDA a atteint une intersection moyenne sur union (mIoU) de 41,0 % sur SemanticKITTI et de 47,5 % sur SemanticPOSS, surpassant les méthodes antagonistes de pointe (ex: PCAN, PMAN) et les autres bases d'auto-apprentissage.
• Efficacité du Préchauffage : Utilisé comme modèle de préchauffage pour le cadre d'auto-apprentissage SAC-LM, la méthode a atteint un mIoU de 45,9 % sur SemanticKITTI, dépassant nettement la meilleure performance précédente (SAC-LM+PCAN à 43,1 %).
• Gains par Catégorie : La méthode a démontré une efficacité particulière sur les catégories larges et structurellement cohérentes (ex: clôture, route, bâtiment), où les indices structurels de la vue compressée sont les plus bénéfiques. Bien que les performances sur les objets petits et épars (ex: cycliste, poteau) restent compétitives, les auteurs notent que le flou de la géométrie fine dans la vue compressée pose encore des défis pour ces catégories.
• Études d'Ablation : Les expériences ont confirmé la nécessité de chaque composant. Supprimer l'aspect inter-vues (revenir à une distillation de même vue) a provoqué une chute significative des performances. De même, le D-Adapter et le classificateur auxiliaire se sont révélés cruciaux pour équilibrer le compromis entre transférabilité et discriminabilité.

Signification
L'article affirme que CVKD-UDA offre une alternative plus simple et plus efficace à l'entraînement antagoniste pour obtenir des modèles de préchauffage bien initialisés en 3D UDA. En exploitant les propriétés inhérentes de la voxelisation, la méthode comble l'écart de domaine par la similitude structurelle plutôt que par un alignement de caractéristiques complexe, ce qui permet une optimisation stable et une généralisation supérieure. Les auteurs positionnent ce travail comme apportant une nouvelle perspective pour la segmentation 3D UDA, démontrant qu'une conception architecturale soignée concernant la représentation d'entrée (taille des voxels) peut produire des caractéristiques transférables robustes sans l'instabilité associée aux approches basées sur les GAN. Le code est mis à disposition pour faciliter la recherche ultérieure dans ce domaine.