CLAP: Unsupervised 3D Representation Learning for Fusion 3D Perception via Curvature Sampling and Prototype Learning

Le papier présente CLAP, une méthode d'apprentissage non supervisé de représentations 3D qui combine l'échantillonnage de courbure et l'apprentissage de prototypes pour entraîner conjointement des images et des nuages de points via un rendu différentiable, surpassant ainsi les méthodes existantes sur les tâches de perception de fusion 3D.

L'essentiel

🚗 Le Problème : Apprendre à conduire sans manuel d'instructions

Imaginez que vous voulez apprendre à un robot à conduire une voiture autonome. Pour cela, il doit comprendre le monde en 3D : il voit des images (comme nos yeux) et il "sent" la distance des objets (comme un radar ou un LiDAR).

Le problème, c'est que pour apprendre, on a généralement besoin d'un professeur humain qui étiquette tout : "Ceci est une voiture", "Ceci est un piéton". Mais étiqueter des millions de photos et de nuages de points 3D prend des années et coûte une fortune. C'est comme si on devait dessiner manuellement chaque arbre d'une forêt pour qu'un robot apprenne à s'y promener.

Les chercheurs veulent donc une méthode pour que le robot apprenne tout seul, sans professeur, en regardant simplement des données brutes. C'est ce qu'on appelle l'apprentissage non supervisé.

🧩 La Solution : CLAP (Le Chef d'Orchestre)

Les chercheurs ont créé une nouvelle méthode appelée CLAP. Son nom est un acronyme pour Curvature sampLing and leArnable Prototype (Échantillonnage de courbure et Prototypes apprenables).

Pour comprendre comment CLAP fonctionne, utilisons trois analogies simples :

1. Le Problème du "Trop de Données" (Le Buffet Interminable)

Imaginez que vous essayez de manger un buffet gigantesque pour apprendre à cuisiner. Si vous essayez de goûter chaque grain de riz, chaque goutte de sauce et chaque feuille de salade en même temps, vous allez étouffer (ou votre ordinateur va exploser par manque de mémoire).

• L'ancien problème : Les méthodes précédentes devaient soit étudier les images, soit étudier les points 3D, mais pas les deux ensemble, car c'était trop lourd pour les ordinateurs.
• La solution CLAP (Échantillonnage de Courbure) : CLAP agit comme un chef astucieux. Il ne goûte pas tout. Il sait que les zones plates (comme une route lisse) sont ennuyeuses et répétitives. En revanche, les zones courbes (comme le pare-chocs d'une voiture, les roues, les arbres) sont pleines d'informations.
  • L'analogie : CLAP utilise une "loupe intelligente" pour ne sélectionner que les parties intéressantes (les courbes) de l'image et du scanner 3D. Il ignore le reste. Cela permet de traiter les deux types de données (images et 3D) en même temps sans faire exploser la mémoire de l'ordinateur.

2. Le "Dictionnaire Commun" (Les Prototypes Apprenables)

Même si CLAP regarde les deux types de données, comment sait-il que la "forme" d'une voiture dans l'image 2D est la même chose que le "volume" d'une voiture en 3D ?

• L'ancien problème : C'est comme si l'œil et l'oreille parlaient deux langues différentes et ne pouvaient pas se comprendre.
• La solution CLAP (Les Prototypes) : CLAP invente un dictionnaire commun. Imaginez qu'il crée une série de "cartes de visite" ou de "moules" (les prototypes) qui représentent des parties du monde (une roue, un toit, une route).
  • L'image dit : "Je vois une forme qui ressemble au prototype 'Voiture'."
  • Le scanner 3D dit : "Je sens un volume qui ressemble au prototype 'Voiture'."
  • Grâce à ce dictionnaire commun, les deux sens apprennent à se parler et à se renforcer mutuellement.

3. Le Jeu de "Qui est Qui ?" (L'Apprentissage par Échange)

Pour s'assurer que le robot ne se trompe pas, CLAP utilise une technique de jeu.

• Imaginez un jeu où l'on cache les étiquettes. Le robot doit deviner : "Si je mélange l'image d'une voiture avec le scanner d'un piéton, est-ce que ça a du sens ?"
• CLAP force le système à vérifier constamment si ce qu'il voit en 2D correspond bien à ce qu'il sent en 3D. S'il y a une incohérence, il se corrige. Cela s'appelle la "prédiction par échange" (swapping prediction).

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé CLAP sur des données réelles de voitures autonomes (les jeux de données NuScenes et Waymo).

• Le résultat : CLAP est beaucoup plus efficace que les méthodes précédentes.
• L'analogie : Si les anciennes méthodes étaient comme un élève qui apprendrait 100 % de son cours, CLAP est comme un élève génie qui apprendrait 200 % de son cours en moins de temps.
• Concrètement : Sur certains tests, CLAP a apporté jusqu'à 100 % de progrès en plus par rapport aux meilleures méthodes existantes. Cela signifie que les voitures autonomes entraînées avec CLAP seront plus sûres et plus précises, même avec très peu de données d'entraînement.

🚀 En résumé

CLAP est une nouvelle façon d'entraîner les robots à voir le monde en 3D :

1. Il ne perd pas de temps à regarder les zones plates et ennuyeuses (grâce à l'échantillonnage de courbure).
2. Il crée un langage commun pour que la caméra et le scanner 3D puissent travailler ensemble (grâce aux prototypes).
3. Il s'entraîne seul sans avoir besoin d'un humain pour tout étiqueter.

C'est un pas de géant vers des voitures autonomes plus intelligentes, plus rapides à entraîner et moins coûteuses à développer.

Résumé technique

1. Problématique

L'apprentissage de la perception 3D fusionnée (combinaison de caméras et de LiDAR) est essentiel pour des applications comme la conduite autonome. Cependant, l'entraînement de modèles supervisés nécessite un étiquetage 3D massif, coûteux en temps et en énergie. L'apprentissage non supervisé (pré-entraînement sans étiquettes) est une solution prometteuse, en particulier les méthodes basées sur le rendu différentiable (reconstruction d'images et de nuages de points masqués).

Cependant, les méthodes existantes (comme UniPAD) présentent une limitation majeure : elles entraînent les encodeurs d'images et de nuages de points séparément. Cela est dû à la contrainte computationnelle extrême liée au traitement simultané de grands nuages de points et d'images haute résolution, qui dépasse la mémoire des GPU actuels (limitant souvent le batch size à 1). Cette séparation empêche d'exploiter la complémentarité entre la sémantique de haut niveau (images) et la structure géométrique 3D (nuages de points) durant le pré-entraînement.

2. Méthodologie : CLAP

Les auteurs proposent CLAP (Curvature sampLing and leArnable Prototype), une méthode de pré-entraînement conjoint non supervisé pour la fusion perception. L'architecture repose sur quatre piliers techniques :

A. Échantillonnage par Courbure (Curvature Sampling)

Pour surmonter la barrière de la mémoire GPU et permettre un pré-entraînement conjoint, CLAP ne traite pas tous les points/pixels.

• Principe : L'observation clé est que les surfaces à faible courbure (ex: le sol plat) sont redondantes, tandis que les surfaces à forte courbure (ex: les bords d'un véhicule) contiennent plus d'informations.
• Implémentation :
  1. Estimation de la courbure géodésique de chaque point du nuage de points en utilisant la dérivée seconde du champ de distance signé (SDF).
  2. Calcul des poids d'échantillonnage basés sur la norme du vecteur de courbure.
  3. Échantillonnage des points et pixels les plus informatifs via un échantillonneur multinomial.
  4. Une phase de "warm-up" avec échantillonnage uniforme est utilisée au début pour stabiliser l'estimation de la courbure.
• Impact : Réduction drastique de la charge computationnelle (<1% de surcharge mémoire) tout en conservant les informations critiques pour la reconstruction.

B. Apprentissage de Prototypes (Prototype Learning)

Pour exploiter la complémentarité des modalités, CLAP introduit un espace de caractéristiques commun.

• Prototypes Apprenables : Un ensemble de $N_K$ prototypes vectoriels est initialisé pour représenter des parties de la scène 3D.
• Algorithme Expectation-Maximization (EM) :
  • Étape E : Calcul des probabilités d'assignation des embeddings (LiDAR et Caméra) aux prototypes.
  • Étape M : Maximisation de la similarité entre les embeddings et les prototypes en minimisant l'entropie de la matrice de similarité.
• Perte de Prédiction par Échange (Swapping Prediction Loss) : Inspirée de SwAV, cette perte force l'alignement entre les vues LiDAR et Caméra en utilisant les prototypes comme pont. Elle prédit l'assignation d'une modalité à partir de l'autre, favorisant ainsi l'apprentissage des interactions inter-modales.

C. Régularisation par Matrice de Gram

Pour éviter l'effondrement des prototypes (collapse), où tous les prototypes convergent vers le même vecteur, une perte de régularisation est ajoutée. Elle minimise la similarité moyenne entre les éléments non-diagonaux de la matrice de Gram des prototypes ($G = KK^T$), assurant ainsi une diversité des représentations apprises.

D. Rendu Différentiable

Le modèle utilise un décodeur de champ neuronal (Neural Field) pour reconstruire les valeurs de distance (SDF) et de couleur (RGB) le long des rayons échantillonnés, en minimisant une perte de reconstruction combinée (SDF, portée et couleur).

3. Contributions Clés

1. Premier pré-entraînement conjoint : CLAP est la première méthode à réaliser un pré-entraînement conjoint non supervisé pour la fusion perception (images + LiDAR) via le rendu différentiable, résolvant le problème de la mémoire GPU grâce à l'échantillonnage par courbure.
2. Espace de caractéristiques commun : Utilisation de prototypes apprenables et d'un schéma EM pour créer un espace de représentation unifié reliant la géométrie 3D et la sémantique 2D.
3. Nouvelles fonctions de perte : Introduction d'une perte de prédiction par échange pour l'interaction inter-modale et d'une régularisation par matrice de Gram pour la stabilité de l'apprentissage des prototypes.
4. Performance supérieure : Démonstration expérimentale d'une amélioration significative par rapport aux méthodes de l'état de l'art (SOTA).

4. Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données NuScenes et Waymo, avec un pré-entraînement sur les données non étiquetées et un fine-tuning sur de petits sous-ensembles (5% pour NuScenes, 1% pour Waymo).

• NuScenes : CLAP atteint une amélioration de 2,48 % de mAP par rapport à l'initialisation aléatoire, surpassant UniPAD (SOTA précédent) de plus de 100% en termes de gain relatif. Pour le score NDS, l'amélioration est de 1,76 %.
• Waymo : CLAP obtient les meilleures performances à la convergence, avec un gain d'environ 1,28 % sur la moyenne des métriques, soit deux fois le gain des meilleures méthodes précédentes.
• Propriété d'échelle (Scaling) : En réduisant la quantité de données de fine-tuning (jusqu'à 0,5%), CLAP montre une capacité d'échelle prometteuse, avec des gains allant jusqu'à 7,22 % de mAP sur les scénarios à très faible nombre d'échantillons.
• Étude Ablative : Les résultats confirment que l'échantillonnage par courbure est supérieur à l'échantillonnage uniforme, et que l'ajout de l'apprentissage par prototypes apporte le gain de performance final.

5. Signification et Impact

Ce travail est significatif car il brise le compromis entre la complexité computationnelle et l'efficacité de l'apprentissage multimodal. En permettant un pré-entraînement conjoint plutôt que séparé, CLAP exploite pleinement la synergie entre la géométrie du LiDAR et la sémantique des caméras.

La méthode démontre que l'apprentissage non supervisé peut atteindre des performances supérieures aux méthodes supervisées classiques dans des régimes à faible nombre d'échantillons (few-shot), ce qui est crucial pour déployer des systèmes de perception 3D robustes sans dépendre de coûts d'étiquetage prohibitifs. De plus, la capacité de CLAP à s'améliorer avec des données de pré-entraînement massives suggère un fort potentiel d'évolutivité pour les futurs systèmes d'intelligence artificielle en robotique et conduite autonome.