🤖 AI

HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-trainin

HiLDA est un cadre de pré-entraînement auto-supervisé pour les dorsaux LiDAR qui exploite la distillation hiérarchique de modèles de fondation de vision et un objectif de diffusion d'occupation temporelle pour atteindre des performances de pointe en détection d'objets 3D, en flux de scène et en prédiction d'occupation sémantique en capturant mieux les informations sémantiques et géométriques.

Auteurs originaux : Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot conducteur comment voir le monde. Vous disposez de deux types d'« yeux » :

La Caméra : Elle voit le monde comme un humain, avec des couleurs, des textures et des étiquettes claires (comme « c'est un panneau stop » ou « c'est un chien »). Elle est excellente pour comprendre ce que sont les choses, mais elle est mauvaise pour savoir exactement où elles se trouvent dans l'espace 3D ou comment elles se déplacent.
Le LiDAR : C'est un scanner laser qui crée une carte 3D précise du monde. Il sait exactement où se trouve chaque point, mais il voit le monde comme un nuage de points sans étiquettes. Il ne sait pas si un point est un arbre ou une voiture ; il sait juste qu'il est là.

Le problème est que l'apprentissage pour que le LiDAR reconnaisse des objets nécessite généralement que des humains étiquettent manuellement des millions de points 3D, ce qui est lent, coûteux et impossible à couvrir pour tous les scénarios possibles (comme un chien surgissant de derrière un camion sous la pluie).

Entrez en scène : HilDA. Une nouvelle méthode qui apprend au LiDAR à « apprendre de la Caméra » sans avoir besoin d'étiquettes humaines. Les auteurs appellent cela HilDA (Hierarchical Distillation with Diffusion). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Chef de cuisine » et l'« Apprenti » (Distillation Hiérarchique)

Habituellement, lorsqu'on enseigne à un élève (le modèle LiDAR) à partir d'un maître (le modèle Caméra), on ne regarde que le résultat final. C'est comme si un professeur de cuisine ne montrait à l'élève que le gâteau fini en disant : « Fais ça ».

Les auteurs ont réalisé que cela est inefficace. Un grand chef ne se contente pas de faire le gâteau ; il mélange la pâte, vérifie la température et décore les couches dans un ordre spécifique.

L'ancienne méthode : Le LiDAR essayait simplement de copier le « gâteau » final (la dernière couche du cerveau de la caméra).
La méthode HilDA : Le LiDAR observe tout le processus. Il apprend lors de l'étape du « mélange », de l'étape de la « cuisson » et de l'étape du « glaçage » (les multiples couches du cerveau de la caméra).
Le contexte global : Il enseigne également au LiDAR à comprendre l'« ambiance » de toute la scène. Tout comme un chef sait faire la différence entre un gâteau de mariage et un gâteau d'anniversaire en regardant l'ensemble de la table, HilDA apprend au LiDAR à reconnaître s'il se trouve sur une autoroute ou dans un quartier résidentiel, et pas seulement en regardant des points individuels.

2. La « Boule de cristal voyageuse dans le temps » (Diffusion d'occupation temporelle)

Savoir ce que sont les choses est une bonne chose, mais une voiture autonome doit aussi savoir ce qui va se passer ensuite. La caméra est douée pour reconnaître une voiture maintenant, mais elle ne comprend pas intrinsèquement comment cette voiture va se déplacer dans la seconde suivante.

Pour corriger cela, HilDA ajoute un exercice d'entraînement avec une « boule de cristal » :

Le jeu : Le LiDAR se voit présenter la route au temps $T$ et au temps $T-1$ . On lui demande ensuite de « prédire » à quoi ressemblera la route au temps $T+1$ .
L'astuce de la Diffusion : Au lieu de simplement deviner, le modèle joue à un jeu de « débruitage ». Imaginez que la route future est recouverte de bruit statique. Le modèle doit lentement effacer le bruit pour révéler la route claire du futur.
Pourquoi cela aide : Cela force le LiDAR à apprendre les règles de la physique et du mouvement. Il apprend que les voitures se déplacent de manière fluide, que les piétons marchent et que les bâtiments restent immobiles. Il apprend la « géométrie » du monde, et pas seulement les étiquettes.

3. Le résultat : Un conducteur super-perceptif

En combinant ces deux idées — apprendre le processus étape par étape de la reconnaissance d'objets (via la caméra) et apprendre à prédire le futur (via le jeu de la diffusion) — HilDA crée un modèle LiDAR incroyablement intelligent.

Ce que l'article affirme obtenir :

Une meilleure précision : Le LiDAR fait moins d'erreurs dans l'identification des objets, même dans des situations délicates comme une personne debout sur un camion ou un conducteur de scooter sous la pluie.
Moins de données nécessaires : Il fonctionne très bien même lorsque l'équipe ne possède qu'une infime quantité de données étiquetées (aussi peu que 1 % de ce dont les autres méthodes ont besoin).
Robustesse : Il gère beaucoup mieux les intempéries (neige, brouillard) et les erreurs de capteurs que les méthodes précédentes.
Polyvalence : Ce modèle unique fonctionne très bien pour de nombreuses tâches de conduite différentes, pas seulement une seule. Il aide pour :
- La détection d'objets 3D : Trouver des voitures et des personnes.
- Le flux de scène (Scene Flow) : Comprendre à quelle vitesse et dans quelle direction les choses se déplacent.
- L'occupation sémantique : Savoir exactement quelles parties de l'espace 3D sont vides, solides ou occupées par des objets spécifiques.

En résumé, HilDA est comme si l'on donnait au robot conducteur un mentor qui lui montre tout le processus de cuisine et une boule de cristal pour prédire le futur, résultant en un conducteur qui comprend à la fois ce que sont les choses et où elles vont.

Résumé Technique : HilDA – Distillation Hiérarchique avec Diffusion pour le Pré-entraînement LiDAR

1. Énoncé du Problème

Les systèmes de conduite autonome (AD) nécessitent une perception spatiale robuste dans des environnements dynamiques. Bien que le LiDAR fournisse des données géométriques de haute fidélité, l'entraînement de modèles 3D nécessite généralement des ensembles de données étiquetés massifs. L'annotation manuelle est non seulement coûteuse, mais elle ne parvient pas non plus à couvrir la diversité combinatoire de la géométrie et du mouvement du monde réel. Pour y remédier, la communauté s'est tournée vers la Distillation de Connaissance (KD) à partir de Modèles de Fondation de Vision (VFM) comme stratégie de pré-entraînement auto-supervisé pour les backbones LiDAR.

Cependant, les approches existantes de distillation cross-modale souffrent de deux limitations principales :

Restriction à la Couche Finale : Les méthodes actuelles traitent les VFM comme des boîtes noires, ne distillant que les caractéristiques de la couche finale. Cela ignore le raffinement sémantique progressif et les représentations intermédiaires distribuées à travers les couches du VFM, qui sont pourtant cruciales pour capturer le « comment » les caractéristiques sont construites. De plus, ces méthodes ignorent souvent le contexte global encodé dans le jeton CLS du VFM.
Manque de Supervision Spatio-Temporelle : Les VFM entraînés sur des images excellent dans la reconnaissance sémantique mais manquent de indices géométriques et temporels 3D explicites. Une distillation purement sémantique laisse la structure 3D sous-contrainte. Bien que certains travaux antérieurs introduisent la prédiction d'occupation, ils reposent généralement sur des objectifs discriminatifs qui modélisent des marginales locales plutôt que des distributions de scènes conjointes, échouant ainsi à imposer une cohérence spatio-temporelle globale.

2. Méthodologie : Cadre de travail HilDA

Les auteurs proposent HilDA (Hierarchical Distillation with Diffusion), un cadre de pré-entraînement auto-supervisé qui combine la distillation hiérarchique avec un objectif de diffusion d'occupation temporelle. Le cadre traite des séquences temporelles de trois images ( $t_{-1}, t_0, t_1$ ), utilisant le passé et le présent pour l'extraction de caractéristiques et l'image future comme cible pour la prédiction d'occupation.

2.1 Distillation Hiérarchique

HilDA va au-delà de la distillation à couche unique en capturant l'évolution sémantique du VFM via deux mécanismes :

Distillation Multi-Couches : Au lieu d'aligner uniquement la sortie finale, HilDA aligne les couches intermédiaires du réseau LiDAR étudiant avec les couches correspondantes du VFM enseignant gelé. Ceci est réalisé via une stratégie de dense-à-sparse où les points 3D sont projetés sur des images de caméras 2D en utilisant les paramètres de calibration. Un MLP léger, spécifique à chaque couche, aligne les dimensions des caractéristiques, et la distance cosinus est minimisée sur les correspondances point-pixel valides à travers plusieurs couches. Cela permet à l'étudiant d'apprendre la construction progressive des concepts visuels.
Distillation du Contexte Global : Pour capturer la sémantique au niveau de la scène, le cadre aligne le jeton CLS du VFM (qui encode l'information globale de la scène) avec un jeton de contexte global 3D apprenable dans le réseau de l'étudiant. Le jeton global de l'étudiant est généré en appliquant un MLP dédié aux caractéristiques de la couche finale, suivi d'un max-pooling global. L'alignement est imposé via l'erreur quadratique moyenne (MSE), agissant comme un régularisateur au niveau de la scène.

2.2 Diffusion d'Occupation Temporelle

Pour répondre au manque d'indices géométriques et de dynamique temporelle explicites, HilDA introduit une tâche auxiliaire auto-supervisée : la Diffusion d'Occupation Temporelle.

Formulation : La tâche est formulée comme une génération par Modèle de Diffusion Probabiliste de Dénouage (DDPM) conditionnelle. Étant donné des balayages LiDAR à $t_{-1}$ et $t_0$ , le réseau étudiant les encode dans une carte de caractéristiques d'historique partagée en vue de dessus (Bird's Eye View - BEV) dense.
Objectif : Le modèle apprend à débruiter une cible d'occupation corrompue ( $x_{occ}$ à $t_1$ ) conditionnée par l'historique. L'objectif d'entraînement combine une perte de prédiction de bruit (diffusion standard) avec une perte de reconstruction pour la carte d'occupation.
Bénéfice : Cette approche générative encourage le modèle à intérioriser les variétés spatiales et les hiérarchies de surfaces par un raffinement itératif, favorisant la cohérence spatio-temporelle et la permanence des objets sans nécessiter d'étiquetage manuel.

2.3 Objectif Total

Le cadre est entraîné de bout en bout en utilisant une somme pondérée de trois pertes :
$\mathcal{L}_{total} = \omega_{ds}\mathcal{L}_{distill} + \omega_{gl}\mathcal{L}_{cls} + \omega_{df}\mathcal{L}_{diffusion}$
où $\mathcal{L}_{distill}$ est la perte point-pixel multi-couches, $\mathcal{L}_{cls}$ est la perte de contexte global, et $\mathcal{L}_{diffusion}$ est la perte de diffusion d'occupation temporelle.

3. Contributions Clés

Stratégie de Distillation Hiérarchique : Une approche novatrice qui distille à la fois les caractéristiques intermédiaires multi-couches et les jetons CLS globaux des VFM, permettant au LiDAR étudiant d'apprendre le raffinement sémantique progressif et le contexte holistique de la scène.
Diffusion d'Occupation Temporelle : Un objectif génératif auxiliaire qui traite la prédiction d'occupation future comme une diffusion conditionnelle, injectant efficacement des indices géométriques et de mouvement multi-échelles dans l'encodeur LiDAR.
Performance de l'État de l'Art : L'intégration de ces composants produit des représentations qui surpassent les méthodes de distillation antérieures sur plusieurs benchmarks.

4. Résultats Expérimentaux

Les auteurs ont évalué HilDA sur le jeu de données nuScenes pour le pré-entraînement, transférant les backbones appris vers diverses tâches en aval sans ré-entraînement.

Segmentation Sémantique 3D : HilDA atteint des résultats de l'état de l'art (SOTA) sur nuScenes, SemanticKITTI et Waymo Open Dataset. Il montre des gains significatifs dans les scénarios à faibles données (1 %–10 % d'étiquettes), surpassant des méthodes telles que CleverDistiller, LiMoE et ScaLR. Il démontre également une généralisation de domaine supérieure sur des données hors-route non structurées (Rellis-3D) et avec des étiquettes de type gribouillage (ScribbleKITTI).
Robustesse : Sur le benchmark corrompu nuScenes-C, HilDA présente une résilience supérieure face aux conditions météorologiques (neige, pluie) et aux défaillances de capteurs (écho de faisceau, inter-capteur), atteignant l'erreur de corruption moyenne (mCE) la plus faible.
Détection d'Objets 3D : Utilisé comme initialisation pour PointRCNN, HilDA améliore le mAP sur KITTI et nuScenes, particulièrement dans des scénarios complexes impliquant de longues distances et des occultations importantes.
Occupation Sémantique et Flux de Scène : HilDA surpasse les bases de référence pour la prédiction d'occupation sémantique 3D et 4D ainsi que pour l'estimation du flux de scène (Argoverse 2). La tâche de diffusion auxiliaire améliore spécifiquement les performances sur les objets dynamiques et l'estimation du mouvement.

5. Signification et Revendications

L'article affirme que HilDA comble avec succès le fossé entre la richesse sémantique et la robustesse géométrique/temporelle dans le pré-entraînement LiDAR. En allant au-delà de la distillation de la couche finale "boîte noire" et en incorporant un a priori de diffusion générative, le cadre crée une représentation qui capture à la fois le « quoi sémantique » (provenant des VFM) et le « où géométrique » (provenant de la diffusion).

Les auteurs soulignent que cette approche réduit la dépendance vis-à-vis des données annotées à grande échelle tout en produisant des caractéristiques transférables à travers divers domaines et tâches. Ils notent une limite : la distillation point-pixel reste sensible au désalignement LiDAR-caméra, bien que HilDA atténue partiellement ce problème via la distillation de contexte global sans alignement et la diffusion temporelle. Des travaux futurs sont suggérés pour explorer des stratégies de correspondance apprises pour la distillation couche par couche et pour étendre la diffusion au-delà des représentations BEV.