RangeSAM: On the Potential of Visual Foundation Models for Range-View represented LiDAR segmentation

Ce papier présente RangeSAM, le premier cadre de segmentation LiDAR en vue de portée adaptant le modèle visuel fondationnel SAM2 grâce à des modifications architecturales spécifiques, offrant ainsi une segmentation 3D compétitive et efficace sur SemanticKITTI.

L'essentiel

🌟 L'Idée de Base : Transformer le Chaos en Carte

Imaginez que vous conduisez une voiture autonome dans une ville. Les capteurs de la voiture (le LiDAR) envoient des milliers de petits points de lumière pour "voir" le monde. C'est comme si la voiture recevait un nuage de poussière magique où chaque grain est un point dans l'espace.

Le problème ? Ce nuage est désordonné. C'est un chaos de points flottants. Pour un ordinateur, comprendre ce chaos est très lent et demande beaucoup d'énergie, un peu comme essayer de trier des millions de grains de sable un par un avec des pinces à épiler.

La solution proposée par RangeSAM : Au lieu de regarder le nuage de points en 3D, les chercheurs l'ont transformé en une image 2D plate, comme une carte du monde ou une photo panoramique. C'est beaucoup plus facile à lire pour un ordinateur !

---

🧠 Le Super-Héros : SAM2

Dans le monde de l'intelligence artificielle, il existe un modèle très célèbre appelé SAM2 (Segment Anything Model 2).

• Son super-pouvoir : Il est un expert pour découper des objets sur des photos classiques (comme séparer un chat d'un arbre sur une image Instagram). Il est très rapide et très intelligent.
• Le problème : SAM2 est entraîné sur des photos (RGB), pas sur les nuages de points des voitures autonomes. C'est comme essayer d'utiliser un chef cuisinier français pour préparer un plat de sushis sans lui donner les ingrédients japonais.

L'innovation de RangeSAM : Les auteurs se sont demandé : "Et si on adaptait ce chef cuisinier (SAM2) pour qu'il puisse aussi préparer des sushis (les données LiDAR) ?"

---

🛠️ Comment ils ont fait ? (Les 3 Astuces Magiques)

Pour transformer SAM2 en expert du LiDAR, ils ont dû faire trois modifications importantes, comme si on ajustait les lunettes d'un explorateur :

1. Le "Stem" (La Tige) : Adapter la vision horizontale

   • L'analogie : Imaginez que vous regardez une longue route s'étirer à l'horizon. Les objets sont alignés de gauche à droite.
   • L'astuce : Le modèle original de SAM2 ne prêtait pas assez attention à cette ligne horizontale. Les chercheurs ont ajouté un module spécial (le "Stem") qui force le modèle à bien comprendre que dans une image de LiDAR, tout est connecté horizontalement. C'est comme apprendre au modèle à ne pas regarder le ciel, mais bien la route qui passe sous ses yeux.

2. Les "Fenêtres" Asymétriques : Des lunettes rectangulaires

   • L'analogie : Habituellement, les modèles regardent le monde à travers des fenêtres carrées (comme des carreaux de mosaïque). Mais une image de LiDAR est très large et peu haute (comme un écran de cinéma ultra-large).
   • L'astuce : Ils ont changé les fenêtres de vision pour qu'elles soient rectangulaires et allongées (comme des lunettes de soleil). Cela permet au modèle de voir plus loin sur les côtés, là où se trouvent les voitures et les bâtiments, au lieu de gaspiller du temps à regarder le haut et le bas.

3. Le "Décodage" : Reconstituer le puzzle

   • L'analogie : Une fois que le modèle a compris l'image plate, il faut retransformer cette image en nuage de points 3D pour que la voiture sache exactement où se trouve un piéton.
   • L'astuce : Ils ont utilisé des blocs spéciaux (appelés RFB) qui agissent comme un traducteur ultra-rapide, passant de l'image 2D au monde 3D sans perdre de détails.

---

🏆 Les Résultats : Rapide et Efficace

Grâce à ces ajustements, RangeSAM est capable de :

• Voir les voitures, les piétons, les panneaux et les arbres dans le nuage de points.
• Être rapide : Comme il utilise des techniques de vision 2D (qui sont très optimisées), il est beaucoup plus rapide que les méthodes traditionnelles qui traitent chaque point un par un.
• Être précis : Sur les tests (avec des données réelles de la ville de KITTI), il obtient des résultats très compétitifs, presque aussi bons que les meilleurs experts actuels, mais en utilisant une architecture plus simple.

💡 En Résumé

Imaginez que vous avez un expert en peinture (SAM2) qui ne sait peindre que sur des toiles carrées. Les chercheurs de RangeSAM lui ont donné :

1. Un nouveau chevalet pour peindre sur des toiles rectangulaires (le LiDAR).
2. Des lunettes spéciales pour voir les détails de la route.
3. Un outil pour transformer sa peinture en une maquette 3D.

Le résultat ? Une voiture autonome qui comprend son environnement plus vite et avec moins d'effort, grâce à l'intelligence d'un modèle déjà célèbre, simplement réadapté pour le monde réel. C'est une preuve que l'on peut utiliser les "fondations" de l'IA moderne pour résoudre des problèmes très spécifiques, comme la conduite autonome.

Résumé technique

1. Problématique et Contexte

La segmentation sémantique des nuages de points LiDAR est fondamentale pour la conduite autonome et la compréhension des scènes 3D. Bien que les méthodes basées sur les voxels et les points directs offrent de bonnes performances, elles souffrent souvent de coûts computationnels élevés, d'accès mémoire irréguliers et d'une efficacité d'exécution limitée lors de la mise à l'échelle.

À l'inverse, les méthodes basées sur la vue en portée (range-view) projettent les nuages de points 3D en représentations 2D denses, permettant de réutiliser des architectures de segmentation 2D matures. Cependant, ce paradigme a été sous-exploité récemment au profit des méthodes 3D pures, malgré ses avantages en termes de vitesse et de simplicité de déploiement.

L'objectif de cet article est d'investiguer si les Modèles Fondamentaux Visuels (VFMs), et plus spécifiquement SAM2 (Segment Anything Model 2), peuvent servir de colonne vertébrale (backbone) puissante pour la segmentation de nuages de points LiDAR en vue en portée, en comblant le fossé entre les images RGB et les représentations de portée.

2. Méthodologie : RangeSAM

Les auteurs proposent RangeSAM, le premier cadre de travail adaptant SAM2 à la segmentation 3D via des représentations en vue en portée. L'approche se décompose en plusieurs étapes clés :

A. Prétraitement : Projection en Vue en Portée

Chaque scan LiDAR (ensemble de points non ordonnés) est transformé en une image 2D cylindrique de résolution 64x2048 pixels.

• Les coordonnées cartésiennes $(x, y, z)$ sont converties en coordonnées sphériques $(\theta, \phi, r)$.
• Les points sont discrétisés par rasterisation. Si plusieurs points projettent sur le même pixel, seul le point de plus courte portée (minimum-range) est conservé.
• Les pixels non couverts sont remplis de zéro.

B. Architecture du Modèle

RangeSAM adopte une architecture de type encodeur-décodeur inspirée de SAM2-UNet, mais avec des modifications architecturales spécifiques pour s'adapter aux propriétés géométriques des images de portée :

1. Module Stem (Entrée) :

   • Transforme les tenseurs d'entrée $(B, 6, H, W)$ en $(B, 96, H, W)$ via des transformations linéaires, une normalisation de couche (LayerNorm) et une activation GELU.
   • Remplace l'embedding de position standard de SAM2 par une matrice d'embedding personnalisée (4, 128) pour renforcer la sensibilité aux dépendances spatiales horizontales, inhérentes aux images de portée LiDAR.

2. Encodeur (Backbone Hiera) :

   • Utilise le backbone pré-entraîné Hiera (une variante de ViT hiérarchique).
   • Blocs Hiera adaptés : Chaque bloc intègre une attention multi-têtes (MHA) et un réseau feed-forward.
   • Attention Fenêtrée Asymétrique : Compte tenu de la résolution allongée (64x2048), les auteurs proposent une fenêtre d'attention asymétrique (ex: 8x64 ou 16x128) plutôt que carrée. Cela permet de mieux capturer les structures horizontales continues des données LiDAR projetées.
   • Les premières étapes utilisent une attention locale (fenêtrée), tandis que les étapes ultérieures utilisent une attention globale pour capturer les dépendances à longue portée.

3. Décodeur :

   • Utilise des Receptive Field Blocks (RFB) pour décoder les caractéristiques multiscales.
   • Remplace les couches BatchNorm et ReLU par LayerNorm et GELU pour une meilleure compatibilité avec les architectures Transformer modernes.
   • Concatène les cartes de caractéristiques normalisées et projette le résultat vers le nombre de classes cibles, avec des têtes auxiliaires (Aux) pour améliorer le flux de gradient.

4. Post-traitement :

   • Propagation des étiquettes du nuage de points traité vers le nuage de points complet (haute résolution) via une interpolation par k-NN (voisins les plus proches) avec vote majoritaire ($k=7$).

5. Fonction de Perte :

   • Une perte composite combinant : Entropie croisée pondérée (pour le déséquilibre des classes), perte Dice, perte de Jaccard (IoU) et perte de frontière (Boundary Loss) pour améliorer la précision des contours.

3. Contributions Clés

• Première adaptation de SAM2 : Introduction de RangeSAM, le premier framework utilisant un VFM (SAM2) pour la segmentation LiDAR en vue en portée.
• Modifications Architecturales Spécifiques : Conception d'un module Stem, d'une matrice d'embedding personnalisée et d'un mécanisme d'attention asymétrique optimisé pour la géométrie sphérique des projections LiDAR.
• Validation sur SemanticKITTI : Démonstration de performances compétitives sur le benchmark standard SemanticKITTI, validant la viabilité des VFMs pour cette tâche.

4. Résultats et Évaluation

Les expériences ont été menées sur les ensembles de données SemanticKITTI et nuScenes.

• Performance Globale : Le modèle RangeSAM (avec le backbone Hiera-tiny) atteint un mIoU de 60,9 % sur la séquence de validation de SemanticKITTI. Bien que légèrement inférieur aux méthodes SOTA les plus récentes (comme RangeFormer à 73,3 %), il démontre la capacité des VFMs à rivaliser avec des architectures spécialisées.
• Analyse par Classe :
  • Classes fréquentes (Voitures, Routes, Bâtiments) : Performances très compétitives (mIoU > 80-90%).
  • Classes rares (Motos, Piétons) : Performances plus faibles (mIoU ~40-50%), ce qui est cohérent avec les défis actuels des méthodes de segmentation sur les classes à longue traîne.
• Ablation et Stratégies d'Entraînement :
  • Augmentations de données : L'ajout d'augmentations spécifiques à la vue en portée (mixing, union, etc.) a permis un gain significatif de +10 % sur le mIoU.
  • Transfert Learning : Contrairement aux attentes, le pré-entraînement sur Cityscapes (images 2D urbaines) a dégradé les performances, suggérant un décalage de domaine trop important entre les images RGB et les images de portée LiDAR pour ce modèle spécifique.
  • Backbone : La version "Tiny" de Hiera (63M de paramètres) offre un meilleur compromis performance/coût que les versions plus lourdes.

5. Signification et Conclusion

Cet article prouve que les Modèles Fondamentaux Visuels (VFMs) peuvent servir de colonne vertébrale généraliste pour la segmentation de nuages de points, offrant une alternative prometteuse aux architectures 3D complexes.

• Avantages : RangeSAM bénéficie de la vitesse, de l'évolutivité et de la simplicité de déploiement des pipelines 2D, tout en exploitant la puissance de généralisation de SAM2.
• Limitations : La complexité computationnelle des blocs RFB empêche actuellement un déploiement en temps réel strict.
• Perspectives : Le travail ouvre la voie vers une segmentation LiDAR unifiée pilotée par des modèles fondamentaux. Les auteurs prévoient de libérer le code source et les poids du modèle, et travaillent sur l'optimisation de la complexité pour le temps réel.

En résumé, RangeSAM démontre que l'adaptation ciblée de modèles 2D puissants aux spécificités géométriques des données LiDAR est une voie viable et efficace pour l'avenir de la perception autonome.