RangeSAM: On the Potential of Visual Foundation Models for Range-View represented LiDAR segmentation

Dit paper introduceert RangeSAM, het eerste framework dat Visual Foundation Model SAM2 aanpast voor LiDAR-segmentatie in het range-view-formaat, waardoor snelle en nauwkeurige 3D-perceptie wordt bereikt met behoud van de efficiëntie van 2D-pipelines.

De kern

Samenvatting van "RangeSAM": Een slimme manier om auto's te laten zien wat ze zien

Stel je voor dat een zelfrijdende auto een blindeman is die een nieuwe stad binnenrijdt. Hij heeft een speciale "laser-bril" (een LiDAR-sensor) die duizenden lichtpunten afschiet om de wereld om hem heen te zien. De computer moet deze duizenden losse punten omzetten in een begrijpelijke kaart: "Dat is een auto, dat is een boom, en dat is de stoep."

Deze paper introduceert RangeSAM, een nieuwe manier om die kaart te maken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "3D-chaos"

Tot nu toe probeerden computers deze losse punten (de 3D-puntwolk) direct te analyseren. Dit is als proberen een enorme, ongestructureerde hoop Lego-blokken te sorteren terwijl je er rechtstreeks in kijkt. Het werkt, maar het is erg zwaar voor de computer, traag en kost veel energie. Het is alsof je een hele bibliotheek moet ordenen door elk boek één voor één vast te pakken en te lezen.

2. De Oplossing: De "2D-kaart"

De auteurs van RangeSAM zeggen: "Waarom kijken we niet anders?" In plaats van de 3D-punten direct te bekijken, projecteren ze ze op een plat vlak, net als een panoramafoto of een wereldkaart.

• De Analogie: Denk aan een spiraalvormige wenteltrap. Als je er recht van boven op kijkt, zie je een cirkel. Als je de treden uitrolt tot een rechte strook, krijg je een platte foto. De auto's, bomen en gebouwen zijn nu niet meer losse punten in de lucht, maar een gewone, platte afbeelding.
• Het Voordeel: Computers zijn al jarenlang experts in het begrijpen van platte foto's (zoals op Instagram of in je telefoon). Door de 3D-wereld om te zetten in een 2D-kaart, kunnen we die slimme, snelle "2D-experts" gebruiken.

3. De Ster: SAM2 (De "Alles-Scheerder")

De kern van deze nieuwe methode is een heel bekend AI-model genaamd SAM2 (Segment Anything Model 2).

• De Analogie: Stel je voor dat SAM2 een super-scheerder is die op elke foto kan worden gezet en die elk object perfect kan "scheuren" uit de achtergrond. Hij is getraind op miljoenen gewone foto's van mensen, dieren en voorwerpen.
• Het Nieuwe Trucje: De onderzoekers hebben deze "2D-scheerder" aangepast zodat hij ook kan werken op de "laser-kaarten" van de auto. Ze hebben hem een nieuwe bril opgezet zodat hij begrijpt dat de lijnen in een laser-kaart anders lopen dan in een gewone foto.

4. De Aanpassingen: De "Laser-Bril"

Omdat laser-kaarten er anders uitzien dan gewone foto's (ze zijn langgerekt en hebben rare gaten waar de laser niet komt), moest het model een beetje worden opgeleukt:

• De Horizontale Kijk: Laser-kaarten zijn vaak heel breed en niet erg hoog (zoals een langwerpig panorama). Het model kreeg een speciaal "horizontaal oog" dat beter kijkt naar de rijrichting van de weg, in plaats van naar boven en beneden.
• De Raam-methode: In plaats van naar de hele foto tegelijk te kijken (wat te zwaar is), kijkt het model door een raam dat lang en smal is. Dit past perfect bij de vorm van de laser-gegevens.

5. Het Resultaat: Snel en Slim

De testresultaten zijn veelbelovend:

• Snelheid: Omdat het werkt met platte afbeeldingen, is het veel sneller dan de oude methoden. De auto kan sneller beslissingen nemen.
• Kwaliteit: Het herkent grote dingen (zoals auto's, bomen en de weg) heel goed.
• De Uitdaging: Het heeft nog wat moeite met heel kleine of zeldzame dingen (zoals een fiets op de achtergrond of een klein bordje), maar dat is een probleem waar ook andere systemen last van hebben.

Conclusie

RangeSAM is als het geven van een "2D-opleiding" aan een "3D-expert". Door de wereld van de auto om te toveren in een platte kaart en daar de slimste bestaande AI-tools op los te laten, maken ze het leven van zelfrijdende auto's makkelijker, sneller en veiliger. Het is een stap in de richting van auto's die niet alleen "zien", maar ook echt "begrijpen" wat er om hen heen gebeurt, zonder dat hun computer oververhit raakt.

Technische samenvatting

Probleemstelling

LiDAR-puntwolksegmentatie is essentieel voor autonoom rijden en 3D-scènebegrip. De huidige state-of-the-art methoden zijn voornamelijk gebaseerd op voxels of directe punten. Hoewel deze methoden sterke prestaties leveren en fijne geometrie kunnen vastleggen, hebben ze aanzienlijke nadelen:

• Ze veroorzaken hoge rekenkosten en memory usage.
• Ze leiden tot onregelmatige geheugentoegang.
• Ze hebben beperkte runtime-efficiëntie door schaalingsproblemen, vooral bij grote, ongestructureerde puntwolken.

Range-view methoden projecteren 3D-puntwolken naar dichte 2D-voorstellingen. Dit maakt het mogelijk om geavanceerde 2D-segmentatiemodellen te hergebruiken, wat leidt tot snellere inferentie en lager geheugengebruik. Echter, deze methode is vaak onderbelicht gebleven vanwege uitdagingen met occlusies en resolutieverlies. De auteurs onderzoeken of Visual Foundation Models (VFMs), en specifiek SAM2 (Segment Anything Model 2), kunnen worden ingezet als een krachtige backbone voor LiDAR-segmentatie in de range-view representatie, om zo de snelheid van 2D-pipelines te combineren met de nauwkeurigheid van moderne foundation modellen.

Methodologie: RangeSAM

De auteurs introduceren RangeSAM, het eerste framework dat SAM2 adapteert voor 3D LiDAR-segmentatie via range-view representaties. De pipeline bestaat uit de volgende stappen:

1. Preprocessing (Range Projectie):

   • Ongeordende LiDAR-punten $(x, y, z, f)$ worden geprojecteerd op een bolcoördinatenstelsel van de sensor.
   • Dit resulteert in een 2D-cilindrische projectie (range image) met een resolutie van $64 \times 2048$ pixels.
   • Punten die op dezelfde pixel vallen, worden opgelost door de punt met de minimale afstand (kleinste $r$) te behouden.

2. Model Architectuur:
   De architectuur is gebaseerd op SAM2, maar met specifieke aanpassingen om de eigenschappen van LiDAR-range-afbeeldingen (zoals horizontale afhankelijkheden en discontinuïteiten) te benutten:

   • Stem Module: Transformeert de input naar een tensor en vervangt de standaard positiële embedding door een nieuw $(4, 128)$-embeddingsmatrix om de horizontale ruimtelijke sensitiviteit te verhogen.
   • Encoder (SAM2 Backbone): Gebruikt een voorgeïmplementeerde Hiera-backbone (een hiërarchische Vision Transformer).
     • Aanpassingen: De auteurs passen de Hiera Blocks aan voor de geometrie van bolprojecties.
     • Attention Mechanisme: Er wordt een asymmetrisch venster-attention mechanisme geïntroduceerd. Gezien de hoge breedte van range-afbeeldingen ($2048$ pixels) ten opzichte van de hoogte ($64$ pixels), worden lange, horizontale vensters gebruikt ($8 \times 64$ en $16 \times 128$) in plaats van vierkante vensters. Dit vangt de inherente horizontale structuur van LiDAR-data beter op.
   • Decoder: Gebruikt Receptive Field Blocks (RFB) in plaats van standaard convoluties om features te decoderen. De decoder voegt multi-scale features samen en gebruikt auxiliaire heads voor betere gradient flow.
   • Postprocessing: Voor evaluatie op datasets zoals SemanticKITTI worden labels van de geprojecteerde pixels teruggeprojecteerd naar de volledige puntwolk via $k$-NN interpolatie (met $k=7$) en meerderheidsstemming.

3. Trainingsstrategie:

   • Loss Functie: Een gecombineerde loss bestaande uit gewogen cross-entropy, Dice loss, boundary loss en Jaccard index loss om klassenongelijkheid en randnauwkeurigheid aan te pakken.
   • Data Augmentatie: Er worden standaard augmentaties (rotatie, jittering) toegepast, evenals specifieke augmentaties voor range-view (mixing, union, shifting, copy-paste) zoals voorgesteld in eerdere werken.
   • Transfer Learning: In tegenstelling tot eerdere werken die pre-training op 2D datasets (zoals Cityscapes) gebruikten, tonen de auteurs aan dat directe training op 3D-data (nuScenes/SEMANTICKITTI) beter werkt, waarschijnlijk vanwege een domeinmismatch tussen RGB-afbeeldingen en range-afbeeldingen.

Belangrijkste Bijdragen

• RangeSAM: Het eerste framework dat SAM2 succesvol adapteert voor LiDAR-puntwolksegmentatie via range-view.
• Architecturale Innovaties: Ontwerp van een multi-component encoder met een aangepaste Stem-module, een nieuwe embeddingsmatrix voor horizontale sensitiviteit, en een asymmetrisch attention-venster dat is afgestemd op de vorm van LiDAR-range-afbeeldingen.
• Validatie van VFMs: Het bewijst dat Visual Foundation Models als algemene backbones kunnen dienen voor puntwolksegmentatie, wat een pad opent naar unified, foundation-model-gedreven LiDAR-systemen.

Resultaten

De methodologie is geëvalueerd op de SemanticKITTI dataset:

• Prestaties: RangeSAM bereikt een mIoU van 60,9% op de validatie-set. Hoewel dit iets lager is dan de absolute state-of-the-art (die rond de 73% ligt, zoals RangeFormer), is het zeer competitief, zeker gezien het gebruik van een "tiny"-variant van SAM2 (63M parameters).
• Klasse-prestaties:
  • Grote, frequente klassen (auto's, wegen, gebouwen, vegetatie) presteren zeer goed (80-90% IoU).
  • Minder frequente klassen (vrachtwagens, hekken) liggen rond de 60-70%.
  • Zeldzame, kleine objecten (fietsen, motorfietsen, voetgangers) blijven uitdagend (29-47%), wat consistent is met moderne benaderingen.
• Efficiëntie: Het model profiteert van de snelheid en schaalbaarheid van 2D-centric pipelines.
• Ablatie Studies:
  • Het gebruik van data-augmentatie voor range-view resulteerde in een stijging van 10% in mIoU.
  • Pre-training op Cityscapes (2D) bleek niet voordelig en verlaagde zelfs de prestaties, wat suggereert dat domein-specifieke pre-training of training op 3D-data cruciaal is.
  • De "tiny" variant van SAM2 bleek efficiënter dan grotere varianten zonder significante prestatieverlies.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het de kloof overbrugt tussen de snelle, schaalbare 2D-segmentatiemethoden en de kracht van moderne foundation modellen voor 3D-taken. Het toont aan dat range-view representaties, vaak verwaarloosd, zeer potentieel hebben wanneer ze worden gecombineerd met VFMs.

Beperkingen en Toekomst:
De huidige beperking is de rekencomplexiteit. De gebruikte Receptive Field Blocks (RFB) vormen een computatief knelpunt en voorkomen momenteel real-time implementatie. Toekomstig werk zal zich richten op het optimaliseren van deze componenten om real-time prestaties te bereiken, terwijl de voordelen van foundation modellen behouden blijven. De auteurs kondigen aan dat ze de broncode en modelgewichten zullen vrijgeven.