💻 computer science

Vanilla ViT for Automotive Point Cloud Semantic Segmentation

Dit artikel introduceert VaViT, een methode die vanilla, niet-hiërarchische Vision Transformers aanpast voor semantische segmentatie van automotive puntenwolken door gebruik te maken van een gespecialiseerde tokenizer, een lichtgewicht decoder en op maat gemaakte data-augmentaties om state-of-the-art prestaties te behalen op grootschalige datasets zoals nuScenes, SemanticKITTI en de Waymo Open Dataset.

Oorspronkelijke auteurs: Gilles Puy, Nermin Samet, Alexandre Boulch, Spyros Gidaris, Tuan-Hung VU, Renaud Marlet

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Gilles Puy, Nermin Samet, Alexandre Boulch, Spyros Gidaris, Tuan-Hung VU, Renaud Marlet

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren de wereld rond een auto te begrijpen door alleen maar naar een wolk van miljoenen kleine puntjes te kijken die een laser scanner (LiDAR) uitstraalt. Dit wordt 3D point cloud semantic segmentation genoemd. De robot moet naar deze puntjes kijken en zeggen: "Dat puntje is een voetganger," "Dat puntje is een boom," of "Dat puntje is de weg."

Lama lang was de beste manier om dit te doen als het bouwen van een complexe, meerverdiepingsfabriek met veel verschillende soorten machines (convoluties en lokale aandacht) die samenwerken. Dit artikel, VaViT, stelt een simpele vraag: Kunnen we gewoon één krachtige, "gewone" machine (een standaard Vision Transformer of ViT) gebruiken om het hele werk te doen, zonder al die extra complexiteit?

Het antwoord is ja. Zo hebben ze het gedaan, met behulp van creatieve analogieën:

1. Het Probleem: Het "Te Veel Puntjes" Probleem

Een standaard "gewone" Transformer (zoals de modellen die tekst lezen of naar foto's kijken) verwacht dat gegevens georganiseerd zijn in nette rijen en kolommen, zoals een raster van pixels. Maar een 3D- laserscan is rommelig; de puntjes zijn willekeurig verspreid in de 3D-ruimte. Je kunt deze rommelige wolk niet direct in een standaard Transformer voeren.

2. De Oplossing: De "Slimme Postbode" (De Tokenizer)

Om dit op te lossen, bouwden de auteurs een speciale Tokenizer. Denk aan de 3D-wereld als een gigantische stad.

Het Raster: Ze leggen een gigantisch, grof raster (zoals een schaakbord) van bovenaf over de stad heen (een "Bird's Eye View").
De Pilaren: Elk vierkant op het raster is een "pilaar".
De Postbode: De Tokenizer werkt als een postbode die alle puntjes (brieven) verzamelt die in een enkele pilaar vallen. In plaats van elke afzonderlijke brief naar het hoofdkantoor te sturen, kiest de postbode de belangrijkste uit (met behulp van "max pooling") en maakt een enkele samenvattingskaart (een "token") voor die pilaar.
Het Resultaat: Nu, in plaats van miljoenen rommelige puntjes, ontvangt de Transformer een nette, hanteerbare lijst met samenvattingskaarten.

3. Het Brein: De "Gewone" Transformer

Zodra de gegevens in deze nette lijst met kaarten staan, gaan ze naar een Vanilla ViT (een standaard, niet-hiërarchische Transformer).

De Superkracht: In tegen tegenstelling tot eerdere methoden die alleen naar buren keken (zoals controleren wie er naast je staat), heeft deze Transformer globale aandacht. Het is als een detective die de hele stad in één oogopslag kan bekijken. Het kan direct een puntje op een verre heuvel verbinden met een puntje op de straat beneden, waardoor het het grote plaatje begrijpt zonder informatie door veel lagen van lokale filters te hoeven sturen.

4. Het Detailwerk: De "Lichtgewicht Decoder"

De Transformer is geweldig in het begrijpen van het grote plaatje, maar het is een beetje wazig als het gaat om individuele puntjes. Het weet misschien "er is hier een auto", maar het weet niet precies welk puntje bij de bumper hoort en welk puntje bij de band.

De Oplossing: De auteurs voegden een lichtgewicht decoder toe. Denk aan dit als een hoogwaardig vergrootglas. Het neemt het begrip van het "grote plaatje" van de Transformer en combineert dit met de oorspronkelijke, gedetailleerde aantekeningen die de postbode maakte voordat hij samenvatte. Dit stelt het systeem in staat om elk puntje met hoge precisie te labelen.

5. De Training: "Het Landschap Mengen" (PillarMix+)

Het trainen van deze AI-modellen is moeilijk omdat er minder beschikbare rijscènes zijn vergeleken met de miljoenen foto's die worden gebruikt om beeldmodellen te trainen. Om het model slimmer te maken, hadden ze "nep" trainingsdata nodig.

De Oude Manier: Eerdere methoden knipten twee verschillende straatscènes in stukken en plakten deze samen als een schaakbord. Dit creëerde vaak vreemde, onnatuurlijke gaten.
De Nieuwe Manier (PillarMix+): De auteurs ontwikkelden een betere mengstrategie. Stel je voor dat je drie verschillende straatscènes neemt en hele "blokken" (pilaren) van de stad tussen hen verwisselt. Als je een blok met een boom uit Scène A verwisselt met een blok met een boom uit Scène B, ziet de nieuwe scène er nog steeds uit als een realistisch stadsblok. Dit creëert een enorme variëteit aan trainingsscenario's, wat helpt het model beter te generaliseren zonder de fysica van de scène te breken.

De Resultaten

De paper testte deze "Vanilla ViT"-aanpak op drie belangrijke real-world rijdatasets (nuScenes, SemanticKITTI en Waymo).

Prestaties: Het kwam overeen met of versloeg zelfs de meest complexe, state-of-the-art systemen die die hybride, meerlaagse fabrieken gebruiken.
Eenvoud: Het bereikte dit terwijl het de architectuur simpel en verenigd hield, waarmee bewezen werd dat je geen complexe, op maat gemaakte machine nodig hebt om 3D-rijscènes te begrijpen; een goed afgestelde, standaard Transformer werkt net zo goed.

Kortom: Ze namen een rommelige 3D-wereld, organiseerden het in nette samenvattingskaarten, voerden het aan een krachtige "globale denker" (de gewone Transformer) en gaven het een vergrootglas om de details te zien. Door de trainingsdata op een slimme manier te mengen, bewezen ze dat eenvoudige, standaard hulpmiddelen net zo goed complexe 3D-rijproblemen kunnen oplossen als de ingewikkelde varianten.

Technische Samenvatting: Vanilla ViT voor Automobiel Point Cloud Semantische Segmentatie (VaViT)

Probleemstelling

Hoewel plain Transformers de de-facto architectuur zijn geworden voor tekst-, audio- en beeldverwerking vanwege hun verenigde ontwerp en superieure schaalbaarheidseigenschappen, blijft hun toepassing op 3D point cloud semantische segmentatie beperkt. De huidige state-of-the-art methoden voor automotive LiDAR-segmentatie vertrouwen voornamelijk op hybride U-Net architecturen die ijle (sparse) convoluties afwisselen met lokale of windowed attention (bijv. PTv3, LitePT). Alternatief projecteren sommige benaderingen 3D-data naar 2D range views (bijv. RangeViT), wat geometrische vervormingen introduceert en de ruimtelijke structuur wegwerpt.

De auteurs stellen een fundamentele vraag: Kan een plain, niet-hiërarchische Vision Transformer (ViT) direct op ruwe 3D point clouds opereren om competitieve prestaties te behalen voor grootschalige automotive LiDAR-segmentatie? De uitdaging ligt in het overbruggen van de kloof tussen onregelmatige point cloud-data en de token-gebaseerde representatie die vereist is voor ViTs, zonder te vertrouwen op de inductieve biases van convoluties of de geometrische vervormingen van 2D-projecties.

Methodologie

Het voorgestelde framework, VaViT (Vanilla ViT), verwerkt ruwe 3D-punten met behulp van een single-scale ViT-backbone met globale self-attention, waarbij hiërarchische stadia of convolutionele blokken worden vermeden. De pipeline bestaat uit vier kerncomponenten:

1. Tokenisatiestrategie

In plaats van de gehele scan in een 2D-afbeelding om te zetten, extraheert VaViT direct punt-gebaseerde embeddings in de 3D-ruimte en projecteert deze op een grove Bird's Eye View (BEV) grid om tokens te vormen.

Embedding Network: Ruwe punten (coördinaten, range, intensiteit) gaan door een multi-layer embedding netwerk geïnspireerd door PointNet++ en DGCNN. Dit netwerk bevat:
- Een globale tak die punt-features verwerkt.
- Een lokale tak die relatieve representaties berekent met $k$ -nearest neighbors, versterkt door een gating mechanisme ( $f_{gate}$ ) om spookfeatures te filteren.
- Een concatenatie van globale en lokale features.
Pillar Tokenization: De scène wordt verdeeld in niet-overlappende vierkante pillars. Voor elke bezette pillar worden de embeddings van alle daarin bevattende punten verzameld, en een max-pooling operatie genereert een enkele pillar token.
Positional Encoding: Tokens worden geassocieerd met 2D BEV-coördinaten, gecodeerd met behulp van Rotary Positional Embeddings (RoPE) die op elke as worden herhaald.

2. Vanilla ViT Backbone

De sequentie van pillar tokens wordt verwerkt door een standaard, niet-hiërarchische ViT.

De architectuur volgt het standaard Transformer block ontwerp: LayerNorm (LN) $\rightarrow$ Multi-Head Self-Attention (MSA) $\rightarrow$ Residual $\rightarrow$ LN $\rightarrow$ MLP $\rightarrow$ Residual.
Om variabele sequentielengtes over een batch te verwerken, worden padding tokens gebruikt om lengtes gelijk te maken.
De backbone vertrouwt volledig op globale self-attention, waardoor het model langetermijn ruimtelijke afhankelijkheden over de gehele scène kan vastleggen zonder lokale window-restricties.

3. Lichtgewicht Segmentatiekop

Om fijnmazige punt-niveau voorspellingen te herstellen van de grove pillar tokens:

Lifting: De uiteindelijke transformer tokens worden vanuit de BEV grid terug naar de oorspronkelijke 3D-punten gelift. Alle punten binnen een specifieke pillar ontvangen de bijbehorende pillar token.
Feature Fusion: De gelifte token features worden geconcateneerd met de oorspronkelijke high-resolution punt embeddings berekend tijdens de tokenisatie.
Gating en Classificatie: Een gating mechanisme ( $g_{gate}$ ) herweegt de bijdrage van de ViT features versus de oorspronkelijke punt embeddings. De gecombineerde features gaan door een finale lineaire laag voor semantische classificatie.

4. Data Augmentatie: PillarMix+

In het besef dat LiDAR-datasets kleiner zijn dan de image datasets die worden gebruikt voor het pretrainen van ViTs, introduceren de auteurs PillarMix+, een verbeterde geometrische augmentatiestrategie.

Mechanisme: In tegenstelling tot standaard PillarMix die twee scans mengt in een schaakbordpatroon, mengt PillarMix+ $N$ point clouds (meestal 3).
Proces: Voor elke bezette pillar in een referencescan, als dezelfde locatie bezet is in een van de andere $N-1$ scans, wordt de pillar willekeurig vervangen door een van de bezette pillars uit de set.
Voordelen: Dit behoudt het bezettingspatroon en de algemene vorm van de scène, terwijl het significante contextvariaties introduceert. Het voorkomt het "stand-alone crop" effect van schaakbord-mixing en behoudt een consistent aantal tokens, in tegenstelling tot methoden die het aantal tokens verhogen.

Belangrijkste Bijdragen

Prestatievalidatie: Aangetoond dat een zorgvuldig ontworpen vanilla ViT concurrerende of superieure prestaties kan leveren ten opz respecte van state-of-the-art methoden (inclusief hybride U-Nets en 2D-projectiemodellen) voor LiDAR-semantische segmentatie.
Gespecialiseerde Tokenisatie: Introduceerde een toegewijde tokenisatie-stem die informatieve 3D-punt embeddings extraheert en deze naar een grove BEV grid projecteert, waardoor voldoende geometrische informatie behouden blijft voor downstream taken zonder architecturale wijzigingen aan de ViT.
Lichtgewicht Kop: Ontwierp een segmentatiekop die effectief globale contextuele features van de ViT combineert met high-resolution lokale punt embeddings via een gating mechanisme.
PillarMix+: Stelde een robuuste geometrische augmentatiestrategie voor die de generalisatie voor ViT-training op autonome rij-datasets aanzienlijk verbetert door meerdere scans te mengen terwijl de scèneconsistentie behouden blijft.

Experimentele Resultaten

De auteurs evalueerden VaViT op drie belangrijke benchmarks: nuScenes, SemanticKITTI, en de Waymo Open Dataset (WOD).

nuScenes: VaViT-B bereikte een mean Intersection over Union (mIoU) van 81,3%, waarmee het de vorige state-of-the-art LitePT (80,7%) overtrof. Opvallend genoeg rangschikte het als eerste op kleine objecten zoals verkeerskegels en fietsen, ondanks het grove tokenisatiegrid.
Waymo Open Dataset: VaViT-B bereikte 70,5% mIoU, waarmee het SphereFormer (69,9%) en PTv3 (70,2%) versloeg.
SemanticKITTI: VaViT-B bereikte 67,6% mIoU (zonder Test-Time Augmentation), waarmee het nauw concurreerde met PTv3 (66,2%) en SphereFormer (67,8%).
Robuustheid: Een belangrijke bevinding is dat VaViT-modellen inherent robuust zijn tegen globale transformaties (rotatie, schaling, flipping). Terwijl andere methoden (PTv3, LitePT) ongeveer 2 mIoU punten winnen met Test-Time Augmentation (TTA), blijft de prestatie van VaViT vrijwel onveranderd, wat suggereert dat het globale self-attention mechanisme deze invarianties al heeft geleerd.

Betekenis en Claims

Het artikel claimt dat gespecialiseerde hybride ontwerpen (combinatie van convoluties en lokale attention) niet strikt noodzakelijk zijn voor 3D semantische segmentatie. In plaats daarvan vormen plain Transformers een levensvatbaar en eenvoudiger alternatief dat een verenigde backbone biedt voor perceptietaken.

Het succes van VaViT suggereert dat het "zware werk" in point cloud segmentatie kan worden uitgevoerd door globale self-attention, mits de inputrepresentatie (tokenisatie) en de trainingsstrategie (augmentaties) zorgvuldig zijn afgestemd. Dit werk opent de deur naar:

Makkelijker te ontwerpen multimodale architecturen (bijv. het mengen van point clouds en afbeeldingen).
De directe toepassing van self-supervised pretraining technieken voor transformers in het 3D-domein.
Een vermindering van de architecturale complexiteit door de noodzaak van U-Net-stijl hiërarchieën en ijle (sparse) convoluties weg te nemen.

De auteurs benadrukken dat hun resultaten de efficiëntie van een verenigde ViT-aanpak valideren, mits de interface tussen ruwe 3D-data en de transformer nauwgezet wordt geëngineerd.