Exploring Single Domain Generalization of LiDAR-based Semantic Segmentation under Imperfect Labels

Deze paper introduceert het nieuwe taakgebied DGLSS-NL voor LiDAR-segmentatie met onvolmaakte labels, presenteert een eerste benchmark en stelt DuNe voor, een dubbelzicht-architectuur die de prestaties aanzienlijk verbetert door consistentie tussen sterke en zwakke weergaven te forceren en vertrouwen-gebaseerde filtering toe te passen.

De kern

Stel je voor dat je een zelfrijdende auto bouwt. De ogen van deze auto zijn LiDAR-sensoren. In plaats van foto's te maken, schieten deze sensoren miljoenen kleine laserstraaltjes uit om een 3D-kaart van de wereld te maken. Het is alsof de auto de wereld ziet als een wolk van duizenden stipjes.

Het probleem? De auto moet niet alleen in zijn eigen stad rijden, maar ook in andere steden, bij regen, sneeuw of met andere sensoren. Dat heet Domain Generalization (gebiedsgeneralisatie). De auto moet leren om te "generaliseren" zonder dat we hem voor elke nieuwe situatie opnieuw moeten programmeren.

Maar er is een groot struikelblok: de instructies die we de auto geven zijn vaak fout.

Het probleem: De "Verkeerde Vlaggen"

Om de auto te leren wat een "voetganger" is en wat een "vrachtwagen", moeten mensen de stipjes in de 3D-wolk handmatig labelen. Dat is enorm veel werk en vaak onnauwkeurig.

• Soms is een stipje te ver weg om te zien wat het is.
• Soms maakt de mens een foutje.
• Soms is de sensor beschadigd.

In de wereld van de auto noemen we dit ruis of verkeerde labels. Het is alsof je een kind leert te lezen, maar je geeft hem een boek waar in 10% van de gevallen de woorden verkeerd zijn geschreven. Als je dat boek gebruikt om te leren, gaat het kind de verkeerde woorden onthouden.

De meeste bestaande methodes voor zelfrijdende auto's gaan er vanuit dat de instructies perfect zijn. Maar in de echte wereld is dat niet zo. Als de instructies fout zijn, en de auto komt in een nieuwe stad (een nieuw "domein"), dan faalt hij volledig.

De Oplossing: DuNe (De Twee-Ogen Methode)

De onderzoekers uit dit paper hebben een nieuwe manier bedacht om dit op te lossen, genaamd DuNe. Ze gebruiken een slimme analogie: leren met twee verschillende blikken.

Stel je voor dat je een schilderij moet kopiëren, maar je hebt een slechte fotokopie van het origineel (de ruis).

1. De Zwakke Blik (Weak View): Dit is de originele, wat vervormde kopie. Je kijkt er rustig naar, zonder veel aan te passen.
2. De Sterke Blik (Strong View): Dit is een versie waar je heel veel aan hebt gesleuteld. Je hebt stukken van andere schilderijen eroverheen geplakt, gedraaid en gemanipuleerd. Het ziet er chaotisch uit, maar het dwingt je brein om echt te begrijpen wat er te zien is, in plaats van alleen de details te onthouden.

Hoe werkt DuNe?
Het systeem kijkt naar beide versies tegelijk:

• Het vergelijkt wat het ziet in de "Sterke" versie met wat het ziet in de "Zwakke" versie. Als ze het erover eens zijn, is het waarschijnlijk een goed antwoord.
• Het gebruikt een slimme truc om te zien welke labels waarschijnlijk fout zijn. Als het systeem twijfelt, negeert het die instructie tijdelijk of corrigeert het die.
• Het leert zo dat het niet blindelings moet luisteren naar de menselijke instructies, maar dat het de structuur van de wereld (de stipjes) moet begrijpen.

Waarom is dit zo belangrijk?

Vroeger probeerden wetenschappers methodes over te nemen uit de 2D-wereld (zoals foto's van camera's). Maar dat werkt niet goed voor LiDAR, omdat stipjes in de lucht anders werken dan pixels op een scherm. Het is alsof je probeert te zwemmen met de techniek van een landloper.

De onderzoekers hebben bewezen dat hun nieuwe methode (DuNe) veel beter werkt:

• Zelfs als 50% van de instructies fout zijn (alsof de helft van het boek verkeerd is), kan de auto nog steeds goed rijden.
• De auto blijft stabiel, zelfs als hij van de Duitse snelweg naar een Nederlandse stad of een Chinees dorp rijdt.

De Conclusie in één zin

Deze paper introduceert een slimme "twee-oog" methode die het mogelijk maakt om zelfrijdende auto's te trainen, zelfs als de trainingdata vol zit met fouten, zodat ze veilig kunnen rijden in elke wereld, ongeacht hoe imperfect de instructies waren.

Het is als het geven van een kompas aan een reiziger in plaats van een gedetailleerde kaart die vol staat met fouten. De reiziger (de auto) leert zo de weg te vinden, zelfs als de kaart niet klopt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Exploring Single Domain Generalization of LiDAR-based Semantic Segmentation under Imperfect Labels" in het Nederlands.

Probleemstelling

Autonome voertuigen zijn afhankelijk van nauwkeurige waarneming (perceptie) voor veiligheid, waarbij LiDAR een cruciale rol speelt door het leveren van precieze 3D-geometrie. Een grote uitdaging is Domain Generalization (DG): het vermogen van modellen om te presteren in onbekende omgevingen (verschillende sensoren, weer, locaties) zonder dat er nieuwe annotaties nodig zijn.

Echter, bestaande DG-methoden gaan er vaak van uit dat de trainingslabels perfect zijn. In de praktijk zijn LiDAR-annotaties vaak onvolmaakt (noisy) door:

• Sensorenfouten en occlusies.
• Menselijke fouten bij het labelen van dichte en onregelmatige puntwolken.
• De versterking van deze fouten onder domeinverschuivingen (domain shifts).

Bestaande methoden voor het leren met ruisachtige labels (noisy-label learning) zijn voornamelijk ontwikkeld voor 2D-beelden en zijn niet direct toepasbaar op 3D-puntwolken vanwege deren specifieke structuur (spaars, onregelmatig, zonder vaste volgorde). Er ontbreekt een gestandaardiseerde benchmark en effectieve methoden voor Single Domain Generalization voor LiDAR Semantic Segmentation onder ruisachtige labels (DGLSS-NL).

Methodologie: DuNe

De auteurs stellen DuNe (Dual-view framework for learning with Noisy labels in 3D point clouds) voor. Dit is een dubbel-zicht (dual-view) framework dat specifiek is ontworpen om zowel labelruis als domeinverschuivingen aan te pakken.

1. Data Augmentatie en Dual-View Architectuur:
Elke LiDAR-scan wordt verwerkt via twee takken:

• Sterke weergave (Strong View): Genereerd met PolarMix, een strategie die scènes op niveau wisselt en objecten roteert en plakt. Dit creëert een rijkere, maar potentieel meer ruisgevoelige weergave met meer punten.
• Zwakke weergave (Weak View): Behoudt de structurele integriteit van de originele scan met minder augmentaties.
• Beide weergaven ondergaan verder sparsity augmentation (het verwijderen van rijen in de range view) om variaties in sensordichtheid te simuleren.

2. Loss Functies en Supervisie:
Het framework combineert twee hoofdcomponenten voor robuustheid:

• DGLSS Module (Consistentie):
  • Sparsity-Invariant Feature Consistency (SIFC): Dwingt consistentie af tussen features van scans met verschillende dichtheden.
  • Semantic Correlation Consistency (SCC): Handhaaft stabiele relaties tussen klassen-prototypes over verschillende domeinen.
• NPN Module (Ruisbestendigheid):
  • Gebruikt Partial Label Learning (PLL) en Negative Learning (NL). In plaats van te vertrouwen op één mogelijk fout label, wordt een "kandidaat-labelset" gegenereerd. Het model wordt gestraft voor het voorspellen van complementaire klassen (klassen die zeker niet het juiste label zijn) en gestimuleerd om binnen de kandidaatset te blijven.
  • Er wordt gebruikgemaakt van confidence-aware filtering: alleen voorspellingen met voldoende vertrouwen worden gebruikt voor het bijwerken van de kandidaatsets.

3. Training en Inference:
Tijdens training worden beide takken gebruikt met consistentieverlies om features uit te lijnen. Tijdens inferentie wordt alleen de sterke tak gebruikt voor efficiëntie, maar het model heeft door de training al robuuste features geleerd.

Belangrijkste Bijdragen

1. DGLSS-NL Benchmark: De eerste gestandaardiseerde benchmark voor single-source LiDAR segmentatie onder gecontroleerde symmetrische labelruis. De auteurs hebben drie representatieve methoden uit de 2D-wereld (TCL, DISC, NPN) succesvol overgebracht naar 3D-puntwolken als baselines.
2. Diagnostische inzichten: Een analyse toont aan dat directe overdracht van 2D-methoden naar 3D vaak faalt vanwege de unieke eigenschappen van puntwolken (bijv. kosten van clustering voor schone steekproefselectie).
3. DuNe Framework: Een nieuw dubbel-zicht framework dat geometrie-bewuste augmentatie combineert met ruisbewuste supervisie. Het lost het probleem op van onbetrouwbare labels en domeinverschuivingen tegelijkertijd.

Resultaten

De prestaties zijn getest op drie datasets: SemanticKITTI (bron), nuScenes en SemanticPOSS (doel). De evaluatie omvatte ruisniveaus van 10%, 20% en 50%.

• Superieure Prestaties: DuNe behaalde state-of-the-art resultaten. Bij 10% ruis (symmetrisch) behaalde het:
  • 56.86% mIoU op SemanticKITTI.
  • 42.28% mIoU op nuScenes.
  • 52.58% mIoU op SemanticPOSS.
  • Een Arithmetic Mean (AM) van 49.57% en een Harmonic Mean (HM) van 48.50%.
• Vergelijking met Baselines:
  • Bestaande methoden (TCL, DISC, NPN) presteerden aanzienlijk slechter of faalden volledig bij hoge ruisniveaus.
  • Bij 50% ruis zakte de prestatie van de standaard DGLSS-baseline naar ~9-10% mIoU, terwijl DuNe nog steeds ~43-52% haalde.
• Ablatie-studies: Toonden aan dat de combinatie van PolarMix (geometrische diversiteit) en NPN (ruisbestendige supervisie) complementair is. De consistentie tussen de sterke en zwakke takken is essentieel voor het behalen van hoge generalisatie.

Betekenis en Impact

Dit werk is van groot belang voor de ontwikkeling van veilige autonome systemen:

1. Realisme: Het erkent en adresseert het probleem dat annotaties in de echte wereld zelden perfect zijn, wat een kritieke beperking is voor huidige AI-modellen.
2. Robuustheid: Het bewijst dat het mogelijk is om modellen te trainen die niet alleen bestand zijn tegen fouten in de trainingsdata, maar ook goed generaliseren naar nieuwe, onbekende omgevingen.
3. Richting voor Toekomstig Onderzoek: De geïntroduceerde benchmark en het DuNe-framework bieden een solide basis voor verdere research in robuuste 3D-perceptie, wat essentieel is voor de bredere adoptie van autonoom rijden in diverse wereldwijde omstandigheden.

Kortom, DuNe lost een fundamenteel gat op in de literatuur door 3D-segmentatie robuust te maken tegen zowel domeinverschuivingen als imperfecte data, zonder de noodzaak van dure her-annotatie.