CO^3: Cooperative Unsupervised 3D Representation Learning for Autonomous Driving

Dit artikel introduceert CO³, een nieuwe methode voor onbewaakt 3D-representatieleren in buitenomgevingen die gebruikmaakt van cooperatief contrastief leren tussen voertuig- en infrastructuur-LiDAR-data en contextuele vormvoorspelling om state-of-the-art prestaties te bereiken op datasets zoals Once en KITTI.

De kern

Stel je voor dat je een auto bestuurt die zichzelf kan rijden. Om veilig te zijn, moet deze auto de wereld om zich heen perfect begrijpen: waar zijn de andere auto's, waar lopen de voetgangers, en hoe ziet de weg eruit? De "ogen" van deze auto zijn meestal LiDAR-sensoren, die duizenden kleine punten (een puntwolk) uitzenden om een 3D-afbeelding van de omgeving te maken.

Het probleem is dat het trainen van een computer om deze punten te begrijpen, normaal gesproken heel veel tijd en geld kost. Je hebt duizenden voorbeelden nodig waar mensen handmatig hebben aangegeven: "Dat is een auto," "Dat is een boom."

De auteurs van dit paper, CO3, hebben een slimme manier bedacht om deze auto's te leren zonder die dure handmatige labels. Ze gebruiken een methode die we onbewaakt leren noemen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Eenzame" Auto

Vroeger probeerden computerwetenschappers auto's te leren door ze te laten kijken naar verschillende versies van hetzelfde plaatje (bijvoorbeeld een foto die is gedraaid of gekleurd).

• Binnenin een huis werkt dit goed. Als je naar een bank kijkt en dan een beetje naar links loopt, zie je nog steeds dezelfde bank, maar vanuit een andere hoek. De computer kan leren dat "dit is een bank".
• Buiten op de weg is dit heel lastig. De wereld beweegt! Auto's rijden weg, voetgangers lopen, en de sensor van de auto beweegt mee. Als je een foto maakt en 10 seconden later nog een, is de situatie compleet anders. De computer kan niet zeggen: "Oh, dat is dezelfde auto," omdat hij niet weet hoe die auto is bewogen.

2. De Oplossing: Een "Twee-oog" Systeem (Coöperatief Leren)

De auteurs hebben een slimme truc bedacht. In plaats van dat de auto alleen kijkt, gebruiken ze een samenwerking tussen de auto en de infrastructuur (zoals verkeerslichten of camera's op gebouwen).

• De Analogie: Stel je voor dat je en je vriendje op een drukke markt staan. Jij kijkt naar een kraam, en je vriendje staat op een verhoging 10 meter verderop en kijkt ook naar diezelfde kraam.
  • Jij ziet de kraam van voren.
  • Je vriendje ziet de kraam van schuin achteren.
  • Jullie kijken op exact hetzelfde moment naar dezelfde kraam.

In de paper noemen ze dit Coöperatief Contrastief Leren.

• De auto heeft zijn eigen sensoren (de "vooraanzicht").
• De infrastructuur (bijv. een camera op een paal) heeft zijn eigen sensoren (het "zijaanzicht").
• Omdat ze op hetzelfde moment kijken, weten ze dat ze naar hetzelfde object kijken, ook al zien ze het heel anders. De computer leert hierdoor: "Ah, dit punt hier en dat punt daar horen bij hetzelfde object!"

Dit is veel beter dan proberen te raden hoe objecten bewegen in de tijd.

3. De Extra Truc: Het "Puzzelstukje" Voorspellen

Alleen kijken naar twee verschillende hoeken is goed, maar niet genoeg. De computer moet ook begrijpen wat het object is, niet alleen waar het is.

• De Analogie: Stel je voor dat je een stukje van een puzzel vasthoudt. Je kunt alleen kijken naar de vorm van dat stukje en proberen te raden: "Wat voor soort stukje is dit? Past dit bij een boom of bij een auto?"
• De auteurs laten de computer een lokale vorm voorspellen. Als de computer een punt ziet, moet hij voorspellen: "Wat voor soort punten zitten er direct om dit punt heen? Is het een dichte kluit (zoals een auto) of een dunne lijn (zoals een boom)?"

Dit helpt de computer om de "vibe" of het patroon van objecten te begrijpen, wat essentieel is om ze later te herkennen.

4. Het Resultaat: Een Super-Intelligente Auto

Door deze twee methoden te combineren (samenkijken vanuit twee hoeken + lokale vormen voorspellen), leert de computer een heel sterk "gevoel" voor 3D-ruimte.

• Het bewijs: Toen ze deze "voorgeleerde" computer gebruikten op verschillende datasets (zoals de ONCE-dataset, KITTI en NuScenes), presteerde hij veel beter dan auto's die vanaf nul moesten beginnen.
• De winst: De auto's konden objecten beter detecteren (zoals voetgangers en fietsers) en de weg beter begrijpen, zelfs als ze trainden op data van sensoren die heel anders waren dan de sensoren waar ze mee getraind waren.

Samenvattend

Stel je voor dat je een kind leert rijden.

1. Oude methode: Je geeft het kind duizenden foto's met labels: "Dit is een auto."
2. CO3-methode: Je zet het kind in een auto en laat het kijken naar de wereld, terwijl een vriendje op een toren ook naar dezelfde wereld kijkt. Jullie bespreken samen wat jullie zien ("Kijk, daar is die rode auto, jij ziet hem van voren, ik van achteren"). Tegelijkertijd vraag je het kind: "Wat voor vorm heeft de grond onder die auto?"

Dit maakt het kind (de computer) veel slimmer en sneller klaar om veilig op de weg te rijden, zonder dat je duizenden labels hoeft te schrijven. Het is een stap in de richting van zelfrijdende auto's die echt begrijpen wat er om hen heen gebeurt.

Technische samenvatting

Probleemstelling

Ongecontroleerd (unsupervised) contrastief leren voor 3D-puntwolkrepresentaties heeft al grote successen geboekt in indoor-scènes. Bestaande methoden (zoals PointContrast) bouwen verschillende "views" (weergaven) van een scène door de volledige scène te reconstrueren en punten vanuit verschillende posities te selecteren. Dit werkt omdat de omgeving statisch is en objecten (zoals meubels) consistent blijven.

Echter, voor outdoor-scènes (autonoom rijden) is deze aanpak niet haalbaar vanwege:

1. Dynamische omgevingen: Voertuigen en voetgangers bewegen, waardoor het moeilijk is om juiste correspondenties te vinden tussen views op verschillende tijdstippen.
2. Schaal: Het is onmogelijk om de volledige outdoor-scan te reconstrueren voor contrastief leren.
3. Beperkingen van bestaande methoden:
   • Data-augmentatie op één frame: Resulteert in views die te veel op elkaar lijken (te hoge wederzijdse informatie), omdat augmentaties (rotatie, schaling) vaak lineair zijn.
   • Views op verschillende tijdstippen: Door bewegende objecten is de wederzijdse informatie te laag, wat het leren van semantische representaties belemmert.
   • Transferprobleem: Bestaande pre-trained encoders werken vaak slecht wanneer ze worden overgebracht naar datasets die zijn verzameld met verschillende LiDAR-sensoren.

Het doel is dus een methode te vinden die generaliseerbare 3D-representaties leert voor outdoor-scènes, ongeacht de sensor of downstream taak, zonder gebruik te maken van gelabelde data.

---

Methodologie: CO3

De auteurs stellen CO3 (Cooperative Contrastive Learning and Contextual Shape Prediction) voor. Deze methode maakt gebruik van een voertuig-infrastructuur-samenwerkingsdataset (DAIR-V2X), waarbij LiDAR-data gelijktijdig wordt opgenomen door zowel een voertuig als een vaste infrastructuur (bijv. een lantaarnpaal).

De methode bestaat uit twee hoofdcomponenten:

1. Cooperatieve Contrastieve Lering (Cooperative Contrastive Learning)

In plaats van augmentaties of tijdsverschillen te gebruiken, gebruikt CO3 de natuurlijke perspectiefverschillen tussen het voertuig en de infrastructuur als views.

• Views:
  • View 1: Het puntwolk van het voertuig ($P_v$).
  • View 2: Een "fusie" puntwolk ($P_f$) die bestaat uit het voertuigpuntwolk gecombineerd met het getransformeerde infrastructuurpuntwolk ($P'_i$).
• Voordeel: Deze views zijn op hetzelfde tijdstip opgenomen (dezelfde semantiek) maar vanuit zeer verschillende posities (groot verschil in perspectief). Dit creëert de ideale balans voor contrastief leren: voldoende gemeenschappelijke betekenis, maar voldoende verschil.
• Implementatie: Een 3D-backbone (Sparse Convolution) encodeert beide views. Een contrastieve loss (vergelijkbaar met BYOL/InfoNCE) wordt toegepast om de representaties van corresponderende punten (of voxels) tussen de twee views dicht bij elkaar te brengen, terwijl niet-corresponderende punten worden weggeduwd. Grondpunten (ground points) worden gefilterd omdat ze weinig perceptieve waarde hebben.

2. Contextuele Vormvoorspelling (Contextual Shape Prediction)

Pure contrastieve lering leert vaak representaties die "minimaal voldoende" zijn, maar missen taakgerelateerde informatie (zoals lokale structuur). Om dit op te lossen, introduceert CO3 een extra pretext-taak:

• Doel: Het voorspellen van de lokale verdeling van punten rondom een voxel/punt.
• Mechanisme:
  • De omgeving van een punt wordt verdeeld in bins (een "Shape Context").
  • De encoder moet in plaats van het exacte aantal punten (wat lastig te regressen is), de kansverdeling van punten in deze bins voorspellen.
  • Dit wordt gedaan via een MLP en een Kullback-Leibler (KL) divergentie loss tussen de voorspelde verdeling en de "ground truth" verdeling (gebaseerd op de coördinaten van de fusie-puntwolk).
• Theoretische onderbouwing: Door deze reconstructie-taak te combineren met contrastief leren, wordt de wederzijdse informatie tussen de representatie en de input vergroot, wat zorgt voor meer taakrelevante informatie voor downstream taken.

Totale Loss Functie:
$$L = L_{CO2} + w \times L_{CSP}$$
Waarbij $L_{CO2}$ de cooperatieve contrastieve loss is en $L_{CSP}$ de loss voor contextuele vormvoorspelling.

---

Belangrijkste Bijdragen

1. Nieuwe View-Constructie: CO3 is de eerste methode die voertuig-infrastructuur-samenwerkingsdata gebruikt om views te bouwen voor ongecontroleerd 3D-leren. Dit overbrugt de kloof tussen statische indoor-scènes en dynamische outdoor-scènes.
2. Hybride Pre-training Doel: De combinatie van contrastief leren met contextuele vormvoorspelling zorgt voor representaties die zowel robuust zijn (door contrast) als rijk aan semantische/lokale structuurinformatie (door vormvoorspelling).
3. Sensor-onafhankelijke Generalisatie: De geleerde representaties zijn zo algemeen dat ze succesvol kunnen worden overgebracht naar datasets die zijn verzameld met volledig verschillende LiDAR-sensoren (bijv. van 40-stralen naar 64-stralen of 120-stralen).
4. State-of-the-Art Resultaten: De methode verbetert de prestaties aanzienlijk op bestaande benchmarks zonder extra gelabelde data te gebruiken tijdens de pre-training.

---

Resultaten

De auteurs hebben CO3 getest op drie grote datasets (Once, KITTI, NuScenes) voor twee taken: 3D Object Detectie en LiDAR Semantische Segmentatie.

• 3D Object Detectie (Once Dataset):

  • CO3 verbetert de prestaties van de CenterPoint detector met 2.58 mAP ten opzichte van training vanaf scratch (random initialization).
  • Het verbetert ook Second (+1.07 mAP) en PV-RCNN (+0.61 mAP).
  • In vergelijking met andere pre-training methoden (zoals STRL, ProposalContrast), levert CO3 consistente verbeteringen op voor alle architecturen, terwijl andere methoden soms zelfs prestatie-verlies veroorzaken bij specifieke modellen.

• 3D Object Detectie (KITTI Dataset):

  • Consistente verbeteringen op alle moeilijkheidsgraden (Easy, Moderate, Hard). Bijvoorbeeld, Second verbetert met +1.22 mAP op de 'Moderate' moeilijkheidsgraad.

• LiDAR Semantische Segmentatie (NuScenes Dataset):

  • Bij gebruik met de Cylinder3D architectuur, verbetert CO3 de mIoU (mean Intersection over Union) met 3.54 punten ten opzichte van random initialisatie.
  • Er zijn significante verbeteringen bij specifieke categorieën zoals vrachtwagens en bouwmachines, wat cruciaal is voor veilig autonoom rijden.

• Vergelijking met Supervised Pre-training:

  • Zelfs wanneer een model is voorgeïmplementeerd met gelabelde data van de DAIR-V2X dataset (supervised pre-training), presteert CO3 (ongeacht) beter op de downstream taken. Dit wijst erop dat CO3 beter generaliseert en minder overfit op de specifieke dataset.

---

Betekenis en Conclusie

CO3 markeert een belangrijke doorbraak in het veld van 3D-puntwolkverwerking voor autonoom rijden.

• Oplossing voor Dynamiek: Het biedt een elegante oplossing voor het probleem van dynamische outdoor-scènes door gebruik te maken van multi-view data van samenwerking (V2X) in plaats van tijdsverschillen.
• Efficiëntie: Het elimineert de noodzaak voor enorme hoeveelheden gelabelde data voor pre-training, wat een grote kostenbesparing betekent in de industrie.
• Toekomstperspectief: De resultaten suggereren dat grootschalige ongelabelde V2X-datasets in de toekomst een goudmijn kunnen zijn voor het trainen van robuuste, sensor-onafhankelijke 3D-vision systemen. De methode bevordert het begrip van LiDAR-puntwolken in complexe, dynamische omgevingen en zet de standaard voor toekomstige ongecontroleerde 3D-leermethodes.