Faster Training, Fewer Labels: Self-Supervised Pretraining for Fine-Grained BEV Segmentation

Dit artikel introduceert een tweefasige trainingsstrategie die zelftoezichtende vooropleiding gebruikt om fijnkorrelige BEV-segmentatie voor autonoom rijden te verbeteren, waardoor de behoefte aan gelabelde data met 50% wordt verlaagd en de totale trainingstijd met twee derde wordt verkort terwijl de prestaties ten opzichte van volledig toezichtbare basismodellen worden verbeterd.

De kern

Stel je voor dat je een zelfrijdende auto wilt bouwen. Om veilig te rijden, moet de auto een perfecte "vogelperspectief" (Bird's Eye View of BEV) van de weg hebben. Denk hierbij aan een digitale kaart die precies laat zien waar de rijbanen, oversteekplaatsen en randen liggen, alsof je vanuit een helikopter naar beneden kijkt.

Het probleem? Het maken van deze kaartjes is extreem duur en lastig. Mensen moeten handmatig elke lijn en elk streepje op de weg in de video's van de auto tekenen. Het is alsof je duizenden mensen moet inhuren om urenlang te tekenen op een scherm voordat de auto überhaupt kan leren rijden.

De auteurs van dit artikel hebben een slimme truc bedacht: "Eerst oefenen met een oefenboek, dan pas de echte examen doen."

Hier is hoe hun methode werkt, vertaald naar alledaagse taal:

1. De Oefenfase: "De Kunst van het Spiegelen"

In plaats van de auto direct te laten leren met die dure, handgetekende kaartjes, laten ze de auto eerst oefenen met iets dat al bestaat: fotografie.

• De Analogie: Stel je voor dat je een kind wilt leren hoe een stad eruitziet. In plaats van dat je het kind een gedetailleerde plattegrond geeft (wat duur is), laat je het kind eerst kijken naar foto's van de stad en vragen: "Zie je hier een zebrapad? Zie je hier een stoplijn?"
• Hoe het werkt: De auto kijkt naar de beelden van zijn camera's. Een slimme AI (die we "Mask2Former" noemen) tekent automatisch lijnen op die foto's. De auto leert dan: "Als ik dit zie op de foto, moet ik hier een lijn tekenen op mijn digitale kaart."
• De Magische Spiegel: De auto probeert zijn digitale kaart om te draaien en terug te projecteren op de foto. Als de lijn op de kaart niet overeenkomt met de lijn op de foto, krijgt hij een "niet goed"-melding. Zo leert hij de basis van de weg zonder dat iemand handmatig de kaart heeft getekend.

2. De Tijds-Truc: "Geen Vergeten Herinneringen"

Soms is een rijbaan op een foto bedekt door een ander voertuig (een auto of bus). Als de auto alleen naar die ene foto kijkt, denkt hij misschien: "Er is hier geen weg."

• De Analogie: Stel je voor dat je door een bos loopt en een pad wordt geblokkeerd door een boom. Als je even later een stap terugdoet, zie je het pad weer. De auto doet hetzelfde: hij kijkt niet alleen naar het nu, maar ook naar wat hij een fractie van een seconde geleden zag.
• Het Resultaat: Door te kijken naar het verleden, kan de auto "invullen" wat er nu verborgen is. Dit heet temporale consistentie. Het zorgt ervoor dat de auto niet in paniek raakt als een lijn even verdwijnt.

3. De Finale: "De Korte Examenfase"

Na deze oefenfase is de auto al heel goed in het begrijpen van de wegstructuur. Hij heeft een sterke "intuïtie" ontwikkeld.

• De Analogie: Normaal gesproken moet een student 100 uur studeren met de perfecte antwoorden om het examen te halen. Met deze methode heeft de student al 70 uur geoefend met de "oefenboekjes" (de foto's). Nu hoeft hij alleen nog maar 30 uur te studeren met de echte antwoorden om perfect te worden.
• Het Resultaat: De auteurs hebben bewezen dat ze 50% minder handgetekende kaartjes nodig hebben en 2/3 minder tijd besteden aan het trainen, terwijl de auto zelfs beter presteert dan de auto's die alles met de dure methode hebben geleerd.

Waarom is dit zo belangrijk?

Voorheen was het maken van zelfrijdende auto's als het bouwen van een kasteel: je moest elke steen handmatig en perfect plaatsen. Dit nieuwe systeem is alsof je eerst een stevig fundament giet met goedkope materialen (de foto's) en daarna alleen nog de mooiste tegels legt (de dure kaartjes).

Samengevat in één zin:
Ze hebben een manier gevonden om zelfrijdende auto's te laten leren door naar foto's te kijken in plaats van naar dure handgetekende kaarten, waardoor ze sneller leren, minder geld kosten en zelfs slimmer worden.

Technische samenvatting

Probleemstelling

Dichte Bird's Eye View (BEV) semantische kaarten zijn essentieel voor autonome rijsystemen, omdat ze een geünificeerd overzicht bieden van de wegindeling, dynamische objecten en scenesemantiek. Huidige methoden voor het genereren van deze kaarten uit meercamera-beelden zijn echter sterk afhankelijk van supervised learning met handmatig gelabelde BEV-ground truth.
Deze ground truth heeft drie grote nadelen:

1. Hoge kosten: Het is duur en tijdrovend om dichte BEV-labels te produceren.
2. Onderhoud: Labels zijn moeilijk consistent te houden over grote gebieden.
3. Inconsistentie: Er zijn vaak verschillen in annotatiestijlen tussen verschillende datasets, wat de schaalbaarheid en generalisatie naar nieuwe omgevingen beperkt.
   Specifiek voor fijne structuren zoals wegmarkeringen (baanscheidingen, kruispunten) is de afhankelijkheid van dichte BEV-supervisie een knelpunt dat de adoptie van deze technologie vertraagt.

Methodologie

De auteurs stellen een tweefasige trainingsstrategie voor die de afhankelijkheid van volledige supervisie tijdens het pre-training stadium elimineert en de hoeveelheid benodigde data tijdens het fine-tuning stadium halveert. De kernarchitectuur is gebaseerd op BEVFormer, maar wordt uitgebreid met een zelftoezicht (self-supervised) mechanisme.

1. Zelftoezicht Pre-training (Self-Supervised Pretraining):
In plaats van te trainen op kostbare BEV-ground truth, wordt het volgende proces gebruikt:

• Reprojectie: De door het model voorspelde BEV-segmentatiemap ($Pred_{bev}$) wordt differentiabel (differentiable) gereprojecteerd terug naar het beeldvlak (camera-perspectief).
• Pseudo-labels: In het beeldvlak worden deze projecties vergeleken met semantische pseudo-labels ($GT_{cp}$) die gegenereerd zijn door een reeds getraind 2D-segmentatiemodel (Mask2Former). Deze pseudo-labels zijn gegenereerd op basis van de Mapillary Vistas dataset en omvatten wegmarkeringen en objecten.
• Verliesfunctie: Er wordt een 2D-reconstructieverlies (cross-entropy) toegepast tussen de gereprojecteerde voorspelling en de pseudo-ground truth. Omdat dit in het 2D-beeldvlak gebeurt, is de projectie wiskundig goed gedefinieerd en kan er gebruik worden gemaakt van bestaande 2D-modellen.
• Temporele consistentie: Een extra temporeel verlies wordt geïntroduceerd. Het model wordt gedwongen om consistentie te behouden tussen opeenvolgende frames. Hierbij wordt de ego-beweging gecompenseerd om te voorspellen hoe de BEV-map er in het vorige tijdstip ($t-1$) had moeten uitzien. Dit helpt bij het oplossen van occlusies (verduisteringen) die in het huidige frame zichtbaar zijn, maar in het verleden wel zichtbaar waren.

2. Supervised Fine-tuning:
Na de pre-training wordt het model gefine-tuned op de standaard nuScenes BEV-ground truth.

• Data-reductie: Cruciaal is dat dit stadium slechts 50% van het oorspronkelijke trainingsdataset vereist.
• Efficiëntie: Door de rijke priors (voorafgaande kennis) die tijdens de pre-training zijn geleerd, convergeert het model veel sneller en presteert het beter dan een model dat vanaf nul begint.

Belangrijkste Bijdragen

1. Nieuw Zelftoezicht Framework: Een pre-training framework voor BEV-segmentatie dat geen BEV-ground truth vereist, maar in plaats daarvan gebruikmaakt van reprojectie naar het camera-perspectief.
2. Differentieerbare Renderingspijplijn: Een module die BEV-voorspellingen terugprojecteert naar de beeldruimte voor supervisie, wat end-to-end optimalisatie mogelijk maakt.
3. Temporeel Verlies: Een mechanisme dat consistentie over frames afdwingt, wat de robuustheid tegenover occlusies verbetert.
4. Tweefasige Strategie: Een combinatie van zelftoezicht pre-training en kant-en-klaar supervised fine-tuning die een directe vergelijking met volledig supervised trainingen mogelijk maakt.
5. Schaalbaarheid: Het bewijs dat deze aanpak de prestaties verbetert terwijl de benodigde annotatie-data en trainingstijd aanzienlijk worden gereduceerd.

Resultaten

De experimenten zijn uitgevoerd op de nuScenes dataset, met een focus op drie klassen van wegmarkeringen: randen van de weg, baanscheidingen en voetgangersoversteekplaatsen.

• Prestatieverbetering: De tweefasige methode overtreft de volledig supervised baseline met +2,5 pp (percentage points) mIoU (mean Intersection over Union).
• Data-efficiëntie: De methode halveert de behoefte aan BEV-ground truth labels (alleen 50% van de dataset nodig voor fine-tuning).
• Trainingstijd: De totale trainingstijd kan met tot twee derde worden gereduceerd. Zelfs met slechts 3 epochs pre-training (en 1/3 van de totale trainingstijd van de baseline) wordt de baseline al overtroffen (+1,4 pp mIoU).
• Ablatie Studies:
  • Het toevoegen van temporeel verlies tijdens pre-training verbetert de prestaties licht (+0,7 pp mIoU), vooral bij kruispunten waar blindvlekken een rol spelen.
  • De beste resultaten worden behaald met ongeveer 22 epochs pre-training, wat leidt tot een mIoU60 van 23,5 pp.
  • De pre-training leert de geometrische projectie en feature lifting, waardoor de fine-tuning zich kan focussen op het afstemmen van de labels in plaats van ruimtelijke redenering.

Betekenis en Conclusie

Dit paper biedt een schalibare route naar autonome perceptie met minder labels. Het demonstreert dat het differentiabel reprojecteren van BEV-voorspellingen naar het camera-perspectief, gecombineerd met hoogwaardige 2D pseudo-labels, leidt tot overdraagbare BEV-features.

De belangrijkste implicaties zijn:

• Kosteneffectiviteit: De hoge kosten voor het handmatig labelen van dichte BEV-kaarten worden drastisch verlaagd.
• Snelheid: Trainingstijden worden verkort, wat snellere iteraties in de ontwikkeling van autonome systemen mogelijk maakt.
• Kwaliteit: Ondanks het gebruik van minder data en pseudo-labels, wordt de uiteindelijke segmentatiekwaliteit verbeterd, wat essentieel is voor veilige planning en controle in autonome voertuigen.

De auteurs merken op dat er nog uitdagingen zijn, zoals het oplossen van inconsistenties tussen de pseudo-labels en de evaluatie-ground truth (bijv. bij kruispunten) en het vermijden van overmatige gladmaking van details door het temporele verlies, maar de methode vormt een sterke basis voor toekomstige ontwikkelingen.