Improved Single Camera BEV Perception Using Multi-Camera Training

Dit paper presenteert een methode om de prestaties van single-camera BEV-perceptie voor autonoom rijden te verbeteren door tijdens het trainingstadium gebruik te maken van een meercamera-omgeving met geavanceerde masking, een cyclische leerplansnelheid en een feature-reconstructieverlies, waardoor hallucinaties worden verminderd en de kaartkwaliteit toeneemt ten opzichte van modellen die uitsluitend met één of zes camera's zijn getraind.

De kern

Hoe een auto met één camera toch een "rondomzicht" krijgt: Een simpel verhaal

Stel je voor dat je een auto rijdt die zichzelf bestuurt. Om veilig te zijn, moet de auto precies weten wat er om hem heen gebeurt: waar de andere auto's zijn, waar de weg loopt en waar de voetgangers lopen. Dit noemen we een "Bird's Eye View" (een vogelperspectief), alsof je vanuit een helikopter naar de weg kijkt.

Meestal gebruiken slimme auto's hiervoor zes camera's (voor, achter en aan de zijkanten) om een compleet 360-graden beeld te krijgen. Maar in de echte wereld, als je een auto in een fabriek bouwt, wil je geld besparen. Je wilt niet zes dure camera's kopen, maar misschien wel één goede camera vooraan.

Het probleem:
Als je een slimme computer (een AI) traint met zes camera's, maar hem later alleen maar één camera geeft, raakt hij in de war. Het is alsof je iemand traint om een heel huis te schilderen, maar hem daarna alleen maar de woonkamer laat zien. Hij weet niet meer hoe de slaapkamer eruitziet en begint dingen te hallucineren (hij ziet dingen die er niet zijn, of mist dingen die er wel zijn).

De oplossing van deze onderzoekers:
De onderzoekers van deze paper hebben een slimme truc bedacht om een model dat getraind is met zes camera's, toch goed te laten werken met slechts één camera. Ze noemen hun methode een soort "trainings-cursus" met drie speciale oefeningen:

1. De "Verblindings-oefening" (Masking)

Stel je voor dat je een student traint om een landschap te tekenen.

• Normaal: Je laat hem het hele landschap zien met zes camera's.
• De truc: Tijdens het trainen bedekken ze langzaam de camera's aan de zijkanten en achterkant met een zwart doek (een masker). Eerst bedekken ze een klein stukje, dan een groter stukje, tot er uiteindelijk alleen nog maar de voorkant zichtbaar is.
• Het doel: De student (de AI) moet nu leren om de rest van het landschap te voorspellen op basis van wat hij nog wel ziet en wat hij uit het verleden (de vorige beelden) weet. Hij leert zo om niet in paniek te raken als hij minder informatie krijgt.

2. De "Leer-snelheid" (Cyclic Learning Rate)

Wanneer je de camera's afdekt, verandert de "voeding" van de AI. Het is alsof je een atleet eerst laat rennen op een vlakke weg en hem dan plotseling op een steile berg laat lopen. Als je de trainingssnelheid niet aanpast, valt hij.

• De truc: Ze passen het tempo van het leren aan. Als de AI een nieuwe, moeilijke situatie krijgt (meer camera's bedekt), geven ze hem even een snellere "sprint" om zich aan te passen. Daarna vertragen ze het tempo weer zodat hij de details kan perfectioneren. Dit zorgt ervoor dat hij niet vastloopt tijdens de overgang.

3. De "Spiegel-oefening" (Feature Reconstruction Loss)

Dit is misschien wel het slimste deel.

• De truc: De AI krijgt twee keer dezelfde foto te zien.
  1. Eerst ziet hij de volledige foto met alle zes camera's. Hij onthoudt hoe het landschap eruitzag.
  2. Dan ziet hij dezelfde foto, maar nu met de zijkanten bedekt (alsof hij maar één camera heeft).
• De opdracht: De AI moet proberen om, puur op basis van de voorkant, het beeld van de zijkanten te reconstrueren (opnieuw te maken) dat zo dicht mogelijk bij de originele, volledige foto ligt.
• Het resultaat: Hij leert niet alleen om te kijken, maar ook om te denken en te voorspellen wat erachter zit, net zoals een ervaren chauffeur die weet dat er achter een hoek een straat komt, ook al ziet hij die nog niet.

Wat levert dit op?
De resultaten zijn indrukwekkend. De auto met deze nieuwe methode doet het veel beter dan een auto die alleen met één camera is getraind.

• Minder hallucinaties: Hij ziet minder dingen die er niet zijn (zoals een geestauto die plotseling opduikt).
• Beter zicht: Hij kan zelfs details voorspellen die net buiten zijn zichtveld liggen, zoals een hoek van een straat of een voetganger die net om een hoekje komt.
• Kostenbesparing: Auto's hoeven in de toekomst misschien maar één camera te hebben, terwijl ze toch net zo veilig rijden als auto's met zes camera's.

Kortom:
Ze hebben een manier gevonden om een AI te trainen alsof hij een "rondomzicht" heeft, zodat hij later tevreden kan zijn met slechts één camera. Het is alsof je iemand traint om een raadsel op te lossen door eerst het hele plaatje te laten zien, en hem dan te dwingen om de ontbrekende stukjes zelf in te vullen. Zo wordt de auto slimmer, veiliger en goedkoper.

Technische samenvatting

Probleemstelling

Voorspelling van Bird's Eye View (BEV) kaarten is cruciaal voor downstream taken in autonoom rijden, zoals trajectvoorspelling. Bestaande state-of-the-art methoden vereisen doorgaans een complexe sensorconfiguratie met meerdere camera's (een 360-graden rondzicht) voor zowel training als inferentie om de omgeving volledig waar te nemen. Echter, voor massaproductie van voertuigen is kostenefficiëntie een kritieke factor. De meeste productievoertuigen hebben slechts één voorste camera, terwijl het toevoegen van extra camera's de kosten aanzienlijk verhoogt.

Het gebruik van slechts één camera leidt echter tot een significante prestatiedaling en een toename van "hallucinaties" (valse detecties) in gebieden die niet door de camera worden gezien, vergeleken met systemen die gebruikmaken van een rondzicht. Het doel van dit onderzoek is om een BEV-perceptiemodel te ontwikkelen dat tijdens de inferentie slechts één camera gebruikt, maar tijdens de training profiteert van de informatie van een meercamera-rondzicht, zodat de prestatiedaling wordt geminimaliseerd.

Methodologie

De auteurs baseren hun aanpak op het moderne BEVFormer-model (gebaseerd op Vision Transformers en ResNet50), maar passen drie specifieke technieken toe om de overgang van een zes-camera training naar een één-camera inferentie te faciliteren:

1. Inverse Block Masking (Stapsgewijze verduistering):

   • Tijdens het trainingstraject wordt de invoer van de vijf niet-voorwaartse camera's geleidelijk gemaskeerd (verduisterd) tot alleen de voorste camera overblijft.
   • Dit gebeurt in stappen over de trainingsepochen. Het maskeringspercentage wordt stapsgewijs verhoogd (bijv. met 20% stappen) tot 100% masking van de zij- en achtercamera's.
   • Om het model te dwingen context uit zichtbare gebieden te halen, wordt gebruikgemaakt van een Gaussische verdeling rond het gemiddelde maskeringspercentage.
   • GT-filtering: Ground Truth (GT) bounding boxes die volledig in de gemaskeerde (onzichtbare) gebieden liggen, worden genegeerd in de loss-berekening om te voorkomen dat het model probeert objecten te voorspellen die het niet kan zien.

2. Cyclische Learning Rate (LR) Schedule:

   • Omdat de data-distributie verandert naarmate het maskeringspercentage toeneert (van zes camera's naar één), wordt de standaard cosine annealing LR vervangen door een cyclische LR-schedule.
   • Aan het begin van elke cyclus is de learning rate hoog om het model in staat te stellen te reageren op de nieuwe data-distributie. Gedurende de cyclus neemt de LR af voor fijnafstelling. Dit helpt het model om soepel over te schakelen tussen de verschillende invoercondities.

3. BEV Feature Reconstruction Loss:

   • Elk trainingsvoorbeeld wordt twee keer door het netwerk gevoerd:
     1. Eerst zonder masking (volledige zes-camera invoer).
     2. Vervolgens met masking (alleen de voorste camera).
   • Er wordt een L2-loss berekend tussen de BEV-feature embeddings van de gemaskeerde invoer en de niet-gemaskeerde invoer.
   • Dit dwingt het model om de BEV-features die uit de gemaskeerde invoer worden gegenereerd, zo dicht mogelijk bij de features van de volledige omgeving te houden. Het model leert hierdoor om informatie over "blinde vlekken" te reconstrueren op basis van temporale informatie (geschiedenis) en zichtbare context.

Belangrijkste Bijdragen

• Hybride Trainingstrategie: Een innovatieve methode om een rondzicht-model (6 camera's) te trainen dat tijdens inferentie slechts één camera nodig heeft, zonder de prestaties van een puur één-camera model te hoeven accepteren.
• Integratie van Masking en Loss: De combinatie van inverse block masking, een aangepaste LR-schedule en een feature reconstruction loss om de overgang tussen invoerconfiguraties te superviseren.
• Reductie van Hallucinaties: Het effectief filteren van GT-bounding boxes in onzichtbare gebieden tijdens de late trainingsfasen, wat leidt tot een drastische reductie van valse positieve detecties.

Resultaten

De methode is getest op het nuScenes-dataset. De resultaten tonen aan dat de voorgestelde methode beide baselines (één camera training vs. zes camera's training) overtreft bij inferentie met één camera:

• Objectdetectie:
  • NDS (nuScenes Detection Score): +20% verbetering ten opzichte van de beste concurrent.
  • mAP (mean Average Precision): +25% verbetering en een stijging van 414% ten opzichte van de één-camera baseline (van 0.0251 naar 0.1290). Dit duidt op een enorme reductie in valse positieven.
• Semantische Segmentatie:
  • mIoU (mean Intersection over Union): +19% verbetering (van 0.2173 naar 0.2588).
• Kwalitatieve Analyse:
  • Het model toont minder hallucinaties in gebieden buiten het zichtveld van de camera.
  • Het kan structuren (zoals straten en objecten) in de "blinde zones" beter reconstrueren door gebruik te maken van temporale informatie, wat zichtbaar is in de latent space visualisaties (BEV feature embeddings).

Betekenis en Conclusie

Dit paper demonstreert dat het mogelijk is om kostenefficiënte autonome voertuigen (met slechts één camera) te equiperen met perceptiemodellen die qua prestatie dicht in de buurt komen van dure rondzicht-systemen. Door slim gebruik te maken van de training met rijkere sensordata (meerdere camera's) en deze data geleidelijk te "verarmen" tijdens het trainingsproces, kan het model leren om de ontbrekende informatie te infereren.

De aanpak lost het fundamentele probleem op van de prestatiedaling bij het reduceren van sensoren, waardoor het een praktische oplossing biedt voor de schaalbare productie van autonome voertuigen zonder in te leveren op veiligheid of nauwkeurigheid. De methode is specifiek getest op BEVFormer, maar de principes van feature-reconstructie en adaptieve masking zijn potentieel toepasbaar op andere architecturen.