SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions

Technische Samenvatting: SB-BEVFusion

Probleemstelling
Multimodale sensorfusie, specifiek het combineren van camera- en LiDAR-data, heeft state-of-the-art prestaties gevestigd voor 3D-objectdetectie bij autonome voertuigen door gebruik te maken van complementaire visuele en geometrische informatie. Bestaande frameworks, zoals BEVFusion, transformeren doorgaans onafhankelijke sensordata naar een verenigde Bird's-Eye View (BEV)-representatie voor fusie. Deze methoden gaan echter over het algemeen uit van de aanwezigheid van hoogwaardige data van alle sensoren. In realistische scenario's ondervinden systemen aanzienlijke prestatiedeterioratie wanneer sensordata ontbreekt, beschadigd is of ruis bevat als gevolg van ongunstige weersomstandigheden (bijv. mist, regen), sensorstoringen (bijv. vermindering van LiDAR-stralen) of ruimtelijke/temporale misalignering. Huidige benaderingen voor verenigde representaties worstelen vaak om robuustheid te handhaven onder deze specifieke storingscondities.

Methodologie
De auteurs stellen SB-BEVFusion (Single-Branch BEVFusion) voor, een framework-agnostische fusiemodule die is ontworpen om scenario's te hanteren waarbij één modality ontbreekt of beschadigd is. De aanpak wijzigt de standaard BEVFusion-pijplijn met de volgende kerncomponenten:

1. Verenigde Architectuur: Het model maakt gebruik van één downstream-netwerk en één detectiehead die worden gedeeld door beide modaliteiten. Om dit mogelijk te maken, worden de kanaalbreedten van de camera- en LiDAR-BEV-representaties gelijkgesteld ($C_{cam} = C_{lid} \triangleq C$).
2. Adaptieve Fusielogica:
   • Dual Modality ($L+C$): Wanneer beide sensoren beschikbaar zijn, worden de BEV-kenmerken gecombineerd met een fusieoperator $\mathcal{F}$. Het artikel onderzoekt vier operators: ongewogen middeling, Max-Pooling, Cross-Attention en Progressieve Modality Decay (PMD).
   • Single Modality ($L$ of $C$): Wanneer één modality ontbreekt of beschadigd is, fungeert de fusieoperator als een identiteitsfunctie en wordt de beschikbare BEV-representatie direct naar de encoder doorgegeven zonder te proberen ontbrekende data te fuseren.
3. Trainingsstrategie: Het model wordt getraind op een geschud mengsel van drie regimes: alleen LiDAR ($L$), alleen Camera ($C$) en beide ($L+C$). Voor fusiestrategieën zoals Middeling, Max-Pooling en Cross-Attention worden alle drie de regimes per steekproef genoteerd. Voor PMD omvat de training een "anker"-modality waarbij de secundaire modality wordt vermenigvuldigd met een afnemende factor $\alpha$ (variërend van 1 tot 0) om de overgang naar ontbrekende data te simuleren.
4. Inferentie: Tijdens de inferentie schakelt het systeem dynamisch tussen de fusieoperator (wanneer beide modaliteiten aanwezig zijn) en de identiteitsfunctie (wanneer één ontbreekt), zonder dat structurele wijzigingen aan het netwerk nodig zijn.

Belangrijkste Bijdragen

• Robuuste Fusiemodule: Introductie van een fusiemodule die expliciet is ontworpen om te opereren onder $L+C$, $L$ en $C$ scenario's, waardoor het model prestaties kan handhaven tijdens sensorstoringen.
• Fusiestrategie Analyse: Een uitgebreid onderzoek naar diverse fusieoperators (Middeling, Max-Pooling, Cross-Attention, PMD) om hun robuustheid tegen ontbrekende en beschadigde modaliteiten te bepalen.
• Empirische Validatie: Uitgebreide experimenten uitgevoerd op de MultiCorrupt-dataset (gebaseerd op nuScenes) die verbeterde robuustheid aantonen over een breed scala aan sensordeterioratiescenario's, waaronder extreme weersomstandigheden en sensorstoringen.

Resultaten
De auteurs hebben SB-BEVFusion geëvalueerd tegen BEVFusion en UniBEV op de nuScenes-validatieset met behulp van de MultiCorrupt-benchmark, die corrupties omvat zoals straalreductie, ruimtelijke/temporale misalignering, mist en bewegingsonscherpte op drie ernstniveaus.

• Corruptie-robustheid: Onder diverse corrupties behaalde de ongewogen middelingstrategie (SB-BEVFusion-Avg) de hoogste Mean Resistance Ability (mRA) van 0,7683, wat beter presteerde dan BEVFusion (0,7490) en UniBEV (0,7656). Cross-Attention (SB-BEVFusion-CA) toonde superieure veerkracht specifiek tegen ruimtelijke en temporale misaligneringen.
• Prestaties bij Ontbrekende Modality:
  • Alleen LiDAR: SB-BEVFusion presteerde aanzienlijk beter dan de baselines, met een mAP van 0,6448 vergeleken met 0,5639 voor BEVFusion en 0,582 voor UniBEV.
  • Alleen Camera: Hoewel UniBEV hogere robuustheid toonde in camera-only settings (mAP 0,35 versus 0,2002 voor SB-BEVFusion), behield SB-BEVFusion concurrerende prestaties in volledige sensorsettings (mAP 0,6737) terwijl het superieure robuustheid voor alleen-LiDAR-scenario's bood.
• Kwalitatieve Analyse: Visuele vergelijkingen bevestigden dat bij ernstige corrupties (bijv. mist ernst 3, bewegingsonscherpte ernst 2), BEVFusion vaak faalde bij het detecteren van grote objecten of bounding boxes produceerde die aanzienlijk afweken van de ground truth, terwijl SB-BEVFusion nauwkeurigere voorspellingen behield.

Betekenis
Het artikel stelt dat SB-BEVFusion een kritieke kwetsbaarheid in perceptiesystemen voor autonome voertuigen aanpakt: de afhankelijkheid van ideale sensorcondities. Door aan te tonen dat een single-branch-architectuur, getraind op een mengsel van modaliteit-beschikbaarheidsregimes, effectief kan omgaan met ontbrekende of beschadigde data, biedt dit werk een weg naar betrouwbaardere 3D-objectdetectie in realistische omgevingen. De auteurs benadrukken dat eenvoudige concatenatie (gebruikt in standaard BEVFusion) suboptimaal is voor beschadigde data en dat de keuze van de fusieoperator de robuustheid aanzienlijk beïnvloedt, afhankelijk van het specifieke type sensorstoring. De studie concludeert dat hoewel de voorgestelde methode uitblinkt in alleen-LiDAR-storingsscenario's en algemene corruptieweerstand, toekomstig werk kan onderzoeken op transformer-gebaseerde fusiemethoden en de integratie van aanvullende modaliteiten zoals radar.