DriveXQA: Cross-modal Visual Question Answering for Adverse Driving Scene Understanding

Probleemstelling

Autonome voertuigen vereisen een holistisch begrip van complexe rijomgevingen om veilig te navigeren, vooral onder ongunstige omstandigheden zoals mist, regen of bij sensorstoringen. Hoewel Multimodale Grootte Taalmodellen (MLLMs) succesvol zijn in algemene visueel-taaltaken, zijn ze onderbenut voor het verwerken van multi-sensorgegevens in veiligheidskritieke rijscenario's.

Bestaande systemen en datasets (zoals NuScenes-QA, DriveLM) hebben drie belangrijke tekortkomingen:

1. Gebrek aan adversiteit: Ze focussen voornamelijk op normale omstandigheden en missen systematische dekking van extreme weersomstandigheden en sensorstoringen.
2. Beperkte modale diversiteit: Ze gebruiken vaak slechts één modale invoer (meestal RGB) of simpele fusiemethoden die het complementaire karakter van verschillende sensoren niet effectief benutten.
3. Inefficiëntie: Geen enkel bestaand MLLM-framework accepteert meerdere complementaire visuele modaliteiten als invoer terwijl het efficiënt en robuust blijft bij sensordegradatie.

Dit leidt tot een kritiek probleem: wanneer een sensor (bijv. een camera in mist) faalt, kunnen bestaande systemen de informatie van andere sensoren (zoals LiDAR) niet adequaat compenseren om betrouwbare beslissingen te nemen of uitleg te geven.

Methodologie

De auteurs introduceren twee hoofdcomponenten om deze kloof te dichten: een nieuw dataset en een nieuw architectuurframework.

1. DRIVEXQA Dataset

Dit is een uitgebreide dataset voor Visual Question Answering (VQA) in autonome rijcontexten, specifiek ontworpen voor ongunstige omstandigheden.

• Omvang: Bestaat uit 7.885 frames met 102.505 vraag-antwoordparen.
• Omstandigheden: Dekking van vijf weersomstandigheden (regen, nacht, mist, bewolkt, zonnig) en vijf soorten sensorstoringen (bewegingsonscherpte, overbelichting, onderbelichting, LiDAR-jitter, en lage resolutie bij eventsensoren).
• Hiërarchische Taxonomie: De vragen zijn onderverdeeld in drie semantische niveaus:
  • Global Scene Level: Algemene omgevingscondities en verkeerspatronen (bijv. zichtbaarheid, neerslag).
  • Allocentric Level: Ruimtelijke relaties tussen objecten en de omgeving (bijv. afstand tot andere voertuigen, verkeersborden).
  • Ego-vehicle Centric Level: Directe waarneming van het eigen voertuig (bijv. rijbaanpositie, sensorstatus).
• Data: 35,5% van de samples zijn "corner cases" (extreme situaties).

2. MVX-LLM Framework

Om de dataset te verwerken, stellen de auteurs MVX-LLM voor, een token-efficiënte architectuur die meerdere sensormodaliteiten fuseert.

• Encoder: Gebruikt een gedeelde CLIP-based Vision Transformer voor RGB, diepte en eventsensoren (van vier hoeken) en een PointNet++ encoder voor LiDAR-puntenwolken.
• Dual Cross-Attention (DCA) Projector: Dit is het kerninnovatiepunt. In plaats van eenvoudige concatenatie, gebruikt DCA twee parallelle attention-paden om redundantie te verminderen en adaptieve weging toe te passen:
  • Spatiale Cross-Attention: Vestigt correspondenties tussen modaliteiten op specifieke ruimtelijke locaties.
  • Kanaal Cross-Attention: Versterkt features over de kanaal-dimensie heen.
  • Deze mechanismen laten toe dat het model gewicht toekent aan betrouwbare sensoren wanneer andere degradatie vertonen.
• Token Aggregatie: De auteurs vergelijken verschillende strategieën (GAP, Spectral QAttn, DepthGate QAttn) en kiezen voor Query Attention (QAttn) als de meest effectieve methode om visuele tokens te comprimeren voor de taalmodel-integratie.

Belangrijkste Bijdragen

1. DRIVEXQA Dataset: De eerste uitgebreide cross-modale VQA-dataset die systematisch ongunstige weersomstandigheden en sensorstoringen combineert met een hiërarchische vraagstructuur.
2. MVX-LLM Architectuur: Een nieuw framework dat meerdere complementaire sensoren (RGB, Diepte, Event, LiDAR) efficiënt fuseert via de Dual Cross-Attention mechanismen, specifiek ontworpen voor robuustheid bij sensorstoringen.
3. Empirische Validatie: Uitgebreide evaluaties die aantonen dat de methode superieur presteert in uitdagende scenario's vergeleken met bestaande projectors en token-fusiemethoden.

Resultaten

De experimenten tonen aan dat MVX-LLM met de DCA-mechanisme aanzienlijk beter presteert dan bestaande baselines (zoals Honeybee, ParGo, en Self-query) en andere fusiestrategieën.

• Algemene Prestatie: De methode bereikt een GPTScore van 55,5, wat een verbetering is van 7,3% ten opzichte van de beste projector-architectuur (GAP + Honeybee) en 3% ten opzichte van de beste token-fusiemethode.
• Adverse Conditions: De prestaties zijn het meest opvallend onder moeilijke omstandigheden. Bijvoorbeeld, bij mistige omstandigheden (Foggy) behaalt MVX-LLM een score van 53,5, terwijl de baseline slechts 25,1 haalt.
• Ablatie Studies:
  • De combinatie van spatiale en kanaal cross-attention (sAttn + cAttn) is cruciaal; individuele mechanismen presteren slecht.
  • De volledige drie-componenten architectuur (sAttn + cAttn + QAttn) levert de beste resultaten op.
  • Sensorcombinatie: De combinatie van RGB + Diepte + LiDAR presteert het sterkst (50,7), maar het volledige vier-modale systeem (inclusief Event-camera) bereikt het maximum (55,5). Dit bevestigt dat RGB de basis vormt, maar andere modaliteiten essentieel zijn voor compensatie bij storingen.
• Kwalitatieve Analyse: In gevallen van overbelichting bij nacht, slaagt het model erin om objecten (zoals een rode auto) correct te identificeren dankzij LiDAR-geometrische informatie, terwijl visuele sensoren gefaald hebben.

Betekenis en Impact

Dit werk is significant voor de ontwikkeling van veilige autonome voertuigen omdat het:

• Robuustheid bewijst: Het toont aan dat cross-modale fusie essentieel is om sensorstoringen te overwinnen en de betrouwbaarheid van het systeem te waarborgen in realistische, onvoorspelbare omgevingen.
• Interpreteerbaarheid biedt: Door VQA te gebruiken, kan het systeem niet alleen beslissingen nemen, maar ook in natuurlijke taal uitleggen waarom een bepaalde actie wordt genomen (bijv. "Ik rem omdat de mist de zichtbaarheid beperkt, maar LiDAR detecteert een obstakel").
• Een nieuwe benchmark stelt: DRIVEXQA biedt een gestandaardiseerde testomgeving voor de gemeenschap om methoden te evalueren onder stressvolle omstandigheden, wat een stap is richting betrouwbaardere Sim-to-Real overdracht.

Kortom, DRIVEXQA en MVX-LLM stellen een nieuwe standaard voor het begrijpen van rijomgevingen door de beperkingen van enkelvoudige sensoren te overbruggen via intelligente, adaptieve multi-modale fusie.