Technische Samenvatting: InterFuserDVS

Probleemstelling

Autonome rijsystemen staan voor aanzienlijke uitdagingen in scènes met een groot dynamisch bereik (HDR) en in scenario's met hoge snelheden, vanwege de inherente beperkingen van traditionele sensoren suites. Standaard RGB-camera's lijden aan bewegingsonscherpte en een beperkt dynamisch bereik, en falen vaak in omstandigheden zoals het verlaten van een donkere tunnel naar fel zonlicht. Hoewel LiDAR nauwkeurige dieptedata levert, is het datapuntarm en verslechtert de prestatie bij ongunstige weersomstandigheden (regen, mist). Bovendien hebben bestaande end-to-end leeraanpakken vaak te kampen met "causale verwarring" en missen ze de geometrische robuustheid die vereist is voor veiligheidskritieke manoeuvres in dicht verkeer. Er is een kritieke behoefte aan een sensorfusie-architectuur die complementaire modaliteiten kan benutten om robuuste waarneming en veilige besluitvorming te garanderen onder ongunstige verlichting en dynamische omstandigheden.

Methodologie

Het artikel stelt InterFuserDVS voor, een uitgebreide architectuur van het state-of-the-art InterFuser-model dat Dynamic Vision Sensors (DVS), oftewel event-camera's, integreert als primaire modaliteit naast RGB-camera's en LiDAR.

1. Overzicht Architectuur

Het systeem maakt gebruik van een globale Transformer-gebaseerde backbone om getokeniseerde kenmerken te fuseren van drie verschillende sensortypes:

• RGB-camera's: Multi-view inputs (Voor, Links, Rechts) bijgesneden tot een resolutie van 800×600.
• LiDAR: Puntenwolken die zijn voxeliseerd tot een 2-bin Bird's Eye View (BEV) pseudo-afbeelding (224×224).
• DVS (Event-camera's): Ruwe asynchrone events $(x, y, t, p)$ worden geaccumuleerd in vaste tijdvensters om "event-frames" te genereren. Deze enkelkanaals frames vertegenwoordigen genormaliseerde eventtellingen of polariteitssommen, en vangen bewegingsdynamiek en randen op met microseconde-resolutie.

2. Kenmerkextractie en Fusie

• Backbones: RGB- en DVS-inputs worden verwerkt door ResNet-varianten (bijv. ResNet-18/50), terwijl LiDAR PointNet++ gebruikt, aangepast voor BEV.
• Cross-modale Transfer: Een belangrijke ontwerpkies is het initialiseren van de DVS-encoder-gewichten met een vooraf getrainde RGB-backbone. Dit benut de ruimtelijke correlatie tussen intensiteitsranden (RGB) en temporele randen (DVS) om snelle convergentie te faciliteren en de vroege training te stabiliseren.
• Token-gebaseerde Fusie: Kenmerken worden platgelegd en geprojecteerd naar $D$-dimensionale tokens. Leerbare 2D-positional embeddings worden toegevoegd om de ruimtelijke context te behouden. Alle tokens worden samengevoegd tot één enkele sequentie en verwerkt door een 6-laags Transformer Encoder met 8 attention-heads. Dit stelt het model in staat om globale redenering uit te voeren, waarbij het belang van sensoren dynamisch wordt gewogen op basis van de omgevingscontext (bijv. DVS gebruiken voor beweging en LiDAR voor diepte).

3. Output en Planning

De Transformer Decoder voorspelt:

• Wegpunten: Een sequentie van 2D-coördinaten voor trajectplanning.
• Verkeerslichtstatus: Classificatie van de lichtstatus (Rood, Groen, Geel).
• Objectdichtheidskaarten: Een 7-kanaals BEV-rooster dat objectbestaan, offset, grootte, richting en snelheid voorspelt.

4. Hybride Veiligheidscontroller

Om veiligheid te garanderen, integreert het systeem een regelgebaseerde veiligheidscontroller die de PID-commando's van het end-to-end model overschrijft wanneer nodig:

• Verkeerslichtnaleving: Een statemachine behandelt detectie van rode/gele lichten. Een "Forced Crossover"-mechanisme voorkomt deadlocks als het voertuig vastzit voor >50 seconden.
• Collietevorbeiding: De controller gebruikt voorspelde objectdichtheidskaarten om een lokale bezettingsrooster te renderen. Het controleert het geplande traject tegen dit rooster op meerdere toekomstige tijdstappen ($t=0.5s$ tot $2.0s$). Als de veiligheidsafstand onder een snelheidsafhankelijke drempel daalt, triggert het systeem noodremming.
• Uitvoering Besturing: Definitieve stuur-, gas- en remcommando's worden gegenereerd via laterale en longitudinale PID-controllers, met doelsnelheden die dynamisch worden aangepast op basis van padkromming en obstakelproximiteit.

Belangrijkste Bijdragen

1. Event-verbeterde Architectuur: De integratie van een dedicated DVerwerkingsbackbone in het InterFuser-raamwerk, gebruikmakend van een transfer-learning-strategie van RGB naar DVS om datatekorten en trainingsinstabiliteit het hoofd te bieden.
2. Token-gebaseerde Fusiestrategie: Een uniforme Transformer Encoder die ruimtelijke kenmerken van RGB/LiDAR fuseert met hoogfrequente temporele kenmerken van DVS, waardoor dynamische sensorweging mogelijk wordt.
3. Hybride Veiligheidsbeleid: Een robuuste controller die end-to-end trajectvoorspellingen combineert met heuristische validatie (verkeerslicht-statemachines en modelgebaseerde collisiecontrole met behulp van bezettingskaarten).
4. State-of-the-Art Prestaties: Demonstratie van uitzonderlijke betrouwbaarheid op de CARLA Leaderboard, met een perfecte routevoltooiing in uitdagende stedelijke omgevingen.

Experimentele Resultaten

De methode werd geëvalueerd op de CARLA Leaderboard (Town05 Long Routes), een benchmark die complexe navigatie, rijstrookwisselingen en dicht verkeer omvat.

• Rijscore (DS): Behaalde 77.20, een competitieve score onder state-of-the-art methoden.
• Routevoltooiing (RC): Behaalde 100%, wat aangeeft dat de agent nooit vastliep, verdwaalde of uitliep. Dit presteert beter dan diverse hedendaagse methoden (bijv. InterFuser op 88.23%, ReasonNet op 89.89%) wat betreft voltooiingsbetrouwbaarheid.
• Veiligheidsmetrieken:
  • Collietecijfer: Extreem laag voetgangerscollietecijfer (0.008/km) en een competitief voertuigcollietecijfer (0.036/km).
  • Overtredingen: Roodlichtovertredingspercentage van 0.01/km (toegeschreven aan de "Forced Crossover"-logica om routevoltooiing te garanderen).
• Kwalitatieve Analyse: Casestudies toonden aan dat DVS de prestaties aanzienlijk verbetert in:
  • Onbeschermde Linksafslagen: Detectie van snelle laterale beweging van tegemoetkomend verkeer via hoge eventdichtheid.
  • Inhalen: Valideren van "ruimte" in tegenliggende rijbanen door afwezigheid van hoogfrequente events (naderende auto's) te detecteren.
  • Noodremming: Sneller reageren op voetgangers die uit verduisteringen tevoorschijn komen (bijv. achter geparkeerde trucks) dan RGB-only baselines, door ledematenbewegingscontrast te detecteren voordat statische visuele kenmerken zichtbaar worden.

Betekenis en Claims

Het artikel stelt dat InterFuserDVS visie op basis van events valideert als een vitaal modaliteit in plaats van een niche-sensor voor de volgende generatie autonome voertuigen. De integratie van DVS biedt twee kritieke voordelen:

1. Groot Dynamisch Bereik: Zorgt voor robuustheid in scenario's met harde schaduwen of zonverblinding waar RGB-camera's falen.
2. Temporele Resolutie: Vangt snel bewegende objecten expliciet op, waardoor het model kan vertrouwen op event-data voor bewegingsplanning tijdens dynamische manoeuvres.

De auteurs concluderen dat, hoewel huidige implementaties events omzetten in frames, de toekomst ligt in Asynchrone Eventfusie met behulp van Spiking Neural Networks (SNN) en Asynchrone Fusie-Transformers (AFT) om de microseconde-bewegingsinformatie en energie-efficiëntie van neuromorfe hardware volledig te benutten. Het huidige werk dient als een fundamentele stap, en demonstreert dat het behandelen van eventstromen als hoogtrouw temporele inputs de veiligheid en betrouwbaarheid van end-to-end autonome rijbeleid aanzienlijk verbetert.