💻 computer science

EventDrive: Event Cameras for Vision-Language Driving Intelligence

EventDrive introduceert een uitgebreide benchmark en een nieuw visie-taalmodel dat de hoge temporele precisie en het dynamisch bereik van event-camera's benut om de autonome rijcapaciteiten aanzienlijk te verbeteren over taken op het gebied van perceptie, begrip, voorspelling en planning.

Oorspronkelijke auteurs: Dongyue Lu, Rong Li, Ao Liang, Lingdong Kong, Wei Yin, Lai Xing Ng, Benoit R. Cottereau, Camille Simon Chane, Wei Tsang Ooi

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dongyue Lu, Rong Li, Ao Liang, Lingdong Kong, Wei Yin, Lai Xing Ng, Benoit R. Cottereau, Camille Simon Chane, Wei Tsang Ooi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een auto bestuurt, maar in plaats van alleen foto's van de weg te maken zoals een normale camera, heeft je auto ook een speciale "bewegingssensor" die alleen dingen ziet wanneer ze bewegen of van helderheid veranderen. Dit wordt een Event Camera genoemd.

De paper introduceert EventDrive, wat een enorme, super-slimme rijopleiding is die ontworpen is om computers te leren hoe ze zowel gewone foto's (RGB) als deze bewegingssensoren (Events) samen kunnen gebruiken om veilig te rijden.

Hier is de uitsplitsing van wat ze hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Wazige Foto" vs. De "Bewegingssensor"

Gewone Camera's (RGB): Denk aan deze als het maken van een standaardfoto. Als je een foto maakt van een snel rijdende auto in de regen of 's nachts, komt de foto wazig of donker uit. De camera mist de details omdat hij wacht op een vaste hoeveelheid tijd om de afbeelding vast te leggen.
Event Camera's: Deze zijn als een snelle microfoon die alleen "luistert" wanneer er iets beweegt. Als een auto met hoge snelheid voorbijraast, ziet de event camera de beweging direct, zelfs in totale duisternis of hevige regen. Hij maakt geen "foto's"; hij registreert minuscule, microseconde-veranderingen in licht.
De Kloof: Wetenschappers wisten dat event camera's geweldig waren voor het zien van beweging, maar ze hadden geen manier om computers te leren ze te gebruiken voor denken en beslissen (zoals het plannen van een bocht of het raden wat een voetganger gaat doen). De meeste bestaande AI kon ze alleen gebruiken voor eenvoudige taken zoals "is er hier een auto?".

2. De Oplossing: Het "EventDrive" Handboek

De onderzoekers bouwden een enorme dataset genaamd EventDrive. Stel je dit voor als een enorme bibliotheek vol rijlessen.

De Inhoud: Het bevat meer dan 470.000 voorbeelden waarbij de computer ziet:
1. Een gewone foto.
2. De bewegingsdata van de event camera.
3. Een door mensen geschreven beschrijving of vraag over wat er gebeurt.
De Vier Niveaus van Leren: Ze hebben de lessen georganiseerd in vier fasen, net zoals een menselijke bestuurder leert:
1. Perceptie (De scène zien): "Regent het? Is het nacht? Is de weg nat?" (Event camera's helpen hierbij omdat ze randen duidelijk zien, zelfs als de foto donker is).
2. Begrip (De objecten kennen): "Dat is een witte bestelwagen, en hij rijdt snel." (Event camera's helpen om te bepalen hoe snel iets beweegt, wat een wazige foto niet kan doen).
3. Voorspelling (De toekomst raden): "Die auto gaat linksaf." (Omdat event camera's beweging zo precies zien, kunnen ze beweging beter voorspellen dan gewone camera's).
4. Planning (Een beslissing nemen): "Ik moet afremmen en naar rechts sturen." (De AI combineert de bewegingsdata met de scène om te beslissen wat de volgende stap is).

3. De Leraar: "EventDrive-VLM"

Om de computer te leren, bouwden ze een nieuw AI-model genaamd EventDrive-VLM. Zie dit model als een student met twee sets ogen en een speciale hersenpan:

Het "Multi-Speed" Brein: Het model heeft een speciaal onderdeel dat naar de bewegingsdata kijkt op verschillende snelheden. Als de auto langzaam beweegt, bekijkt het de data op een "slow-motion" manier om stabiel te blijven. Als de auto voorbij raast, schakelt het over naar de "high-speed" modus om elke kleine beweging te vangen.
De "Vertaler": Het model heeft een vertaler die de ruwe bewegingsdata (wat slechts een stroom van puntjes is) omzet in taal die de AI begrijpt, zodat het vragen kan beantwoorden zoals "Is het licht rood?" of "Waar is de voetganger?".

4. De Resultaten: Waarom Mixen Beter is

De paper testte dit nieuwe systeem tegenover andere systemen:

Gewone Camera's alleen: Goed in het herkennen van kleuren en borden overdag, maar ze raken in de war en maken fouten wanneer het donker, regenachtig is of wanneer dingen snel bewegen (onscherpte).
Event Camera's alleen: Geweldig in het zien van beweging en snelheid, maar ze zijn "blind" voor kleuren en details (zoals "is dat een rode vrachtwagen of een blauwe vrachtwagen?").
EventDrive-VLM (De Mix): Door beide te combineren, krijgt de AI het beste van beide werelden. De AI kan de rode vrachtwagen zien (van de foto) en precies weten hoe snel hij beweegt (van de event sensor).
- De Analogie: Het is als het hebben van een chauffeur die duidelijk kan zien in het donker (Event) maar ook weet wat de verkeersborden zeggen (Foto). Het resultaat is een chauffeur die veel veiliger en betrouwbaarder is in slecht weer of bij hoge snelheden.

Samenvatting

De paper stelt dat door een enorme dataset en een nieuw AI-model te creëren dat foto's (voor details) mengt met event sensoren (voor beweging en snelheid), ze een systeem hebben gemaakt dat veel beter begrijpt hoe men moet rijden dan systemen die slechts één type sensor gebruiken. Dit maakt zelfrijdende auto's veel robuuster, vooral in lastige situaties zoals nachtritten, hevige regenval of wanneer dingen heel snel bewegen.

Technische Samenvatting: EventDrive

Probleemstelling

Event-camera's bieden microseconde temporele precisie, een hoog dynamisch bereik en robuustheid tegen bewegingsonscherpte, wat hen theoretisch ideaal maakt voor autonoom rijden onder uitdagende omstandigheden (bijv. weinig licht, snelle beweging). De bestaande research naar event-gebaseerde technologie blijft echter gefragmenteerd en richt zich primair op laag-niveau gesuperviseerde taken zoals detectie, segmentatie of optische stroom-schatting. Er is een aanzienlijke kloof in het benutten van event-sensing voor hoog-niveau redeneren, besluitvorming en de volledige rij-loop. Terwijl de RGB-gemeenschap geavanceerde verenigde visie-taalmodellen (VLMs) heeft ontwikkeld die perceptie, redeneren en controle koppelen, zijn de vroege pogingen om events in VLMs te integreren beperkt gebleven tot generieke scènes en eenvoudige beschrijvingen, waarbij ze er niet in slagen te voldoen aan de complexe redeneer- en beslissingseisen van echt wereldrijden.

Methodologie

1. EventDrive: Een Verenigde Benchmark

De auteurs introduceren EventDrive, de eerste full-stack benchmark die event-stromen, gesynchroniseerde RGB-frames en taalkundige supervisie integreert over de gehele autonome rij-pipeline. De benchmark deelt rijden op in vier opeenvolgende redeneerfasen, die elk worden geformuleerd als taal-gegronde taken:

Perceptie: Evalueert scène-context (scènetype, zichtbaarheid, verkeersstroom, weer, verkeerslichten, wegomstandigheden).
Begrip: Beoordeelt object-gecentreerde semantiek (aanwezigheid, uiterlijk, bewegingstoestand, ego-/omgevingsrelaties, grounding).
Voorspelling: Concludeert de korte-termijn bewegingsintentie (snelheid en richting) van omliggende agenten.
Planning: Schat de intentie van het eigen voertuig en toekomstige waypoints in op basis van eerdere trajecten.

Dataset Constructie:
EventDrive aggregeert 471.543 event–frame–taal monsters uit drie bron-datasets: DSEC, M3ED en PKU-DAVIS-SOD. De auteurs maken gebruik van een semi-automatische pipeline met Qwen3-VL om gestructureerde captions te genereren en deze om te zetten in diverse multiple-choice QA-paren, grounding-taken en trajectvoorspellingen. Een "Hard" split is specifiek samengesteld met sequenties die weinig licht en bewegingsonscherpte bevatten om de voordelen van event-sensing rigoureus te testen.

2. EventDrive-VLM: Een Verenigd Model

Om deze benchmark te benutten, stellen de auteurs EventDrive-VLM voor, een event-gestuurd VLM ontworkt om te interpreteren en te redeneren over asynchrone event-data. De architectuur adresseert twee kernuitdagingen:

Dynamic Horizon Event Encoder: Event-stromen variëren sterk in temporele dichtheid. Het model maakt gebruik van een Multi-Horizon Voxelization strategie, waarbij event-tensoren worden gecreëerd op meerdere temporele resoluties ( $B = \{20, 50, 100\}$ bins). Een Mixture-of-Experts (MoE) gating-mechanisme selecteert dynamisch de meest informatieve temporele horizon voor een gegeven scène, waardoor het model hoge-frequentie dynamiek kan vastleggen tijdens snelle beweging terwijl stabiele aggregatie wordt gewaarborgd in scenario's met weinig beweging.
Event Q-Former Alignment: Om de kloof tussen ijle event-features en de semantische ruimte van de LLM te overbruggen, gebruikt het model een Event Q-Former. In plaats van tokens te concateneren, maakt het gebruik van cross-attention tussen leerbare event-queries en de geaggregeerde event-features. Dit extraheert bewegingsbewuste, taal-gealigneerde tokens die naadloos integreren met frame- en tekst-embeddings.
Two-Stage Training Curriculum:
1. Event-Language Pre-adaptation: De LLM en de RGB visuele encoder zijn bevroren. De event encoder, Q-Former en projectielagen worden getraind op caption-data om de event-representaties af te stemmen op de LLM-ruimte.
2. Instruction Tuning: De LLM transformer-blokken worden ontdooid en het volledige event-pad wordt gefinetuned op alle caption- en QA-data om coherent multimodale redenering over alle rij-taken mogelijk te maken.

Belangrijkste Bijdragen

EventDrive Benchmark: De eerste verenigde dataset en benchmark voor autonoom rijden die perceptie, begrip, voorspelling en planning dekt binnen een consistent multimodaal (event-frame-taal) framework.
EventDrive-VLM: Een algemeen trainingsframework dat grote VLMs in staat stelt om asynchrone event-representaties te interpreteren, af te stemmen en te redeneren via dynamic horizon encoding en query-gebaseerde alignment.
Omvattend Evaluatieprotocol: Een rigoureuze evaluatie die aantoont hoe temporele cues de multimodale redenering verbeteren, waarmee een fundament wordt gelegd voor event-gestuurde intelligentie.

Experimentele Resultaten

Experimenten op EventDrive onthullen duidelijke modaliteit-sterktes en de noodzaak van fusie:

Frame-Only Modellen: Presteren goed in perceptie onder normale omstandigheden, maar verslechteren scherp in scenario's met weinig licht en bewegingsonscherpte. Ze vertonen beperkte ruimtelijke redenering en zwakke bewegingsinferentie (bijv. lage nauwkeurigheid in snelheid/richting voorspelling).
Event-Only Modellen: Excelleren in snelheid en richting voorspelling vanwege hoge-frequentie temporele cues, maar missen de semantische rijkdom die nodig is voor uiterlijk-zware begrip (bijv. scènetype, object-uiterlijk).
EventDrive-VLM (Fusie): Het event-frame fusiemodel bereikt state-of-the-art prestaties over alle taalfamilies. Het stabiliseert perceptie onder ongunstige omstandigheden, verbetert grounding en relationele redenering aanzienlijk, en levert superieure bewegingsvoorspelling en ego-intentie schattingen vergeleken met single-modality baselines.
Hard Split Prestaties: In uitdagende subsets (weinig licht, zware onscherpte) behoudt het gefuseerde model een robuuste prestatie, terwijl frame-only modellen significante dalingen vertonen in grounding en ruimtelijke redenering, en event-only modellen worstelen met semantische taken.

Betekenis

Het artikel stelt dat EventDrive en EventDrive-VLM aantonen dat event-sensing niet louter een aanvullende sensor is, maar een cruciale modaliteit voor betrouwbare rij-intelligentie. Door asynchrone event-cues te integreren met RGB-frames en taal, maakt het framework robuuste perceptie en besluitvorming mogelijk in scenario's waar conventionele sensoren falen. Het werk overbrugt de kloof tussen laag-niveau event-sensing en hoog-niveau autonoom rij-redeneren, en biedt een schaalbaar pad naar veiligere, meer interpreteerbare en robuustere autonome systemen. De auteurs benadrukken dat de integratie van temporele en ruimtelijke modaliteiten een betrouwbaarder redeneren oplevert dan de ene of de andere modaliteit alleen, met name in dynamische en ongunstige omgevingen.