EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation

Het artikel introduceert EventVGGT, een nieuw raamwerk dat voor het eerst ruimtelijk-temporele en multi-view geometrische prioren distilleert vanuit de Visual Geometry Grounded Transformer (VGGT) naar het event-domein via een drievoudige distillatiestrategie, waardoor de temporele consistentie en nauwkeurigheid van monocular event-based diepteschatting aanzienlijk wordt verbeterd.

De kern

EventVGGT: De "Tijdsbewuste" Camera die Ziet in het Donker

Stel je voor dat je een camera hebt die niet werkt zoals onze ogen of een gewone fotocamera. Een gewone camera maakt foto's, alsof je een album vol plaatjes maakt: één, twee, drie... met vaste tussenpozen. Als je heel snel beweegt, worden die foto's wazig of verandert het licht te snel.

Een event-camera werkt anders. Het is als een super-snelzenuw. In plaats van plaatjes, registreert het alleen de veranderingen. Als een pixel in het donker wordt of lichter, schreeuwt het: "Hier is iets gebeurd!" Dit gebeurt zo snel dat het duizenden keren per seconde kan gebeuren, zelfs in totale duisternis of als je razendsnel rijdt.

Het probleem? Deze camera's zijn geweldig in het zien van beweging, maar ze zijn slecht in het begrijpen van diepte (hoe ver iets weg is). Ze zien een vliegende vogel, maar weten niet of die vogel 1 meter of 10 meter weg is. En het grootste probleem: er zijn geen "opleidingsboeken" (data) met de juiste antwoorden om ze dit te leren.

De Oplossing: EventVGGT

De onderzoekers van dit paper hebben een slimme oplossing bedacht, genaamd EventVGGT. Laten we het uitleggen met een paar creatieve vergelijkingen:

1. De Meester en de Leerling

Stel je voor dat je een beginnende schilder (de Event-camera) hebt die nog nooit heeft geschilderd. Je hebt ook een wereldberoemde meester (een AI-model genaamd VGGT) die al duizenden foto's heeft gezien en perfect kan schatten hoe diep een landschap is.

Normaal gesproken zou je de meester vragen om de schilder te leren, maar de meester spreekt "Foto-Taal" (heldere, volledige beelden) en de schilder spreekt "Prik-Taal" (snelle, losse veranderingen). Ze kunnen elkaar niet verstaan.

EventVGGT is de tolk die dit probleem oplost. Het leert de schilder niet om gewoon naar de meester te kijken, maar om te denken zoals de meester, zelfs als de schilder alleen maar prikkels ziet.

2. De Drie Slimme Trucs (De "Tijdsbewuste" Strategie)

De onderzoekers gebruiken drie specifieke trucs om de leerling (de event-camera) zo goed mogelijk te maken:

• Truc 1: De "Tussenstap" (Cross-Modal Feature Mixture)
  Stel je voor dat je de meester en de leerling in dezelfde kamer zet, maar je laat ze afwisselend praten. Soms praat de meester, soms de leerling, en soms praten ze samen. Hierdoor leert de leerling: "Ah, als de meester dit zegt, moet ik dit doen." Dit helpt de leerling om de taal van de meester te begrijpen zonder dat het te moeilijk wordt.
  In het paper: Ze mengen de beelden van de meester met de prikkels van de leerling om een "hulp-voorspelling" te maken. Dit stabiliseert het leerproces.

• Truc 2: De "Bewegings-Gevoeligheid" (Spatio-Temporal Distillation)
  Gewone camera's kijken naar losse plaatjes. Maar een event-camera ziet een film. Als een auto voorbijrijdt, verandert het beeld continu.
  De onderzoekers zeggen tegen de leerling: "Kijk niet alleen naar het plaatje, kijk naar hoe het plaatje verandert van seconde tot seconde." Ze leren de leerling om de beweging van de meester na te bootsen.
  In het paper: Ze kijken niet alleen naar de diepte, maar ook naar hoe de diepte verandert tussen twee momenten. Dit zorgt ervoor dat de diepte-schatting niet flitst of springt.

• Truc 3: De "Rustige Stroom" (Temporal Consistency)
  Soms maken AI's een fout: ze zeggen dat een boom 5 meter weg is, en een seconde later 10 meter, terwijl de boom stil staat. Dat is onlogisch.
  EventVGGT straft de leerling als de diepte-schatting te veel springt. Het zegt: "Als de meester zegt dat de wereld rustig beweegt, moet jij dat ook doen."
  In het paper: Ze straffen de verschillen in verandering. Als de meester zegt "de afstand neemt langzaam toe", moet de leerling dat ook doen, niet plotseling springen.

Waarom is dit zo cool?

1. Het werkt in het donker: Omdat event-camera's lichtveranderingen zien, werken ze perfect in de nacht of bij felle lichten, waar gewone camera's blind zijn.
2. Het is super snel: Omdat het alleen veranderingen registreert, is het data veel lichter en sneller te verwerken.
3. Het is "Zelflerend": Ze hoeven geen dure, handmatig gemeten diepte-data te gebruiken. Ze leren puur door te kijken naar hoe een slimme AI (VGGT) naar gewone foto's kijkt.

Het Resultaat

In tests bleek dat EventVGGT veel beter is dan alle vorige methoden.

• Op 30 meter afstand was de fout meer dan 50% kleiner dan de beste concurrenten.
• Het werkt zelfs op data waar het nooit eerder op getraind is (zoals echte nachtelijke rijtests).
• Het kan zelfs helpen om de positie van de camera en de vorm van objecten in 3D te reconstrueren, niet alleen de diepte.

Kortom: EventVGGT is als het geven van een bril aan een blindeman die razendsnel kan rennen. Door te leren van een meester die de wereld in "foto's" ziet, leert de "event-camera" om de wereld in "beweging" te zien, maar dan met de juiste diepte-informatie. Dit maakt het perfect voor zelfrijdende auto's die in het donker of bij regen veilig moeten rijden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation" in het Nederlands.

Probleemstelling

Event-cameras bieden superieure prestaties bij hoge snelheden en extreme verlichtingsomstandigheden door asynchrone logaritmische intensiteitsveranderingen vast te leggen. Dit maakt ze ideaal voor robuuste 3D-perceptie. Een van de belangrijkste uitdagingen bij monoculaire diepteschatting op basis van events is echter het gebrek aan grote datasets met dichte diepteannotaties.

Bestaande oplossingen die gebruikmaken van Vision Foundation Models (VFMs) om kennis te distilleren (zonder ground-truth labels), hebben een fundamentele beperking: ze behandelen event-stromen als onafhankelijke frames. Hierdoor negeren ze de inherente temporale continuïteit van event-data. Dit leidt tot dieptepredicties die temporaal inconsistent zijn (bijv. "flickering") en minder nauwkeurig, omdat ze de rijke spatiotemporale priors van de VFMs niet volledig benutten.

Methodologie: EventVGGT

Het paper introduceert EventVGGT, een nieuw framework dat asynchrone event-stromen expliciet modelleert als coherente videosequenties. Het distilleert spatiotemporale en multi-view geometrische priors van de Visual Geometry Grounded Transformer (VGGT) (een multi-view foundation model) naar een event-based student netwerk.

De kern van de methode is een tri-niveau distillatiestrategie:

1. Cross-Modal Feature Mixture (CMFM) - Output Niveau:

   • Doel: De grote modale kloof tussen dichte RGB-beelden en sparse event-stromen overbruggen.
   • Mechanisme: In plaats van directe supervisie, worden RGB- en event-features stochastisch gemixt (bijv. 25% van de RGB-features worden vervangen door event-features) om een "gemengde" feature-sequentie te creëren. Deze wordt gedecodeerd tot een auxiliaire dieptekaart.
   • Effect: Dit fungeert als een "stepping stone" die de student helpt om de geometrische priors van de leraar (VGGT) te internaliseren, wat de training stabiliseert en convergentie versnelt.

2. Spatio-Temporal Feature Distillation (STFD) - Feature Niveau:

   • Doel: De rijke geometrische priors uit de interne representaties van de leraar overnemen, inclusief dynamiek.
   • Mechanisme: In tegenstelling tot eerdere methoden die alleen frame-tot-frame aligneren, aligneert STFD zowel de intra-frame ruimtelijke structuren als de inter-frame temporale veranderingen.
   • Formule: Het verliest de cosine-afstand tussen de features van de leraar en de student, en voegt een term toe voor de verschillen tussen opeenvolgende frames ($f_{i+1} - f_i$). Dit dwingt de student om bewegingsgevoelige dynamica te leren die consistent is met de leraar.

3. Temporal Consistency Distillation (TCD) - Temporaal Niveau:

   • Doel: Temporale stabiliteit garanderen en diepteflikkering elimineren.
   • Mechanisme: In plaats van absolute dieptewaarden te straffen, straft deze loss de discrepanties in de snelheid van verandering tussen opeenvolgende frames.
   • Effect: De student leert de geometrisch coherente tijdsverloop van de leraar na te bootsen, wat resulteert in stabiele dieptesequenties zonder fysiek onwaarschijnlijke discontinuïteiten.

Training en Inference:

• Het framework is volledig annotatievrij (geen ground-truth diepte nodig).
• Tijdens training worden gesynchroniseerde RGB- en event-sequenties gebruikt.
• Tijdens inference gebruikt EventVGGT uitsluitend event-data; RGB-beelden worden alleen gebruikt voor het kleuren van de gereconstrueerde 3D-puntenwolken (visualisatie), niet voor de diepteberekening zelf.

Kernbijdragen

1. Eerste Framework: EventVGGT is het eerste framework dat spatiotemporale priors distilleert van een multi-view foundation model (VGGT) naar een event-based student voor consistente diepteschatting.
2. Tri-niveau Distillatie: De introductie van een uitgebreide strategie (CMFM, STFD, TCD) die specifiek is ontworpen om de modale kloof te overbruggen en temporale continuïteit te behouden.
3. State-of-the-Art Resultaten: Het framework bereikt nieuwe state-of-the-art prestaties op EventScape en MVSEC, en toont sterke zero-shot generalisatie op ongezette datasets (DENSE).

Resultaten

De prestaties zijn geëvalueerd op meerdere datasets (EventScape, MVSEC, DENSE) met een focus op absolute gemiddelde diepte-error (in meters) op verschillende afstanden (10m, 20m, 30m).

• EventScape: EventVGGT reduceert de fout op 30m afstand van 2.30m (EventDAM) naar 1.06m. Dit is een verbetering van meer dan 53%. Het presteert zelfs beter dan methoden die tijdens inferentie zowel events als RGB-beelden gebruiken.
• MVSEC (Real-world, Nachtcondities): Het model toont robuustheid bij extreme verlichting. Op de "Night 2" en "Night 3" sequenties reduceert het de fout aanzienlijk ten opzichte van bestaande methoden, waarbij het de beperkingen van RGB-camera's in het donker omzeilt.
• Zero-Shot Generalisatie (DENSE): Getraind uitsluitend op synthetische data (EventScape), behaalt EventVGGT een fout van 1.33m op 30m op de ongezette DENSE dataset, wat aanzienlijk beter is dan de huidige state-of-the-art (EventDAM: 5.18m).
• Aanvullende Taken: Het framework kan succesvol worden uitgebreid naar andere geometrische taken, zoals schatting van camera-pose en dichte puntwolken, zonder extra training.

Betekenis en Impact

EventVGGT markeert een belangrijke doorbraak in 3D-perceptie voor autonome systemen:

• Robuustheid: Het biedt een oplossing voor diepteschatting in omstandigheden waar traditionele camera's falen (snelheid, donker, felle schaduwen).
• Efficiëntie: Door het gebruik van LoRA (Low-Rank Adaptation) blijft het aantal trainbare parameters laag, terwijl het gebruik van alleen events tijdens inferentie de rekenlast verlaagt.
• Temporale Consistentie: Het lost het probleem van "flickering" op dat veel bestaande event-based methoden plagen, wat essentieel is voor veilige navigatie van robots en voertuigen.
• Toekomstperspectief: Het paper toont aan dat foundation models (VFMs) effectief kunnen worden gebruikt om kennis over te dragen naar exotische sensoren zoals event-cameras, mits de inherente temporale aard van die data correct wordt gemodelleerd.

Kortom, EventVGGT bewijst dat het modelleren van events als videosequenties, in combinatie met multi-view distillatie, de prestaties van event-based 3D-perceptie drastisch kan verbeteren zonder de noodzaak van kostbare ground-truth annotaties.