Static in Frames, Dynamic in Events: Rethinking Features in Event Cameras as Motion Cues

Technische Samenvatting: Statisch in Frames, Dynamisch in Events: Het heroverwegen van Features in Event-camera's als Bewegingskenmerken

Probleemstelling
Event-camera's verschillen fundamenteel van frame-gebaseerde camera's doordat ze asynchroon intensiteitsveranderingen per pixel rapporteren met een microseconde temporele resolutie. Bestaande event-gebaseerde visiesystemen behandelen event-data vaak op een vergelijkbare manier als statische frames—door asynchrone events te aggregeren in representaties zoals voxel-grids of tijdsoppervlakken (time surfaces)—maar deze aanpak negeert de inherente aard van event-data. In tegen tegenstelling tot statische intensiteitssamples, coderen event-data intrinsiek scènedynamiek en objectbeweging. De auteurs stellen dat features afgeleid van event-data, specifiek die gebruikt voor hoekdetectie (corner detection), bewegingsinformatie kunnen bevatten die geen directe analogie heeft in frame-gebaseerde visie. Het kernprobleem dat wordt geadresseerd is of deze specifieke features expliciet herkend en benut kunnen worden als "bewegingskenmerken" (motion cues) om downstream bewegingsschattings-taken, zoals optische stroom (optical flow), te verbeteren.

Methodologie
Het artikel stelt een theoretische en empirische analyse voor van twee specifieke features die worden gebruikt bij event-gebaseerde hoekdetectie: de eigenwaarden van de structuurtensor (Harris-eigenwaarden) en ruimtelijke-temporele dichtheidswaarden.

1. Feature Extractie: De auteurs construeren een dichtheidsafbeelding $I$ door de event-stroom ruimtelijk-temporeel te filteren, waarbij bijdragen van het verleden worden gewogen op basis van polariteit, ruimtelijke nabijheid en temporele recentheid. Vanuit deze dichtheidsafbeelding worden ruimtelijke gradiënten berekend om de structuurtensor $S_w$ te vormen. De Harris-eigenwaarden ($\lambda_1, \lambda_2$) worden vervolgens afgeleid van deze tensor.
2. Theoretische Analyse: De auteurs leggen een theoretische link tussen Harris-eigenwaarden en bewegingsrichting. Met behulp van een geometrisch model van een translerende driehoek demonstreren zij dat de eigenwaarden, wanneer gecombineerd met lokale geometrische informatie (specifiek de eenheidsnormaalvectoren van randen bij een hoek), de richting van beweging wiskundig kunnen herstellen. Zij leiden een kwadratische vergelijking af die de eigenwaarden relateert aan de sectoroppervlakken van de door beweging geïnduceerde gradiëntverdeling, waardoor de reconstructie van de bewegingsvectorrichting mogelijk wordt.
3. Experimentele Validatie:
   • Synthetische "Toy" Dataset: Een gecontroleerde dataset werd gegenereerd met een vijfpuntige ster die simultane translatie en rotatie onderging langs een figuur-acht traject. De grondwaarheid (ground truth) van de optische stroom was beschikbaar voor elk event.
   • Order-Invariante MLP: Een lichtgewicht, permutatie-invariante Multi-Layer Perceptron (MLP) werd ontworpen om optische stroomvectoren te voorspellen vanuit lokale event-nabijheden. Dit model testte of de uitgebreide features (eigenwaarden en dichtheid) voldoende informatie bevatten om beweging te voorspellen vergeleken met een baseline die alleen relatieve ruimtelijke coördinaten gebruikt.
   • State-of-the-Art Integratie: De voorgestelde features werden geïntegreerd in IDNet, een lichtgewicht, gesuperviseerd netwerk voor optische stroom dat iteratieve deblurring gebruikt. De features werden gevoxeliseerd en geconcateneerd met standaard event-voxelrepresentaties.
4. Robuustheidstesten: Experimenten werden uitgevoerd om de prestaties te evalueren onder variërende condities: verschillende objecttexturen (met behulp van de Describable Textures Dataset), injectie van shot noise en variërende modelcapaciteiten (kleinere versus grotere verborgen dimensies).

Belangrijkste Bijdragen

• Theoretische Verbinding: Het artikel legt formeel vast dat Harris-eigenwaarden van de structuurtensor in event-camera's niet louter indicatoren van hoeken zijn, maar intrinsiek verbonden zijn met de bewegingsrichting. Het biedt een wiskundige afleiding die aantoont hoe deze eigenwaarden, gecombineerd met lokale geometrie, de richting van translerende hoeken kunnen herstellen.
• Validatie van Bewegingskenmerken: Door middel van gecontroleerde synthetische experimenten tonen de auteurs aan dat het uitbreiden van lokale geometrische features met Harris-eigenwaarden en dichtheidswaarden complementaire bewegingsinformatie biedt. Zij bewijzen dat de prestatiewinsten het gevolg zijn van de informatieve waarde van deze features, en niet simpelweg van een verhoogde modelcapaciteit of dimensionaliteit.
• Robuustheid en Generalisatie: De voorgestelde features blijken robuust onder uitdagende condities, inclus\n bij getextureerde voorgronden en shot noise.
• Prestaties in de Praktijk: De integratie van deze features in IDNet op de DSEC-benchmark levert consistente verbeteringen op in de nauwkeurigheid van de optische stroom. De auteurs benadrukken dat deze winsten het meest prominent zijn in scenario's met schaarse data en voor modellen met een lage capaciteit, wat suggereert dat de features modellen helpen om efficiënter bewegingsrepresentaties te leren wanneer data of parameters beperkt zijn.

Resultaten

• Synthetische Experimenten: Op de toy-dataset bereikten modellen die zowel Harris-eigenwaarden als dichtheidswaarden gebruikten de laagste Mean Squared Error (MSE) in optische stroomvoorspelling over alle geteste configuraties. De verbeteringen bleven bestaan, zelfs wanneer er werd gecontroleerd voor inputdimensionaliteit, en bleken onvoldoende zonder lokale geometrische context (relatieve ruimtelijke coördinaten).
• Robuustheid: Onder getextureerde condities verminderden de uitgebreide features de MSE-loss met gemiddeld ~28%. Onder shot noise condities (tot 50 Hz) behielden de uitgebreide features een significant hogere nauwkeurigheid, waarbij de MSE met ongeveer 72% werd verminderd ten opzichte van de baseline.
• DSEC Benchmark: Op de real-world DSEC-dataset verminderden de uitgebreide features consistent de fouten in de optische stroom (n-pixel error, endpoint error en angular error). Opvallend genoeg was de relatieve verbetering hoger voor het 1/8 resolutie model vergeleken met het 1/4 resolutie model, en significant hoger op een sub-dataset (1/6e van de trainingsdata) vergeleken met de volledige dataset. Dit bevestigt het nut van de features voor modellen met beperkte middelen en scenario's met weinig data.

Betekenis
Het artikel betoogt dat event-gebaseerde features niet alleen als statische beschrijvers, maar als dynamische bewegingskenmerken moeten worden geëvalueerd. De betekenis ligt in de identificatie van een eigenschap die uniek is voor event-camera's: het vermogen van standaard hoekdetectie-features om bewegingsrichting te coderen. Door deze eigenschap te benutten, stellen de auteurs een lichtgewicht, "plug-and-play" aanpak voor die de schatting van optische stroom verbetert zonder dat er aparte encoders of complexe cross-modale fusiestrategieën nodig zijn. Deze aanpak is bijzonder waardevol voor de implementatie van event-gebaseerde visiesystemen in scenario's met beperkte rekenkracht of schaarse trainingsdata.