No Dense Tensors Needed: Fully Sparse Object Detection on Event-Camera Voxel Grids

Probleemstelling

Event-camera's (neuromorfische sensoren) genereren asynchrone, hoog-dynamische datastromen die ideaal zijn voor het detecteren van kleine, snel bewegende drones, zelfs in omstandigheden met weinig licht of hoge dynamische bereik. Echter, de bestaande state-of-the-art detectoren voor event-data converteren deze uiterst schaarse gebeurtenisstromen naar dichte tensorrepresentaties (zoals frames of histogrammen) voordat ze worden verwerkt door conventionele netwerken (bijv. YOLOv11).

Dit proces heeft twee fundamentele nadelen:

1. Inefficiëntie: Hoewel event-frames vaak minder dan 1% van het invoervolume bezetten, verwerken dichte modellen alle pixelposities (bijv. 409.600 pixels voor een 640x640 grid), waardoor de rekenkracht en het geheugenverbruik disproportioneel hoog zijn ten opzichte van de daadwerkelijke informatie-inhoud.
2. Verlies van structuur: Door de conversie naar dichte frames gaat de inherente structurele schaarste van de neuromorfe data verloren, wat de schaalbaarheid naar hogere resoluties beperkt.

Methodologie: SparseVoxelDet

De auteurs introduceren SparseVoxelDet, naar hun weten de eerste objectdetector voor event-camera's die volledig schaars werkt. Het model voert alle berekeningen uit op het niveau van bezette voxelposities, zonder ooit een dichte feature-map te instantiëren.

De architectuur bestaat uit drie hoofdfasen, allemaal gebaseerd op 3D-schaarse convoluties:

1. Event Voxelisatie:

   • Asynchrone gebeurtenissen worden omgezet in een schaarse 3D-voxelgrid (T × H × W).
   • Er wordt gebruik gemaakt van een 6-kanaals tijdsoppervlak-kenmerk per actieve voxel: logaritmische tellingen van positieve/negatieve gebeurtenissen, recency (hoe recent de gebeurtenis was) en temporale standaardafwijking.
   • Alleen voxels met een gebeurtenis worden opgeslagen als coördinaat-kenmerkparen.

2. Backbone (SparseSEResNet):

   • Een 3D-schaars residu-netwerk (geïnspireerd op SEW-ResNet) verwerkt de voxelgrid.
   • Het gebruikt submanifold-schaarse convoluties (SubMConv) en squeeze-and-excitation (SE) attention.
   • Het produceert multi-schaal features op strides 4, 8 en 16, waarbij alleen bezette posities worden verwerkt.

3. Feature Pyramid Network (SparseFPN):

   • Een schaarse versie van de FPN fuseert de multi-schaal features via schaarse laterale verbindingen en schaarse transpositie-convoluties (upsampling).
   • Dit resulteert in een unificatie van features op stride 4.

4. Temporale Squeeze en Detectiehoofd:

   • De tijdsdimensie wordt samengeperst via max-pooling over de temporale bins voor elke (x, y)-positie.
   • Het detectiehoofd (gebaseerd op FCOS) is een gedeelde MLP die per actieve positie classificatie, box-regressie (LTRB) en centerness voorspelt.
   • Cruciaal: Er wordt op geen enkel moment in de pijplijn een dichte tensor (H × W) toegekend.

Belangrijkste Bijdragen

1. Volledig Schaarse Architectuur: De eerste end-to-end detector voor event-camera's die geen enkele dichte tensor gebruikt. Dit leidt tot een rekencomplexiteit die evenredig is met de scène-activiteit en niet met de sensorresolutie.
2. Efficiëntie en Schaalbaarheid: Het model verwerkt slechts ~14.900 actieve voxels per frame (bij 640x640), wat 28x minder posities zijn dan een dichte YOLO-baseline. Dit resulteert in een 858x compressie van GPU-geheugen en een 3.670x reductie in opslagruimte ten opzichte van een equivalente dichte 3D-voxeltensor.
3. Foutforensiek en Analyse: Een systematische analyse van 119.459 testframes onthult dat de prestatiekloof met dichte baselines voornamelijk wordt veroorzaakt door box-regressie precisie (lokalisatiefouten) en niet door het missen van objecten.

Resultaten

De evaluatie vond plaats op het FRED-benchmark (drone-detectie dataset, 629.832 gelabelde frames).

• Prestatie: SparseVoxelDet bereikt 83,38% mAP@50. Dit ligt slechts 4,3 procentpunten onder de dichte YOLOv11-baseline (87,68% mAP@50), terwijl het aanzienlijk efficiënter is.
• Kloofanalyse:
  • Bij het versoepelen van de IoU-drempel van 0,50 naar 0,40 stijgt de mAP naar 89,26%.
  • 71% van de fouten zijn "localization near-misses" (de drone wordt gedetecteerd, maar de bounding box is niet strak genoeg).
  • De recall is zeer hoog: 91,9% bij IoU ≥ 0,50 en 95,4% bij IoU ≥ 0,40.
• Resolutie-onafhankelijkheid: Bij een verhoging van de sensorresolutie van 640x640 naar native 1280x720 (een toename van 2,25x in pixels), neemt het aantal actieve voxels slechts met 9% toe. Dit bevestigt dat de kosten worden bepaald door de beweging in de scène, niet door de resolutie.
• Foutpatroon: De lagere precisie wordt toegeschreven aan de aard van event-data: drones genereren voornamelijk gebeurtenissen aan hun randen (contouren) in plaats van een gevuld oppervlak. Dichte modellen zien het volledige object, terwijl schaarse convoluties moeten infereren op basis van onvolledige randinformatie.

Betekenis en Conclusie

Dit werk bewijst dat native schaarste-verwerking een haalbaar en krachtig paradigma is voor objectdetectie met event-camera's. Het biedt een oplossing voor de schaalbaarheidsproblemen van neuromorfe sensoren: naarmate sensoren hogere resoluties bereiken, hoeven de rekenkosten niet exponentieel te stijgen zolang de scène-activiteit beperkt blijft.

Hoewel er nog een kleine kloof is in box-regressieprecisie ten opzichte van dichte methoden, is de detectiecapaciteit uitstekend. De studie legt de basis voor toekomstige neuromorfe systemen die temporale details behouden zonder de kosten van dichte resolutie te betalen, wat essentieel is voor rand-apparaten (edge devices) met beperkt geheugen en energie. De identificatie van box-regressie als de primaire bottleneck biedt een duidelijke richting voor toekomstige verbeteringen (bijv. betere tijdsfusie of multi-schaal heads).