M$^2$E-UAV: A Benchmark and Analysis for Onboard Motion-on-Motion Event-Based Tiny UAV Detection

Technische Samenvatting: M2E-UAV

Probleemdefinitie
Het artikel behandelt de uitdaging van het detecteren van kleine onbemande luchtvaartuigen (UAV's) met behulp van aan boord aanwezige event-camera's, wanneer zowel de waarnemer (drager-UAV) als het doelwit in beweging zijn. Deze "beweging-op-beweging"-regime presenteert een fundamentele moeilijkheid die verschilt van scenario's met een statische of grondgebonden waarnemer. In traditionele settingen genereren bewegende doelwitten de belangrijkste event-activiteit tegen relatief schone achtergronden. Echter, bij detectie vanuit een UAV aan boord, activeert de eigen beweging (ego-motion) van de sensor continu dichte achtergrondbanden over gebouwen, vegetatie en horizonstructuren. Bijgevolg verschijnt het kleine doelwit-UAV slechts als een schaarse event-cluster ingebed in overweldigende, door ego-motion veroorzaakte achtergrondruis. Dit doorbreekt de "schone-achtergrond"-aanname die gebruikelijk is in bestaande literatuur over event-gebaseerde detectie, waardoor het scheiden van schaarse doelwitbewijzen van dichte achtergrondruis aanzienlijk moeilijker wordt.

Methodologie en Bouw van de Benchmark
Om dit specifieke probleem te verkennen, introduceren de auteurs M2E-UAV, de eerste dataset en benchmark gewijd aan aan boord aanwezige beweging-op-beweging event-gebaseerde detectie van kleine UAV's.

• Datacollectie: De dataset is verzameld met een drager-UAV (DJI Matrice 300 RTK) uitgerust met een SilkyEvCam HD event-camera (resolutie 1280×720) en een FDI Systems DETA100D4G IMU. Een aangepaste STM32-gebaseerde trigger-synchronisatieplaat zorgt voor nauwkeurige temporele uitlijning tussen de asynchrone event-stroom en IMU-metingen.
• Scènes en Omstandigheden: De benchmark bestrijkt vier scenenfamilies die verschillende verlichting (zonnig, zonsondergang) en achtergrondstructuren (gebouw-bos, boerderij-dorp) combineren. Het bevat 87.223 trainingsstalen en 21.395 validatiestalen.
• Annotatiepijplijn: De grondwahrheid is afgeleid van 10 Hz 2D-boundingbox-annotaties. Deze schaarse frame-niveau labels worden temporeel gepropageerd en geïnterpoleerd om spatiotemporele supervisie te creëren, die vervolgens wordt "opgetild" om punt-niveau/event-niveau voorgrondlabels voor individuele events te genereren. Dit maakt supervisie mogelijk op event-granulariteit in plaats van alleen op frame-niveau.
• Representatie-agnostisch: De benchmark is ontworpen om representatie-agnostisch te zijn, met ondersteuning voor event-frame accumulatie, voxel-grid-tensors en schaarse punt-set representaties. Het biedt ook gesynchroniseerde IMU-data als optionele aanvullende modale voor bewegingsbewuste fusie.

Belangrijkste Bijdragen

1. M2E-UAV Dataset: De eerste event-gebaseerde dataset en benchmark voor aan boord aanwezige beweging-op-beweging detectie van kleine UAV's, die de specifieke uitdaging vastlegt waarbij een bewegende sensor een bewegend klein doelwit observeert.
2. Gesynchroniseerde Multi-Modale Data: Levering van 720p event-stromen gesynchroniseerd met IMU-metingen, samen met 10 Hz boundingbox-annotaties en afgeleide punt-niveau/event-niveau voorgrondlabels.
3. Unificatie Evaluatieprotocol: Een gestandaardiseerde train/validatie-verdeling en evaluatiekader (met gebruik van mAP50, mAP50:95 en F1) om representatieve bestaande baselines te vergelijken over verschillende input-representaties (event-frame, event-tensor en event-punt).

Experimentele Resultaten
De auteurs evalueerden representatieve baselines uit drie categorieën:

• Event-Frame Detectoren: YOLOv10 toegepast op geaccumuleerde event-frames.
• Event-Tensor Methoden: RVT en SAST (met gebruik van voxel-grids).
• Event-Punt Methoden: KPConv, RandLA-Net, COSeg en de EV-UAV baseline.

De resultaten geven aan dat huidige state-of-the-art methoden beperkt blijven in dit regime:

• Localisatieprecisie: Hoewel sommige methoden redelijke grove localisatie bereiken (bijvoorbeeld RVT met 0,8186 mAP50), blijven strikte localisatiemetrics (mAP50:95) laag (bijvoorbeeld 0,3815 voor RVT), wat wijst op moeilijkheden bij het definiëren van precieze grenzen.
• Punt-set Sensitiviteit: Punt-set baselines hebben aanzienlijk moeite met de ernstige voorgrond-achtergrond-ongelijkheid, aangezien kleine UAV-events een minimaal fractie van het event-pakket innemen. Bijvoorbeeld, RandLA-Net behaalde slechts 0,0228 mAP50.
• Achtergrondinterferentie: De dichte achtergrondevents gegenereerd door ego-motion concurreren met het schaarse doelwitbewijs, waardoor bestaande methoden het doelwit niet effectief kunnen onderscheiden.

Betekenis en Beweringen
Het artikel positioneert M2E-UAV niet louter als een data-release, maar als een diagnostische benchmark voor het analyseren van aan boord aanwezige beweging-op-beweging event-perceptie. De auteurs beweren dat de benchmark een kritieke kloof blootlegt in de huidige event-gebaseerde detectie: bestaande methoden, geoptimaliseerd voor statische of grondgebonden waarnemers, zijn slecht toegerust om de dichte achtergrondactivatie te hanteren die wordt veroorzaakt door sensor ego-motion. De bescheiden prestaties van diverse baselines over verschillende representaties suggereren dat aan boord aanwezige beweging-op-beweging detectie van kleine UAV's een open uitdaging blijft die nieuwe architecturale ontwerpen vereist die specifiek op dit regime zijn toegesneden. Het artikel stelt geen nieuwe detector voor, maar vestigt eerder de moeilijkheid van het probleem om toekomstig onderzoek te sturen.