M$^2$E-UAV: A Benchmark and Analysis for Onboard Motion-on-Motion Event-Based Tiny UAV Detection

Riepilogo Tecnico: M2E-UAV

Definizione del Problema
Il documento affronta la sfida del rilevamento di piccoli Veicoli Aerei Non Pilotati (UAV) utilizzando telecamere a eventi a bordo, quando sia l'osservatore (UAV portante) sia il bersaglio sono in movimento. Questo regime di "movimento su movimento" presenta una difficoltà fondamentale distinta dagli scenari con osservatori statici o basati a terra. Negli ambienti tradizionali, i bersagli in movimento generano l'attività principale degli eventi su sfondi relativamente puliti. Tuttavia, nel rilevamento dalla prospettiva di un UAV a bordo, il proprio moto dell'ego del sensore attiva continuamente bordi di sfondo densi attraverso edifici, vegetazione e strutture dell'orizzonte. Di conseguenza, il minuscolo UAV bersaglio appare solo come un cluster sparso di eventi incorporato in un ingombrante disordine di sfondo indotto dal moto dell'ego. Ciò infrange l'ipotesi di "sfondo pulito" comune nella letteratura esistente sul rilevamento basato su eventi, rendendo significativamente più difficile la separazione delle evidenze sparse del bersaglio dal rumore denso dello sfondo.

Metodologia e Costruzione del Benchmark
Per esplorare questo problema specifico, gli autori introducono M2E-UAV, il primo dataset e benchmark dedicati al rilevamento basato su eventi di piccoli UAV in movimento su movimento a bordo.

• Raccolta Dati: Il dataset è stato raccolto utilizzando un UAV portante (DJI Matrice 300 RTK) equipaggiato con una telecamera a eventi SilkyEvCam HD (risoluzione 1280×720) e un IMU FDI Systems DETA100D4G. Una scheda di sincronizzazione di trigger personalizzata basata su STM32 garantisce un allineamento temporale preciso tra il flusso di eventi asincrono e le misurazioni IMU.
• Scene e Condizioni: Il benchmark copre quattro famiglie di scene che combinano diverse illuminazioni (sole, tramonto) e strutture di sfondo (edificio-foresta, fattoria-villaggio). Contiene 87.223 campioni di addestramento e 21.395 campioni di validazione.
• Pipeline di Annotazione: La verità di base è derivata da annotazioni di riquadri di delimitazione 2D a 10 Hz. Queste etichette sparse a livello di frame vengono propagate temporalmente e interpolate per creare supervisione spazio-temporale, che viene poi "sollevata" per generare etichette di primo piano a livello di punto/evento per i singoli eventi. Ciò consente una supervisione alla granularità dell'evento piuttosto che solo a livello di frame.
• Agnosticismo della Rappresentazione: Il benchmark è progettato per essere agnostico rispetto alla rappresentazione, supportando l'accumulo di frame di eventi, tensori a griglia voxel e rappresentazioni di insiemi di punti sparsi. Fornisce inoltre dati IMU sincronizzati come modalità ausiliaria opzionale per la fusione consapevole del movimento.

Principali Contributi

1. Dataset M2E-UAV: Il primo dataset e benchmark basato su eventi per il rilevamento di piccoli UAV in movimento su movimento a bordo, che cattura la sfida specifica in cui un sensore in movimento osserva un minuscolo bersaglio in movimento.
2. Dati Multi-Modali Sincronizzati: Fornitura di flussi di eventi a 720p sincronizzati con misurazioni IMU, insieme a etichette di riquadri di delimitazione a 10 Hz ed etichette di primo piano derivate a livello di punto/evento.
3. Protocollo di Valutazione Unificato: Una divisione standardizzata di addestramento/validazione e un framework di valutazione (utilizzando mAP50, mAP50:95 e F1) per confrontare baselines esistenti rappresentative attraverso diverse rappresentazioni di input (frame di eventi, tensore di eventi e punto di eventi).

Risultati Sperimentali
Gli autori hanno valutato baselines rappresentative da tre categorie:

• Rilevatori a Frame di Eventi: YOLOv10 applicato a frame di eventi accumulati.
• Metodi a Tensore di Eventi: RVT e SAST (utilizzando griglie voxel).
• Metodi a Insieme di Punti: KPConv, RandLA-Net, COSeg e la baseline EV-UAV.

I risultati indicano che i metodi all'avanguardia attuali rimangono limitati in questo regime:

• Precisione di Localizzazione: Sebbene alcuni metodi raggiungano una localizzazione grezza ragionevole (ad esempio, RVT che ottiene 0,8186 mAP50), le metriche di localizzazione rigorose (mAP50:95) rimangono basse (ad esempio, 0,3815 per RVT), suggerendo difficoltà nella definizione precisa dei confini.
• Sensibilità dell'Insieme di Punti: Le baselines a insieme di punti faticano significativamente con lo squilibrio grave tra primo piano e sfondo, poiché gli eventi degli UAV minuscoli occupano una frazione minuscola del pacchetto di eventi. Ad esempio, RandLA-Net ha ottenuto solo 0,0228 mAP50.
• Interferenza dello Sfondo: Gli eventi di sfondo densi generati dal moto dell'ego competono con le evidenze sparse del bersaglio, causando il fallimento dei metodi esistenti nel distinguere efficacemente il bersaglio.

Significato e Affermazioni
Il documento posiziona M2E-UAV non semplicemente come una release di dati, ma come un benchmark diagnostico per analizzare la percezione basata su eventi in movimento su movimento a bordo. Gli autori affermano che il benchmark rivela un divario critico nel rilevamento basato su eventi attuale: i metodi esistenti, ottimizzati per osservatori statici o basati a terra, non sono adeguatamente attrezzati per gestire l'attivazione densa dello sfondo causata dal moto dell'ego del sensore. La performance modesta di baselines diverse attraverso diverse rappresentazioni suggerisce che il rilevamento di piccoli UAV in movimento su movimento a bordo rimane una sfida aperta che richiede nuovi design architetturali specificamente adattati a questo regime. Il documento non propone un nuovo rilevatore, ma stabilisce piuttosto la difficoltà del problema per guidare la ricerca futura.