M$^2$E-UAV: A Benchmark and Analysis for Onboard Motion-on-Motion Event-Based Tiny UAV Detection

Resumo Técnico: M2E-UAV

Definição do Problema
O artigo aborda o desafio de detectar pequenos Veículos Aéreos Não Tripulados (UAVs) utilizando câmeras de eventos a bordo, quando tanto o observador (UAV portador) quanto o alvo estão em movimento. Este regime de "movimento sobre movimento" apresenta uma dificuldade fundamental distinta de cenários com observadores estáticos ou baseados no solo. Em configurações tradicionais, alvos em movimento geram a principal atividade de eventos contra fundos relativamente limpos. No entanto, na detecção a bordo com visão de UAV, o próprio movimento de ego do sensor ativa continuamente bordas densas do fundo em edifícios, vegetação e estruturas do horizonte. Consequentemente, o pequeno UAV alvo aparece apenas como um agrupamento esparsos de eventos embutido em uma desordem de fundo avassaladora, induzida pelo movimento de ego. Isso rompe a suposição de "fundo limpo" comum na literatura existente de detecção baseada em eventos, tornando a separação de evidências esparsas do alvo do ruído denso do fundo significativamente mais difícil.

Metodologia e Construção do Benchmark
Para explorar este problema específico, os autores introduzem o M2E-UAV, o primeiro conjunto de dados e benchmark dedicado à detecção baseada em eventos de pequenos UAVs em movimento sobre movimento a bordo.

• Coleta de Dados: O conjunto de dados foi coletado usando um UAV portador (DJI Matrice 300 RTK) equipado com uma câmera de eventos SilkyEvCam HD (resolução 1280×720) e um IMU FDI Systems DETA100D4G. Uma placa de sincronização de gatilho personalizada baseada em STM32 garante o alinhamento temporal preciso entre o fluxo de eventos assíncrono e as medições do IMU.
• Cenas e Condições: O benchmark abrange quatro famílias de cenas combinando diferentes iluminações (solar, pôr do sol) e estruturas de fundo (edifício-floresta, fazenda-vila). Contém 87.223 amostras de treinamento e 21.395 amostras de validação.
• Pipeline de Anotação: A verdade fundamental é derivada de anotações de caixas delimitadoras 2D a 10 Hz. Esses rótulos esparsos ao nível de quadro são propagados e interpolados temporalmente para criar supervisão espaço-temporal, que é então "elevada" para gerar rótulos de primeiro plano ao nível de ponto/ao nível de evento para eventos individuais. Isso permite supervisão na granularidade de eventos, e não apenas ao nível de quadro.
• Agnosticismo de Representação: O benchmark é projetado para ser agnóstico à representação, suportando acumulação de quadros de eventos, tensores de grade de voxels e representações de conjuntos de pontos esparsos. Também fornece dados de IMU sincronizados como uma modalidade auxiliar opcional para fusão consciente do movimento.

Principais Contribuições

1. Conjunto de Dados M2E-UAV: O primeiro conjunto de dados e benchmark baseado em eventos para detecção de pequenos UAVs em movimento sobre movimento a bordo, capturando o desafio específico onde um sensor em movimento observa um pequeno alvo em movimento.
2. Dados Multimodais Sincronizados: Fornecimento de fluxos de eventos 720p sincronizados com medições de IMU, juntamente com anotações de caixas delimitadoras a 10 Hz e rótulos de primeiro plano ao nível de ponto/ao nível de evento derivados.
3. Protocolo de Avaliação Unificado: Uma divisão padronizada de treinamento/validação e um framework de avaliação (usando mAP50, mAP50:95 e F1) para comparar baselines existentes representativas através de diferentes representações de entrada (quadro de evento, tensor de evento e ponto de evento).

Resultados Experimentais
Os autores avaliaram baselines representativas de três categorias:

• Detectores de Quadro de Evento: YOLOv10 aplicado a quadros de eventos acumulados.
• Métodos de Tensor de Evento: RVT e SAST (usando grades de voxels).
• Métodos de Ponto de Evento: KPConv, RandLA-Net, COSeg e a baseline EV-UAV.

Os resultados indicam que os métodos atuais de última geração permanecem limitados neste regime:

• Precisão de Localização: Embora alguns métodos alcancem localização grosseira razoável (por exemplo, RVT alcançando 0,8186 mAP50), métricas estritas de localização (mAP50:95) permanecem baixas (por exemplo, 0,3815 para RVT), sugerindo dificuldade na definição precisa de limites.
• Sensibilidade do Conjunto de Pontos: As bases de conjuntos de pontos lutam significativamente com o desequilíbrio severo entre primeiro plano e fundo, pois os eventos de pequenos UAVs ocupam uma fração minúscula do pacote de eventos. Por exemplo, o RandLA-Net alcançou apenas 0,0228 mAP50.
• Interferência de Fundo: Os eventos densos do fundo gerados pelo movimento de ego competem com as evidências esparsas do alvo, fazendo com que os métodos existentes falhem em distinguir o alvo efetivamente.

Significado e Alegações
O artigo posiciona o M2E-UAV não meramente como um lançamento de dados, mas como um benchmark diagnóstico para analisar a percepção baseada em eventos em movimento sobre movimento a bordo. Os autores afirmam que o benchmark revela uma lacuna crítica na detecção baseada em eventos atual: os métodos existentes, otimizados para observadores estáticos ou baseados no solo, não estão equipados para lidar com a ativação densa do fundo causada pelo movimento de ego do sensor. O desempenho modesto de diversas bases através de diferentes representações sugere que a detecção de pequenos UAVs em movimento sobre movimento a bordo permanece um desafio aberto, exigindo novos designs arquitetônicos especificamente adaptados a este regime. O artigo não propõe um novo detector, mas sim estabelece a dificuldade do problema para orientar pesquisas futuras.