M$^2$E-UAV: A Benchmark and Analysis for Onboard Motion-on-Motion Event-Based Tiny UAV Detection

Resumen Técnico: M2E-UAV

Definición del Problema
El artículo aborda el desafío de detectar pequeños Vehículos Aéreos No Tripulados (UAV) utilizando cámaras de eventos a bordo cuando tanto el observador (UAV portador) como el objetivo están en movimiento. Este régimen de "movimiento sobre movimiento" presenta una dificultad fundamental distinta de los escenarios con observadores estáticos o basados en tierra. En entornos tradicionales, los objetivos en movimiento generan la actividad principal de eventos frente a fondos relativamente limpios. Sin embargo, en la detección desde la vista de un UAV a bordo, el propio movimiento del sensor activa continuamente bordes de fondo densos en edificios, vegetación y estructuras del horizonte. En consecuencia, el pequeño UAV objetivo aparece únicamente como un grupo disperso de eventos incrustado dentro de un desorden de fondo abrumador inducido por el movimiento propio. Esto rompe la suposición de "fondo limpio" común en la literatura existente de detección basada en eventos, haciendo que la separación de la evidencia dispersa del objetivo del ruido denso del fondo sea significativamente más difícil.

Metodología y Construcción del Punto de Referencia
Para explorar este problema específico, los autores introducen M2E-UAV, el primer conjunto de datos y punto de referencia dedicado a la detección de pequeños UAV basada en eventos de movimiento sobre movimiento a bordo.

• Recolección de Datos: El conjunto de datos se recolectó utilizando un UAV portador (DJI Matrice 300 RTK) equipado con una cámara de eventos SilkyEvCam HD (resolución 1280×720) y un IMU DETA100D4G de FDI Systems. Una placa de sincronización de disparo personalizada basada en STM32 asegura una alineación temporal precisa entre el flujo de eventos asíncrono y las mediciones del IMU.
• Escenas y Condiciones: El punto de referencia abarca cuatro familias de escenas que combinan diferentes iluminaciones (soleado, atardecer) y estructuras de fondo (edificios-bosque, granja-pueblo). Contiene 87.223 muestras de entrenamiento y 21.395 muestras de validación.
• Pipeline de Anotación: La verdad fundamental se deriva de anotaciones de cajas delimitadoras 2D a 10 Hz. Estas etiquetas dispersas a nivel de cuadro se propagan e interpolan temporalmente para crear supervisión espacio-temporal, que luego se "eleva" para generar etiquetas de primer plano a nivel de punto/evento para eventos individuales. Esto permite la supervisión a la granularidad del evento en lugar de solo a nivel de cuadro.
• Agnosticismo de Representación: El punto de referencia está diseñado para ser agnóstico a la representación, soportando acumulación de cuadros de eventos, tensores de cuadrícula de voxels y representaciones de conjuntos de puntos dispersos. También proporciona datos sincronizados del IMU como modalidad auxiliar opcional para la fusión consciente del movimiento.

Contribuciones Clave

1. Conjunto de Datos M2E-UAV: El primer conjunto de datos y punto de referencia basado en eventos para la detección de pequeños UAV de movimiento sobre movimiento a bordo, capturando el desafío específico donde un sensor en movimiento observa un objetivo pequeño en movimiento.
2. Datos Multimodales Sincronizados: Provisión de flujos de eventos de 720p sincronizados con mediciones del IMU, junto con anotaciones de cajas delimitadoras a 10 Hz y etiquetas de primer plano a nivel de punto/evento derivadas.
3. Protocolo de Evaluación Unificado: Una división estandarizada de entrenamiento/validación y un marco de evaluación (utilizando mAP50, mAP50:95 y F1) para comparar baselines existentes representativas a través de diferentes representaciones de entrada (cuadro de eventos, tensor de eventos y punto de evento).

Resultados Experimentales
Los autores evaluaron baselines representativas de tres categorías:

• Detectores de Cuadro de Eventos: YOLOv10 aplicado a cuadros de eventos acumulados.
• Métodos de Tensor de Eventos: RVT y SAST (utilizando cuadrículas de voxels).
• Métodos de Punto de Evento: KPConv, RandLA-Net, COSeg y la baseline EV-UAV.

Los resultados indican que los métodos actuales de vanguardia permanecen limitados en este régimen:

• Precisión de Localización: Aunque algunos métodos logran una localización gruesa razonable (por ejemplo, RVT alcanzando 0.8186 mAP50), las métricas de localización estrictas (mAP50:95) permanecen bajas (por ejemplo, 0.3815 para RVT), lo que sugiere dificultad en la definición precisa de los límites.
• Sensibilidad del Conjunto de Puntos: Las baselines de conjuntos de puntos luchan significativamente con el desequilibrio severo entre primer plano y fondo, ya que los eventos de UAV pequeños ocupan una fracción minúscula del paquete de eventos. Por ejemplo, RandLA-Net alcanzó solo 0.0228 mAP50.
• Interferencia de Fondo: Los eventos de fondo densos generados por el movimiento propio compiten con la evidencia dispersa del objetivo, causando que los métodos existentes no logren distinguir el objetivo de manera efectiva.

Significado y Afirmaciones
El artículo posiciona a M2E-UAV no meramente como una liberación de datos, sino como un punto de referencia de diagnóstico para analizar la percepción de eventos de movimiento sobre movimiento a bordo. Los autores afirman que el punto de referencia revela una brecha crítica en la detección basada en eventos actual: los métodos existentes, optimizados para observadores estáticos o basados en tierra, no están equipados para manejar la activación densa de fondo causada por el movimiento propio del sensor. El rendimiento modesto de diversas baselines a través de diferentes representaciones sugiere que la detección de pequeños UAV de movimiento sobre movimiento a bordo sigue siendo un desafío abierto que requiere nuevos diseños arquitectónicos específicamente adaptados a este régimen. El artículo no propone un nuevo detector, sino que establece la dificultad del problema para guiar la investigación futura.