Frequency-domain Event-based Imaging for Selective Surveillance

Resumen Técnico: Imagen basada en Eventos en el Dominio de la Frecuencia para Vigilancia Selectiva

Enunciado del Problema
Los sistemas de vigilancia existentes enfrentan una degradación significativa del rendimiento al detectar objetivos bajo condiciones de movimiento rápido, bajo contraste, fondos complejos o turbulencia óptica. Las pipelines tradicionales de Reconocimiento Automático de Objetivos (ATR) luchan por distinguir pequeños Sistemas Aéreos No Tripulados (UAS) de elementos de confusión como aves. Si bien las Cámaras Basadas en Eventos (EBC) ofrecen alta resolución temporal y rango dinámico al codificar cambios de radiación a nivel de píxel, su salida asíncrona y dispersa presenta desafíos. Los métodos actuales a menudo reconstruyen cuadros similares a la intensidad, perdiendo la eficiencia impulsada por el contraste de los datos de eventos, o dependen de agrupamiento espacial/temporal que asume que los objetos comparten estructuras similares. Además, el rendimiento de las EBC es sensible a los umbrales de contraste definidos por el usuario y requiere una calibración precisa del ruido. Existe una necesidad de algoritmos que aprovechen la rica estructura temporal de los flujos de eventos para discriminar objetos artificiales basándose en su periodicidad inherente (por ejemplo, rotación de rotores, vibración mecánica) sin requerir una extensa calibración del sensor ni una reconstrucción de cuadros completos.

Metodología: El Marco FRIES
Para abordar estas brechas, los autores introducen Información de Tasa de Frecuencia para el Espacio de Eventos (FRIES), un marco de procesamiento neuromórfico diseñado para discriminar objetivos artificiales detectando periodicidad en eventos a nivel de píxel. El marco opera en cuatro etapas distintas:

1. Puerta de Tiempo: El flujo de eventos crudo se separa por polaridad para evitar la cancelación en bordes oscilantes. Los eventos se agrupan en intervalos fijos (10 ms). Se aplica una puerta de tiempo a cada píxel, reteniendo solo los eventos donde el intervalo inter-evento cae dentro de un rango específico ($t_{min}$ a $t_{max}$). Esto suprime el ruido de sensor de alta frecuencia y el movimiento de fondo de baja frecuencia, preservando la banda de frecuencia de interés (por ejemplo, 50–500 Hz para rotores de drones).
2. Detección y Agrupamiento: Los eventos retenidos se agregan en un mapa de actividad 2D por píxel. Para evitar un análisis espectral computacionalmente costoso en todo el campo de visión, se aplica un umbral adaptativo basado en la puntuación de actividad mediana del mapa. Esto asume que los objetivos son escasos y producen tasas de eventos más altas que el fondo. El mapa umbralizado se submuestrea, y DBSCAN (Agrupamiento Espacial Basado en Densidad de Aplicaciones con Ruido) agrupa píxeles de alta actividad contiguos espacialmente en Regiones de Interés (ROI).
3. Análisis Espectral: Para cada ROI, se recuperan los eventos del flujo sin filtrar y se organizan en series temporales por píxel. Se aplica una Transformada Discreta de Fourier (DFT) para generar un mapa de Densidad Espectral de Potencia (PSD). La frecuencia dominante para cada ROI se asigna basándose en el pico de frecuencia más común a través de sus píxeles constituyentes, asegurando que la etiqueta refleje el impulsor consistente de la actividad en lugar del ruido transitorio.
4. Visualización de Superficie de Tiempo Resonante (RTS): Para habilitar la vigilancia selectiva, la RTS visualiza los eventos entrantes en tiempo real. Pesa los eventos basándose en su coherencia de fase con la frecuencia dominante extraída. Los eventos en fase con la frecuencia del objetivo se ponderan máximamente, mientras que los eventos fuera de fase (desorden/ruido) se suprimen o penalizan. Esto crea una superficie selectiva en frecuencia que resalta fuentes mecánicas resonantes.

Contribuciones Clave

• Primitiva de Detección en el Dominio de la Frecuencia: El artículo introduce un mecanismo de detección impulsado por firmas espectrales en lugar de tendencias puramente espaciales o temporales, aprovechando la única alta resolución temporal de las EBC.
• Procesamiento Adaptativo y Libre de Calibración: Al utilizar umbrales adaptativos basados en la mediana y puertas de tiempo, el sistema opera de manera robusta a través de diferentes sensores y entornos sin requerir reajuste manual ni conocimiento preciso de modelos de ruido específicos de la escena.
• Superficie de Tiempo Resonante (RTS): Una herramienta de visualización novedosa que filtra y estructura flujos de eventos basándose en la coherencia de fase, permitiendo la mejora selectiva de contenido sincronizado y la supresión de desorden desincronizado.
• Pipeline de Cuatro Etapas: Un marco completo (Filtrar, Agrupar, Análisis Espectral, Visualizar) que reduce la carga computacional al restringir el análisis espectral completo a las ROI candidatas.

Resultados Experimentales
El marco FRIES se evaluó utilizando una cámara basada en eventos Prophesee EVK4 en dos escenarios:

1. Experimento Controlado en Interior: El sistema recuperó con éxito la frecuencia de rotación de un cortador mecánico (110 Hz) e identificó frecuencias distintas para rotores de drones (129–451 Hz) contra un fondo en movimiento y desordenado (un árbol dinámico). La visualización RTS aisló efectivamente el cortador y rotores específicos de drones del fondo, mientras que las superficies de tiempo estándar difuminaron estos objetivos.
2. Experimento No Controlado en Exterior: Se detectó un drone en vuelo estacionario contra una línea de árboles impulsada por el viento. FRIES extrajo una frecuencia dominante de ~75 Hz para el drone, distinguiéndolo del follaje de fondo de menor frecuencia (2–27 Hz). El paso de puerta de tiempo redujo significativamente los falsos positivos causados por el movimiento de fondo. Sin embargo, los resultados al aire libre se describieron como "inconclusos" en cuanto a la fiabilidad operativa, mostrando una mezcla de detecciones verdaderas y falsos positivos esporádicos. El sistema demostró la capacidad de separar el movimiento periódico artificial del desorden natural, pero destacó la necesidad de un ajuste adicional en entornos dinámicos.

Significado y Afirmaciones
Los autores posicionan a FRIES y RTS como un frente prometedor para la vigilancia selectiva dentro de pipelines neuromórficos. El trabajo afirma que el procesamiento de eventos en el dominio de la frecuencia ofrece una capacidad complementaria a las cámaras de encuadre convencionales, particularmente para discriminar objetivos mediante análisis espectral donde el contraste espacial es bajo.

El artículo concluye modestamente que, si bien los resultados preliminares establecen la viabilidad del enfoque, el prototipo actual aún no está listo para el despliegue operativo en entornos no controlados. Los autores reconocen que el sistema requiere un desarrollo adicional para abordar la latencia (mediante agrupamiento incremental y operadores espectrales recursivos), mejorar la robustez frente a texturas densas y habilitar el seguimiento de múltiples objetivos. Enfatizan que las EBC deben verse como un complemento valioso, en lugar de un reemplazo, para las cámaras convencionales, ofreciendo una vía para detectar objetivos de bajo contraste que de otro modo requerirían sistemas convencionales de velocidad de cuadros extremadamente alta.