Resumen Técnico: Mejora del Seguimiento de Objetos mediante la Colaboración Espacio-Temporal en Redes de Fotogramas y Eventos

Planteamiento del Problema

El seguimiento de objetos visuales enfrenta desafíos significativos en escenarios caracterizados por movimientos de alta velocidad, condiciones de iluminación extremas (iluminación baja o sobreexposición) y desorden en el fondo (clutter). Los rastreadores convencionales basados en aprendizaje profundo que dependen de cámaras basadas en fotogramas (RGB) suelen degradarse en estos entornos debido a su rango dinámico limitado, susceptibilidad al desenfoque de movimiento y tasas de muestreo temporal fijas y bajas. Aunque las cámaras de eventos, de inspiración biológica, ofrecen una alta resolución temporal (nivel de microsegundos), un alto rango dinámico (hasta 140 dB) e inmunidad al desenfoque de movimiento, tienen dificultades para capturar objetos estáticos o de movimiento lento y carecen de información de textura detallada.

Los métodos actuales de fusión RGB-Evento (RGB-E) intentan combinar estas modalidades, pero sufren dos limitaciones principales:

1. Negligencia de la Dinámica Temporal: Muchos enfoques no logran aprovechar plenamente la alta resolución temporal de los datos de eventos, convirtiendo a menudo flujos de eventos asíncronos en fotogramas pseudo-sincrónicos, lo que descarta estructuras temporales finas.
2. Fusión Superficial: Los métodos actuales suelen depender de una fusión simple a nivel de características (por ejemplo, concatenación o atención básica), fallando en establecer relaciones sinérgicas profundas de alto nivel entre la semántica de la apariencia RGB y la dinámica de movimiento basada en eventos.

Metodología

Los autores proponen la Red de Colaboración Espacio-Temporal (STC-Net), un marco diseñado para integrar profundamente la apariencia espacial de los fotogramas RGB y la dinámica de alta resolución temporal de los flujos de eventos. La arquitectura sigue una estructura basada en DiMP con pesos compartidos para las ramas de plantilla y búsqueda, incorporando dos innovaciones principales:

1. Módulo de Neurona de Espiga Adaptativa (ASN)

Para procesar los flujos de eventos brutos preservando su resolución temporal, los autores introducen un módulo ASN basado en una sola capa de neuronas de espiga (spiking neurons). A diferencia de las neuronas estándar de tipo Leaky Integrate-and-Fire (LIF) con parámetros fijos, el ASN ajusta dinámicamente su comportamiento según las características de la entrada:

• Umbral de Disparo Adaptativo ($V_{th}$): El umbral se calcula en función de la densidad de eventos, la varianza del patrón de movimiento local y los cambios temporales entre fotogramas. Esto permite a la neurona elevar el umbral para cúmulos densos relacionados con el movimiento (evitando la sobreactivación) y reducirlo para señales dispersas (evitando detecciones perdidas).
• Decaimiento de Membrana Adaptativo ($\beta$): En lugar de una constante de tiempo fija, el factor de decaimiento se aprende mediante un mecanismo de atención de canal. Esto permite que la red equilibre óptimamente la integración temporal y el olvido, adaptándose a diversas velocidades de movimiento.
• Ponderación de Vecindad Espacial: Un núcleo de 3×3 agrega información de la vecindad local, capturando correlaciones temporales entre eventos adyacentes para detectar robustamente patrones de movimiento que el procesamiento por píxel podría pasar por alto.

2. Módulo de Fusión de Características Espacio-Temporales de Alto Orden (HSTF)

Para superar las limitaciones de la fusión superficial, el módulo HSTF facilita la interacción profunda transmodal a través de las dimensiones de frecuencia, espacial y de canal:

• Interacción en el Dominio de la Frecuencia: Las características RGB y de eventos se transforman al dominio de la frecuencia mediante la Transformada Rápida de Fourier (FFT) 2D. La multiplicación elemento a elemento establece correlaciones transmodales de primer orden eficientes, capturando relaciones espaciales globales sin el costo computacional de la multiplicación de matrices tradicional.
• Modulación de Contexto Múltiple (MCM): Un mecanismo de guía bidireccional utiliza núcleos de múltiples escalas (1, 3 y 5) para modular las características. Cada modalidad proporciona información contextual para enfatizar selectivamente las regiones informativas en la modalidad complementaria.
• Interacción de Canales de Alto Orden (HCI): Extendiendo el mecanismo Squeeze-and-Excitation, este bloque modela recursivamente las dependencias complejas entre los canales de características utilizando conexiones residuales.
• Ponderación Adaptativa (AW): Un mecanismo aprendible equilibra las contribuciones de las características RGB y de eventos antes de la concatenación final.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Marco STC-Net: Un marco de seguimiento que integra profundamente la apariencia espacial y la dinámica de alta resolución temporal mediante un enfoque de dos vertientes.
2. Neurona de Espiga Adaptativa (ASN): Un módulo que ajusta dinámicamente los umbrales de disparo y las constantes de tiempo de membrana para filtrar el ruido y mejorar los eventos relacionados con el movimiento, preservando eficazmente la dinámica temporal de alta resolución.
3. Fusión de Características Espacio-Temporales de Alto Orden (HSTF): Un módulo que permite la interacción profunda transmodal en las dimensiones de frecuencia, espacial y de canal, facilitando la fusión complementaria de la semántica RGB y la dinámica de eventos.
4. Rendimiento de Vanguardia (State-of-the-Art): Experimentos extensos en benchmarks públicos que demuestran un rendimiento superior sobre los rastreadores existentes, validados mediante estudios de ablación.

Resultados Experimentales

El STC-Net fue evaluado en dos benchmarks públicos de seguimiento RGB-Evento: FE108 y VisEvent.

• Dataset FE108: STC-Net logró una Tasa de Precisión Representativa (RPR) del 89.0% y una Tasa de Éxito Representativa (RSR) del 57.8%.
  • Superó al rastreador RGB-Evento anterior más avanzado (AFNet) por un 3.7% en RPR y un 2.0% en RSR.
  • Superó significativamente a los rastreadores basados en fotogramas (por ejemplo, DiMP18, ATOM) y a los enfoques puramente basados en eventos, resaltando el valor de la fusión multimodal.
• Dataset VisEvent: STC-Net logró un 64.0% de RPR y un 46.8% de RSR, superando al segundo mejor método por un 3.1% y un 1.0% respectivamente, demostrando robustez en entornos exteriores diversos y desafiantes.

Estudios de Ablación:

• Modalidades de Entrada: El seguimiento basado solo en eventos (83.0% RPR) superó al basado solo en RGB (74.7% RPR) en FE108, confirmando la utilidad de los datos de eventos en condiciones de iluminación desafiantes. La fusión simple (Variante C) mejoró respecto a las líneas base unimodales, pero el STC-Net completo (Variante E) alcanzó las puntuaciones más altas.
• Módulo ASN: Añadir el módulo ASN al flujo de fusión (Variante D frente a C) mejoró el RPR en un 4.3%, validando la efectividad del filtrado de ruido adaptativo y la coherencia temporal.
• Módulo HSTF: Reemplazar la concatenación simple por HSTF (Variante E frente a D) produjo una ganancia adicional de 3.0% en RPR, confirmando que las interacciones de alto orden son superiores a la combinación básica de características.

Significado

El artículo sostiene que STC-Net ofrece un enfoque efectivo para aprovechar las fortalezas complementarias de las modalidades de fotogramas y eventos para un seguimiento de objetos fiable. Al abordar las limitaciones específicas de los métodos existentes —a saber, la pérdida de resolución temporal en el procesamiento de eventos y la superficialidad de las estrategias de fusión actuales— el método propuesto logra un rendimiento de vanguardia en escenarios desafiantes. El trabajo demuestra que la interacción transmodal profunda y estructurada, combinada con el procesamiento adaptativo de inspiración biológica de los flujos de eventos, es crítica para un seguimiento visual robusto en condiciones dinámicas y adversas.