An Angular-Temporal Interaction Network for Light Field Object Tracking in Low-Light Scenes

Resumen Técnico: Una Red de Interacción Angular-Temporal para el Seguimiento de Objetos en Campos de Luz en Escenas de Baja Iluminación

Planteamiento del Problema
Los modelos de seguimiento de objetos existentes dependen principalmente de técnicas de cámaras RGB, que capturan información de intensidad en 2D. En escenas complejas de baja iluminación, la información de intensidad se atenúa fuertemente, lo que conduce a un rendimiento de seguimiento degradado debido a la falta de pistas visuales discriminativas. Si bien las cámaras de campo de luz capturan datos 4D estructurados (información espacial y angular) que mejoran la apariencia del objeto y las descripciones estructurales geométricas incluso en condiciones de poca luz, los métodos actuales tienen dificultades para utilizar eficazmente estos datos. Específicamente, los campos de luz de alta dimensión contienen pistas de apariencia redundantes que están estrechamente acopladas con pistas estructurales geométricas dispersas. Las representaciones existentes, como las Imágenes de Plano Epipolar (EPI) estándar, aún retienen esta redundancia, lo que limita la capacidad del modelo para explorar las pistas estructurales geométricas en el dominio angular. Además, el modelado de pistas temporales para el seguimiento de campos de luz es un desafío; los métodos espacio-temporales estándar suelen agregar información de estructuras no geométricas, debilitando la distinción entre el objetivo y el fondo. Asimismo, la escasez de conjuntos de datos de campo de luz hace que el aprendizaje puramente supervisado sea insuficiente para un modelado de características temporales efectivo.

Metodología
El artículo propone un marco centrado en una representación novedosa y una arquitectura de red especializada:

1. Imagen de Estructura de Plano Epipolar de Campo de Luz (ESI):
   Los autores introducen la representación ESI para definir explícitamente la estructura geométrica dentro del campo de luz. Al capitalizar los cambios abruptos en los ángulos de los rayos de luz dentro del plano epipolar (específicamente en los límites de los objetos), el método identifica "puntos de estructura geométrica". Esto se logra calculando las derivadas de primer orden (gradientes) de las EPI horizontales y verticales y proyectando las amplitudes máximas de gradiente sobre un plano 2D. Este proceso elimina la información de apariencia redundante de alta dimensión, dejando una representación que delinea claramente los contornos del objetivo, particularmente en condiciones de baja iluminación.

2. Red de Interacción Angular-Temporal (ATINet):
   ATINet es una arquitectura híbrida diseñada para aprender representaciones conscientes del ángulo a partir de la ESI. Emplea un proceso de extracción de características de doble flujo:

• Flujo de Apariencia: Introduce la ESI en un backbone de CNN.
• Flujo Angular-Temporal: Introduce la ESI en un marco basado en Transformer mejorado por un módulo de Selección Adaptativa de Geometría (GAS).
  El Transformer base utiliza la atención de cabeza múltiple para modelar las correlaciones intra-frame e inter-frame. El módulo GAS actúa como un componente plug-and-play que particiona adaptativamente las incrustaciones (embeddings) de la ESI en puntos de estructura geométrica (cruciales para la percepción del movimiento) y puntos no geométricos. Construye una matriz de relación para agregar información de manera selectiva, asegurando que la red se concentre en las pistas geométricas dispersas en lugar de en los datos de apariencia redundantes.

3. Aprendizaje Auto-supervisado (SSL):
   Para abordar la disponibilidad limitada de conjuntos de datos de campo de luz, los autores introducen una función de pérdida auto-supervisada. Esta pérdida utiliza una estrategia de enmascaramiento (inspirada en DropMAE) donde un decodificador reconstruye las características de incrustación enmascaradas. Crucialmente, el decodificador emplea un dropout de atención espacial adaptativa para restringir las interacciones intra-frame mientras fomenta las interacciones inter-frame. Esto obliga a la red a priorizar las pistas de movimiento temporal y a aprender representaciones efectivas para el emparejamiento temporal sin requerir datos extensamente etiquetados.

4. Construcción del Conjunto de Datos (R8LUT):
   Los autores construyeron el conjunto de datos R8LUT, un conjunto de datos de campo de luz a gran escala para el seguimiento de objetos. Utilizando una cámara Raytrix R8, registraron 26 secuencias de video de campo de luz en entornos de baja iluminación que contienen diversos objetos (por ejemplo, peces, coches de juguete, tuercas industriales). El conjunto de datos incluye 173 secuencias para el Seguimiento de Objeto Único (SOT) y 26 secuencias para el Seguimiento de Múltiples Objetos (MOT), todas anotadas con cuadros delimitadores y representaciones ESI.

Contribuciones Clave

• Representación Novedosa: La propuesta de la ESI de Campo de Luz, que delinea explícitamente los puntos de estructura geométrica mediante la explotación de los cambios abruptos en los rayos de luz, reduciendo eficazmente la redundancia y mejorando la expresión visual en escenas de baja iluminación.
• Arquitectura ATINet: El desarrollo de una Red de Interacción Angular-Temporal que integra un módulo de Selección Adaptativa de Geometría (GAS) para aprender características discriminativas de las pistas estructurales geométricas y angulares-temporales.
• Optimización Auto-supervisada: La introducción de una pérdida auto-supervisada para optimizar las representaciones conscientes del ángulo, facilitando el aprendizaje de características efectivas en el dominio temporal a pesar de la escasez de datos.
• Conjunto de Datos de Referencia: La creación del conjunto de datos R8LUT, que proporciona el primer recurso a gran escala para las tareas de SOT y MOT de campo de luz en escenarios de baja iluminación.
• Extensión a MOT: La extensión del método propuesto al Seguimiento de Múltiples Objetos (AMTrack) mediante la integración de GAS en un marco de re-identificación.

Resultados
Se realizaron experimentos extensos en el conjunto de datos R8LUT:

• Seguimiento de Objeto Único (SOT): ATINet logró un rendimiento de vanguardia, superando a 24 métodos existentes (incluyendo rastreadores híbridos y de Transformer puro) en las métricas de Éxito, Precisión y Precisión Normalizada. Las comparaciones visuales demostraron una capacidad superior para rastrear objetos deformables y similares en condiciones de baja iluminación en comparación con los rastreadores basados en RGB.
• Seguimiento de Múltiples Objetos (MOT): El método extendido AMTrack alcanzó las puntuaciones más altas de MOTA (87.5) e IDF1 (85.4) entre los métodos de vanguardia comparados, demostrando un mantenimiento de trayectoria a largo plazo efectivo y bajas tasas de detección fallida.
• Estudios de Ablación: Los resultados confirmaron que la combinación de ESI, GAS y SSL produce un rendimiento óptimo. Específicamente, se demostró que la representación ESI es superior a otras agregaciones de gradiente (media, suma, máximo), y se probó que el módulo GAS es esencial para modelar tanto las correlaciones intra-frame como las inter-frame.

Significancia
El artículo afirma que su principal significancia radica en abordar los desafíos específicos del seguimiento de objetos en campos de luz en entornos de baja iluminación, un escenario donde los métodos tradicionales de RGB fallan. Al desacoplar las pistas estructurales geométricas de la información de apariencia redundante y modelarlas a través de una red de interacción angular-temporal, el método propuesto permite una discriminación de objetivos más robusta. La introducción del conjunto de datos R8LUT llena un vacío crítico en los recursos disponibles para este dominio. Los autores sostienen que su enfoque valida la efectividad del modelado angular-temporal de alta calidad de los campos de luz, logrando resultados de vanguardia tanto en los benchmarks de SOT como de MOT, manteniendo la eficiencia computacional mediante el diseño ligero de los módulos GAS y SSL.