Resumen Técnico: AdaFuse-Det

Enunciado del Problema

La detección fiable de objetos en condiciones de luz extremadamente baja sigue siendo un desafío crítico en visión por computadora, particularmente para aplicaciones críticas para la seguridad como la vigilancia nocturna y la robótica de búsqueda y rescate. Las cámaras RGB convencionales sufren una degradación severa con un flujo de fotones bajo, donde la relación señal-ruido (SNR) disminuye significativamente ($SNR \propto \sqrt{N_p}$). Si bien exposiciones más largas pueden mejorar la SNR, introducen desenfoque por movimiento, creando una degradación compuesta que los detectores estándar tienen dificultades para manejar.

Por el contrario, las cámaras de eventos ofrecen una modalidad de detección complementaria. Registran cambios de brillo asíncronos por píxel con resolución temporal de microsegundos y un rango dinámico que supera los 120 dB, lo que las hace en gran medida invariantes a la iluminación y robustas frente al desenfoque por movimiento. Sin embargo, los datos de eventos son dispersos, carecen de textura fotométrica y tienen dificultades con escenas estáticas o clasificación de grano fino. El problema central abordado por este artículo es cómo fusionar efectivamente estas dos modalidades: RGB (semánticamente rico pero sensible a la iluminación) y eventos (informativo estructuralmente pero semánticamente delgado), de modo que la contribución de cada modalidad se escale dinámicamente con su fiabilidad local, en lugar de depender de pesos de fusión fijos.

Metodología: AdaFuse-Det

Los autores proponen AdaFuse-Det, un marco de doble flujo que integra cuadros RGB mejorados con CLAHE y tensores de eventos voxelizados a través de un nuevo módulo de Fusión Adaptativa Cross-Modal (ACMF).

1. Preprocesamiento de Datos

• Flujo de Eventos: Los eventos asíncronos crudos se convierten en tensores densos mediante voxelización temporal. El flujo se divide en $B=4$ bins temporales por polaridad (totalizando 8 canales). Los autores prueban formalmente que esta voxelización preserva el conteo total de eventos (Lema II.1) y establecen un límite de resolución temporal $\delta t = \Delta t / (B-1)$ (Lema II.2). Tras la voxelización, filtros de píxeles calientes y de densidad eliminan el ruido.
• Flujo RGB: Los cuadros RGB de baja luminosidad se procesan utilizando Ecualización Adaptativa del Histograma con Límite de Contraste (CLAHE) para invertir parcialmente la atenuación del flujo de fotones y el ruido heterocedástico del sensor.

2. Extracción de Características

Ambas modalidades se codifican utilizando backbones ResNet-18 independientes que producen pirámides de características de cuatro escalas.

• Codificador RGB: Utiliza pesos preentrenados estándar de ImageNet.
• Codificador de Eventos: La primera capa convolucional se modifica para aceptar 8 canales. Para asegurar una convergencia estable en el conjunto de entrenamiento relativamente pequeño, los pesos se inicializan promediando los tres canales RGB preentrenados y replicándolos en los ocho canales de eventos.

3. Fusión Adaptativa Cross-Modal (ACMF)

La innovación central es el módulo ACMF, que se basa en la teoría de estimación lineal de varianza mínima.

• Base Teórica: Los autores modelan la fusión como la estimación de un tensor de características latente $F^*$ a partir de dos observaciones ruidosas ($F_{img}$ y $F_{evt}$). Derivan que el Estimador Lineal Insesgado de Mínima Varianza (MVLUE) requiere pesos inversamente proporcionales a la varianza del ruido de cada modalidad (Teorema II.3).
• Adaptación a la Iluminación: Un corolario clave (II.4) establece que en condiciones de luz extremadamente baja (donde domina el ruido RGB), el peso óptimo se desplaza hacia las características de eventos, y viceversa en condiciones bien iluminadas.
• Implementación: El módulo ACMF aprende un mapa de atención espacialmente variable $\alpha_s$ en cada escala de la pirámide de características. Concatena características de ambos flujos, las pasa a través de una red ligera de dos capas (convoluciones 1x1 y 3x3) y genera un mapa ponderado por sigmoide. La característica fusionada final es una suma ponderada: $F_{fused} = \alpha \odot F_{img} + (1-\alpha) \odot F_{evt}$.
• Propiedades Teóricas: Los autores prueban que este mecanismo abarca la fusión unimodal y uniforme como casos límite (Proposición II.5) y converge a un peso de 0.5 cuando las características son indistinguibles (Proposición II.6).

4. Cabeza de Detección

Las características fusionadas se procesan mediante una cabeza basada en anclajes estilo YOLO que opera en cuatro escalas. El objetivo de entrenamiento combina pérdidas de regresión de cajas, objetividad y clasificación, con un postprocesamiento que incluye umbralización de confianza y Supresión de Máximos No Máximos (NMS).

Contribuciones Clave

El artículo hace cuatro contribuciones específicas:

1. Teoría de Fusión Formal: Un tratamiento de la fusión multimodal como estimación lineal de varianza mínima, que produce pesos de atención óptimos de forma cerrada y explica la asimetría observada entre precisión y recuperación mediante un corolario de adaptación a la iluminación.
2. Caracterización de Voxelización: Pruebas teóricas sobre la conservación de eventos y los límites de resolución temporal en la etapa de voxelización.
3. Módulo ACMF: Un mecanismo de fusión principista que abarca estrictamente la fusión unimodal y uniforme, con comportamiento probado en ubicaciones de igualdad de características.
4. Evaluación Empírica: Pruebas exhaustivas en el benchmark LLE-VOS, un conjunto de datos sincronizado RGB-eventos capturado bajo condiciones controladas de luz extremadamente baja (<1 lux).

Resultados Experimentales

Evaluado en el conjunto de prueba LLE-VOS (umbral IoU 0.4), AdaFuse-Det demuestra un rendimiento superior en comparación con las líneas base de modalidad única y estrategias de fusión ingenuas:

• AdaFuse-Det: Recuperación 65.54%, Precisión 53.85%, Puntuación F1 59.12%.
• Solo RGB: Recuperación 49.83%, Precisión 47.21%, F1 48.48%.
• Solo Eventos: Recuperación 57.12%, Precisión 38.64%, F1 46.10%.
• Fusión por Concatenación: Recuperación 61.47%, Precisión 50.33%, F1 55.33%.

El modelo logra una mejora significativa en la recuperación sobre los detectores de modalidad única. Los autores atribuyen una caída moderada en la precisión con respecto a la línea base solo RGB a la dependencia del modelo de señales de eventos en oscuridad extrema, lo que aumenta la sensibilidad pero introduce falsos positivos provenientes del ruido del sensor de eventos en regiones de alto movimiento. Los estudios de ablación confirman que la atención adaptativa aprendida (ACMF) proporciona una ganancia de F1 del 3.79% sobre la fusión uniforme.

Significado y Afirmaciones

El artículo afirma que AdaFuse-Det proporciona una solución fundamentada teóricamente a los modos de fallo de las cámaras RGB en condiciones de luz extremadamente baja. Al vincular formalmente el mecanismo de atención aprendido con el estimador óptimo de Gauss-Markov, el marco asegura que la estrategia de fusión se adapte a las condiciones locales de iluminación sin ajuste manual.

Los autores destacan que el sistema localiza con éxito objetos (peatones, bicicletas, animales) en casi oscuridad donde el contraste RGB es negligible, aprovechando las firmas de bordes derivadas de eventos. Reconocen modestamente las limitaciones, señalando que el rendimiento se degrada cuando los sujetos se mueven demasiado lento para activar los umbrales de eventos, lo que hace que el sistema retroceda a niveles de rendimiento solo RGB. El artículo concluye que, aunque el enfoque actual es efectivo, el trabajo futuro podría explorar la estimación explícita de incertidumbre, la recurrencia temporal para escenas de cámara lenta y funciones de pérdida avanzadas para manejar el desequilibrio de clases.