Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise

Resumen Técnico: Agregación Temporal Dinámica Basada en Pesos para la Mejora de Video en Baja Iluminación bajo Ruido Extremo

Enunciado del Problema
La mejora de video en baja iluminación (LLVE) enfrenta desafíos significativos debido al ruido severo, el bajo contraste y la degradación del color, particularmente en escenarios exteriores "in-the-wild". Si bien los métodos basados en aprendizaje ofrecen inferencia rápida, a menudo luchan bajo ruido real pesado porque no logran explotar suficientemente las pistas temporales a largo plazo. Los enfoques existentes suelen depender del procesamiento por ventana deslizante o de convoluciones 3D que consideran solo un vecindario corto de fotogramas. Estos métodos son computacionalmente pesados, intensivos en memoria e incapaces de aprovechar plenamente la redundancia temporal a largo plazo, lo cual es crucial para la eliminación de ruido en condiciones extremas. Además, los modelos entrenados con ruido sintético o leve generalizan mal al ruido real complejo y espacialmente variable, lo que conduce a inconsistencias temporales como parpadeo y fantasmas.

Metodología: DWTA-Net
Los autores proponen DWTA-Net, un nuevo marco recurrente de aprendizaje profundo basado en una arquitectura de dos etapas diseñada para manejar ruido real pesado mientras mantiene la consistencia temporal.

1. Etapa I: Mejora de Múltiples Fotogramas (Restauración Local)

   • Objetivo: Restaurar la estructura local, el color y el brillo mientras se asegura la consistencia temporal a corto plazo.
   • Mecanismo: Una secuencia corta de fotogramas vecinos se alinea primero a un fotograma de referencia utilizando un módulo PCD (Deformable Convolutional Pixel-wise) para generar características compensadas por movimiento.
   • Arquitectura Base: Estas características alineadas son procesadas por una arquitectura base tipo U-Net basada en Mamba. Los bloques convolucionales convencionales son reemplazados por bloques de Espacio de Estado Visual (VSS). A diferencia de las convoluciones estándar con campos receptivos limitados, los bloques VSS utilizan un mecanismo de escaneo selectivo para capturar dependencias globales de largo alcance, lo cual es crítico para restaurar la coherencia estructural en escenas severamente degradadas.

2. Etapa II: Refinamiento Recurrente Dinámico (Agregación a Largo Plazo)

   • Objetivo: Suprimir el ruido y estabilizar los detalles a lo largo de secuencias largas acumulando evidencia temporal a largo plazo.
   • Mecanismo: Alejándose de la recurrencia de estado oculto, DWTA-Net realiza la agregación directamente en el espacio espacial (de píxeles), donde el ruido en baja iluminación se manifiesta como artefactos de alta frecuencia.
   • Ponderación Dinámica: La etapa emplea una formulación recurrente guiada por flujo óptico (utilizando GMFlow). En cada paso de tiempo $t$, la salida refinada del paso anterior ($O'_{t-1}$) se distorsiona para alinearse con la salida actual de la Etapa I ($O_t$).
   • Mezcla Adaptativa: Se calcula un mapa de pesos dinámico $\omega$ basado en el residuo de movimiento $R = |O_t - O^W_{t-1}|$.
     • En regiones estáticas (bajo residuo), el peso enfatiza la acumulación desde el fotograma anterior distorsionado para suprimir el ruido.
     • En regiones dinámicas (alto residuo), el peso favorece el fotograma actual para preservar la nitidez del movimiento.
   • Esta estrategia equilibra la supresión de ruido con la nitidez del movimiento, superando las limitaciones del promediado de ventana fija.

3. Pérdida Adaptativa a la Textura

   • Para abordar la variación espacial del ruido en baja iluminación, los autores introducen una función de pérdida que equilibra la preservación de detalles finos con la suavidad espacial.
   • Un mapa consciente de la textura ($M_T$) se deriva de los componentes de alta frecuencia de la salida utilizando una Transformada Discreta de Ondas 2D (2D-DWT).
   • La pérdida total combina una pérdida de reconstrucción $\ell_2$ píxel a píxel con una suma ponderada de:
     • Pérdida Perceptual ($L_{VGG}$): Aplicada a regiones altamente texturizadas ($M_T \to 1$) para preservar detalles finos.
     • Pérdida de Variación Total ($L_{TV}$): Aplicada a regiones homogéneas ($M_T \to 0$) para fomentar la suavidad y suprimir el ruido.

Contribuciones Clave

• Marco DWTA-Net: Un nuevo marco recurrente basado en Mamba adaptado para ruido real pesado, que presenta un diseño de dos etapas que separa la restauración local de la agregación temporal a largo plazo.
• Agregación Recurrente Espacial: Una estrategia de agregación temporal basada en pesos dinámicos que opera en el espacio espacial en lugar del espacio de características. Utiliza residuos de movimiento para ajustar adaptativamente los pesos de mezcla, equilibrando la consistencia temporal con la nitidez consciente del movimiento.
• Pérdida Adaptativa a la Textura: Una función de pérdida personalizada que pondera dinámicamente las restricciones perceptuales y de suavidad basándose en la complejidad de la textura local, asegurando la preservación de detalles en áreas texturizadas mientras suaviza regiones homogéneas.

Resultados Experimentales
El modelo fue entrenado en el conjunto de datos de video emparejado en baja iluminación DID y evaluado tanto en métricas cuantitativas (PSNR, SSIM, LPIPS) como en escenarios cualitativos "in-the-wild" (específicamente la secuencia Horse).

• Rendimiento Cuantitativo: En el conjunto de datos DID, DWTA-Net logró el PSNR más alto (24.27 dB) y el LPIPS más bajo (0.115) entre los métodos comparados, superando a los métodos basados en imágenes de última generación (por ejemplo, Retinexformer, WaveMamba) y a las líneas base basadas en video (por ejemplo, EDVR, SMOID).
• Capacidad de Eliminación de Ruido: En una evaluación suplementaria sobre una región de cielo estático de las imágenes de Horse (utilizando un pseudo-verdad generada por promediado de fotogramas), DWTA-Net logró el PSNR más alto (27.81 dB) y el SSIM más alto (0.839), superando incluso a los métodos ideales basados en imágenes para escenarios estáticos.
• Calidad Visual: Las comparaciones cualitativas muestran que DWTA-Net preserva detalles finos (por ejemplo, vallas, cables, textura de la hierba) y colores naturales sin los artefactos de sobre-suavizado vistos en métodos como Starlight-denoiser o los artefactos distractores introducidos por SDSD-net.
• Estudios de Ablación: La eliminación de la Etapa I provocó caídas drásticas en el PSNR y la calidad perceptual, confirmando su papel en la restauración básica. La eliminación de la Etapa II resultó en un LPIPS más alto, demostrando la necesidad de la agregación temporal a largo plazo para la calidad visual. Se mostró que la pérdida adaptativa a la textura es crítica para equilibrar la eliminación de ruido y la preservación de la textura.

Significado y Afirmaciones
El artículo afirma que DWTA-Net proporciona una solución robusta para la mejora de video en baja iluminación bajo condiciones de ruido extremo donde las tuberías tradicionales y los métodos existentes basados en aprendizaje fallan. Al aprovechar la redundancia temporal a largo plazo a través de una estrategia de agregación recurrente y consciente del movimiento, el marco logra una supresión de ruido superior y consistencia temporal. Los autores posicionan su trabajo como un avance práctico que aborda el desafío específico de generalizar a distribuciones de ruido complejas y del mundo real mientras se preservan detalles estructurales finos, validado mediante extensas pruebas de referencia y evaluaciones desafiantes "in-the-wild".