BVI-Mamba: Video Enhancement Using a Visual State-Space Model for Low-Light and Underwater Environments

Aquí se presenta un resumen técnico detallado del artículo "BVI-Mamba: Mejora de Video Utilizando un Modelo de Espacio de Estados Visual para Entornos de Baja Luz y Submarinos."

1. Planteamiento del Problema

Los videos capturados en entornos de baja luz y submarinos sufren degradaciones severas de calidad, que incluyen:

• Problemas de baja luz: Ruido, bajo contraste, desequilibrio de color y desenfoque por movimiento (causado por velocidades de obturación lentas o ISO alto).
• Problemas submarinos: Dispersión y absorción de la luz que conducen a borrosidad, efectos de halo, distorsión de color y reducción del contraste.

Estas degradaciones comprometen tanto la calidad estética como el rendimiento de las tareas de visión por computadora posteriores (por ejemplo, detección de objetos, seguimiento). Si bien existe mejora de imágenes basada en IA, la mejora de video sigue siendo un desafío debido a:

• Inconsistencia temporal: Parpadeo y fluctuaciones de brillo entre cuadros.
• Costo computacional: Los métodos existentes de aprendizaje profundo (CNNs, Transformers) son computacionalmente costosos y consumen mucha memoria, lo que dificulta el procesamiento en tiempo real.
• Escasez de datos: Falta de conjuntos de datos de entrenamiento emparejados a gran escala, particularmente para escenarios submarinos.

2. Metodología: BVI-Mamba

Los autores proponen BVI-Mamba, un marco novedoso que reemplaza los bloques tradicionales de convolución y Transformer con Modelos de Espacio de Estados Visuales (VSS) para lograr una complejidad computacional lineal mientras mantiene un alto rendimiento. La arquitectura sigue una tubería de dos etapas:

A. Módulo de Alineación de Características

Para garantizar la consistencia temporal y prevenir el parpadeo, el modelo alinea múltiples cuadros de entrada antes de la mejora.

• Mecanismo: Utiliza un módulo de alineación Pirámide, Cascada y Deformable (PCD) (adaptado de EDVR) integrado con la fusión de Atención Temporal y Espacial (TSA).
• Función: Registra el desplazamiento espacio-temporal entre cuadros en el espacio de características, extrayendo y procesando detalles temporales para mantener la consistencia entre cuadros consecutivos.

B. Módulo de Mejora

Este módulo realiza la eliminación de ruido y el ajuste de brillo utilizando una arquitectura similar a UNet.

• Innovación Central: Todas las capas convolucionales estándar y los bloques Swin Transformer son reemplazados por bloques de Espacio de Estados Visual (VSS).
• Estructura del Bloque VSS:
  • Basado en el marco Mamba, utilizando específicamente el mecanismo de Escaneo Selectivo 2D (SS2D).
  • Proceso SS2D: Despliega los parches de entrada en secuencias a lo largo de cuatro direcciones (Izquierda-Derecha, Arriba-Abajo, Derecha-Izquierda, Abajo-Arriba), los procesa mediante un Modelo de Espacio de Estados Selectivo (SSM) y fusiona los resultados.
  • Ventaja: A diferencia de las CNN (campo receptivo limitado) o los Transformers (complejidad cuadrática), los bloques VSS capturan tanto detalles locales como dependencias globales de largo alcance con complejidad computacional lineal.
• Formulación Matemática: El bloque VSS en la capa $l$ se define como:
  $$h_l = SS2D(LN(h_{l-1})) + h_{l-1}$$
  $$h_{l+1} = FFN(LN(h_l)) + h_l$$
  (Donde $LN$ es Normalización de Capa y $FFN$ es una Red de Alimentación Directa.)

3. Contribuciones Clave

1. Primera Aplicación de Mamba a Video de Baja Luz: El artículo introduce el primer marco que aplica el modelo de Espacio de Estados Visual (VSS) a la mejora de video (anteriormente limitado a imágenes), dirigido específicamente a escenarios de baja luz y submarinos.
2. Arquitectura Eficiente: Al reemplazar los pesados bloques Transformer con bloques VSS, BVI-Mamba logra una complejidad computacional lineal, reduciendo significativamente el uso de memoria y el tiempo de inferencia en comparación con sus contrapartes basadas en CNN y Transformer.
3. Alineación Temporal Robusta: La integración de la alineación PCD con la mejora VSS garantiza una alta consistencia temporal, mitigando eficazmente el parpadeo y las fluctuaciones de brillo comunes en la mejora de video.
4. Adaptación Submarina: El marco incluye un paso de preprocesamiento utilizando adaptación cromática para abordar los desequilibrios de color severos en los datos submarinos, compensando la falta de verdad fundamental en los conjuntos de datos submarinos.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos: DID (Baja luz), BVI-RLV (Baja luz) y BVI-Coral (Submarino).

• Rendimiento Cuantitativo (Baja Luz):
  • En el conjunto de datos BVI-RLV, BVI-Mamba logró un PSNR de 22.93 y un SSIM de 0.820, superando a:
    • PCDUNet (CNN): PSNR 19.50, SSIM 0.757.
    • STA-SUNet (Transformer): PSNR 20.64, SSIM 0.765.
    • BVI-CDM (Difusión): PSNR 22.20, SSIM 0.773.
  • También logró el LPIPS más bajo (0.146), indicando una similitud perceptual superior con la verdad fundamental.
• Rendimiento Cualitativo:
  • Las comparaciones visuales muestran que BVI-Mamba reduce eficazmente el ruido, afila los detalles y preserva mejor las texturas finas que los métodos competidores.
• Resultados Submarinos:
  • Utilizando un modelo preentrenado en BVI-RLV y adaptado con adaptación cromática, BVI-Mamba produjo resultados visualmente superiores en comparación con Zero-TIG, corrigiendo los tintes de color y mejorando la visibilidad en imágenes de aguas profundas.

5. Significado

• Cambio de Paradigma: Este trabajo demuestra que los Modelos de Espacio de Estados (SSM) son una alternativa viable y superior a los Transformers para tareas de procesamiento de video, ofreciendo un mejor equilibrio entre rendimiento y eficiencia computacional.
• Despliegue Práctico: La huella de memoria reducida y la complejidad lineal convierten a BVI-Mamba en un candidato sólido para su implementación en dispositivos de borde o en sistemas de vigilancia en tiempo real y navegación autónoma donde los recursos son limitados.
• Expansión de Dominio: Conecta exitosamente la brecha entre modelos generativos/discriminativos avanzados y entornos físicos desafiantes (baja luz/submarino), proporcionando una solución robusta para aplicaciones críticas como la exploración submarina y la seguridad nocturna.