BVI-RLV: A Fully Registered Dataset for Low-Light Video Enhancement

Resumen Técnico de BVI-RLV: Un Conjunto de Datos Completamente Registrado para la Mejora de Vídeo en Condiciones de Baja Iluminación

Enunciado del Problema
La mejora de vídeo en condiciones de baja iluminación (LLVE) es crítica para aplicaciones en vigilancia, robótica y filmación de historia natural. Sin embargo, los enfoques existentes de aprendizaje profundo enfrentan un cuello de botella significativo: la escasez de datos de entrenamiento de alta calidad y alineados a nivel de píxel. Las imágenes de vídeo en baja iluminación sufren de ruido incoherente en el espacio y el tiempo, desenfoque por movimiento y distorsiones de color. Si bien la mejora basada en imágenes ha avanzado, aplicar estos métodos fotograma a fotograma al vídeo provoca inconsistencias temporales. Además, los conjuntos de datos existentes de LLVE a menudo se ven limitados por problemas de desalineación, falta de diversidad de movimiento o dependencia de degradaciones sintéticas que no logran capturar el ruido y el desenfoque del mundo real. Crucialmente, las funciones de pérdida a nivel de píxel utilizadas en el aprendizaje supervisado son altamente sensibles a los desplazamientos espaciales; incluso pequeños desajustes entre las entradas en baja iluminación y la verdad fundamental pueden introducir artefactos de fantasma y sesgar la evaluación cuantitativa.

Metodología
Para abordar estos desafíos, los autores introducen BVI-RLV (Vídeos en Baja Iluminación Registrados), un conjunto de datos completamente registrado diseñado para el aprendizaje supervisado. La metodología de adquisición prioriza la alineación precisa sobre la captura exterior no controlada:

• Entorno de Adquisición: Los vídeos fueron capturados en un estudio interior controlado utilizando una cámara Sony Alpha 7SII. La iluminación se gestionó mediante luces Cineo MavX (6,500 K) en tres niveles: 100% (verdad fundamental de luz normal), 20% y 10% (baja iluminación).
• Control de Movimiento: Se empleó un sistema de carro motorizado programable Kessler CineDrive para generar perfiles de movimiento repetibles, incluidas trayectorias lineales, no lineales, rotacionales y angulares. Esta configuración garantiza un movimiento consistente en capturas repetidas.
• Generación de Verdad Fundamental: Para lograr un registro subpíxel sin distorsionar ni alterar las características del ruido, los autores emplearon una estrategia de repetición y selección. Para cada secuencia en baja iluminación, se grabaron múltiples secuencias de luz normal utilizando perfiles de movimiento idénticos. Un fotograma de pseudo-verdad fundamental se seleccionó de estas repeticiones minimizando el Error Absoluto Medio (MAE) después de la igualación de histogramas, en lugar de aplicar distorsiones computacionales.
• Verificación de Alineación: La precisión de la alineación se verificó utilizando la Correlación Cruzada Normalizada (NCC) y la Detección de Esquinas de Harris. Los resultados indican que el 99,24% de los pares de datos alcanzan una precisión de registro subpíxel (error promedio de 0,256 píxeles mediante NCC).
• Implementaciones de Línea Base: Para garantizar la reproducibilidad y la comparación, los autores implementaron cuatro arquitecturas representativas entrenadas en BVI-RLV y conjuntos de datos existentes: un modelo basado en CNN (alineación PCD con U-Net), un modelo basado en Transformer (Swin Transformer), un Modelo de Espacio de Estados (Mamba) y un Modelo de Difusión (DM).

Contribuciones Clave

1. Conjunto de Datos BVI-RLV: Un conjunto de datos disponible públicamente que comprende 40 escenas interiores diversas y más de 31.800 fotogramas emparejados en resolución Full HD. Presenta dos condiciones controladas de baja iluminación (intensidades del 10% y 20%) emparejadas con una verdad fundamental de luz normal al 100%.
2. Registro de Alta Precisión: A diferencia de los conjuntos de datos existentes que dependen de filtros de densidad neutra (ND) o sufren desalineación, BVI-RLV logra un registro subpíxel para el 99,24% de los fotogramas, verificado mediante correlación cruzada y detección de esquinas.
3. Diversidad de Movimiento y Contenido: El conjunto de datos abarca un rango más amplio de tipos de movimiento (lineal, no lineal, rotacional, angular) y texturas de contenido en comparación con puntos de referencia existentes como DRV, SDSD y DID.
4. Comparación Exhaustiva: El artículo proporciona implementaciones estandarizadas de línea base en arquitecturas CNN, Transformer, Mamba y de Difusión, facilitando una comparación justa entre conjuntos de datos.

Resultados Experimentales

• Rendimiento entre Conjuntos de Datos: Los modelos entrenados en BVI-RLV superan consistentemente a los entrenados en conjuntos de datos existentes (DRV, SDSD, DID) cuando se evalúan en conjuntos de prueba cruzados. Por ejemplo, el modelo basado en Mamba entrenado en BVI-RLV obtuvo las puntuaciones PSNR/SSIM/LPIPS más altas en todos los conjuntos de prueba.
• Importancia del Registro: Un estudio de ablación demostró que entrenar con datos no registrados conduce a una degradación significativa del rendimiento. Específicamente, el uso de datos registrados mejoró la PSNR en hasta 5,85 dB para la arquitectura CGAN bajo pérdida $\ell_1$ en comparación con el entrenamiento no registrado.
• Generalización a Escenas Exteriores: A pesar de haber sido capturados en interiores, los modelos entrenados en BVI-RLV se generalizaron eficazmente a escenas exteriores del mundo real (probados en los conjuntos exteriores SDSD y DID), produciendo texturas más nítidas y una mejor supresión de ruido que los modelos entrenados en conjuntos de datos exteriores.
• Mejora de Tareas Derivadas: Los fotogramas mejorados de modelos entrenados en BVI-RLV mejoraron las tareas de visión por computadora derivadas, aumentando específicamente la AP de máscara en 5,28 puntos y la AP de caja en 3,40 puntos para la segmentación de instancias de vídeo y la detección de objetos en el conjunto de datos ELVIS-S.
• Robustez a la Iluminación: El entrenamiento con niveles de iluminación mixtos (10% y 20%) arrojó una mejor robustez ante condiciones de iluminación no vistas en comparación con el entrenamiento en niveles únicos, mejorando el rendimiento entre luces en aproximadamente 3,0 dB.

Significado
El artículo afirma que el registro preciso es un prerrequisito fundamental para una mejora efectiva de vídeo en baja iluminación supervisada. Los autores sostienen que el rendimiento superior de los modelos entrenados en BVI-RLV es impulsado por la calidad de los datos —específicamente la combinación de alineación subpíxel, características de ruido auténticas y patrones de movimiento diversos— en lugar de la complejidad arquitectónica. Al proporcionar un punto de referencia completamente registrado, BVI-RLV aborda la naturaleza "mal planteada" de LLVE, donde obtener una verdad fundamental precisa es típicamente desafiante, permitiendo así un entrenamiento y una evaluación más fiables de futuros algoritmos de mejora. El conjunto de datos está disponible públicamente para fomentar más investigación en la mejora robusta y realista de vídeo en baja iluminación.