Light 'em Up: Enabling Few-Shot Low-Light 3D Gaussian Splatting with Multi-Scale Explicit Retinex Illumination Decoupling

1. Planteamiento del Problema

La Síntesis de Nueva Vista (NVS) 360° en condiciones de baja iluminación sigue siendo un desafío significativo en visión por computadora. Los métodos existentes luchan con tres problemas principales al aplicarse a escenas reales con poca exposición:

• Inconsistencia Fotométrica: La iluminación insuficiente conduce a la amplificación del ruido y a la distorsión del color, interrumpiendo la consistencia de apariencia requerida para la reconstrucción geométrica multi-vista.
• Artefactos Dependientes de la Vista: Los enfoques no supervisados a menudo sufren de una deriva de color severa cuando los puntos de vista varían significativamente (cobertura completa de 360°), mientras que los modelos de mejora 2D supervisados no logran generalizar a escenas 3D no vistas sin reentrenamiento.
• Escasez de Datos: La mayoría de los métodos existentes de NVS en baja iluminación requieren entradas de vistas densas o datos de entrenamiento emparejados extensos, lo que los hace poco prácticos para escenarios de pocas vistas y pocas muestras comunes en aplicaciones del mundo real (por ejemplo, conducción autónoma nocturna, digitalización del patrimonio cultural).

2. Metodología: MERID-GS

Los autores proponen MERID-GS, un marco que integra el Desacoplamiento Explícito de Iluminación Retinex Multi-Escala con el Splatting Gaussiano 3D (3DGS). La tubería consta de tres etapas distintas:

A. Desacoplamiento Explícito de Iluminación Retinex Multi-Escala (MERID)

En lugar de modelar la degradación de la iluminación de forma implícita dentro de la representación 3D, MERID-GS realiza un desacoplamiento explícito en el dominio de la imagen basado en la teoría de Retinex ($I = L \times R$, donde $I$ es la intensidad, $L$ es la iluminación y $R$ es la reflectancia).

• Ganancia Regularizada Aprendible: Para evitar la inestabilidad numérica en el dominio logarítmico (común en baja iluminación), el modelo opera en el dominio espacial. Introduce una función de ganancia aprendible $g(x)$ que se adapta a la información de luminancia y estructura, suprimiendo la amplificación del ruido mientras mejora las regiones oscuras.
• Representación del Estado de Iluminación: El modelo construye una característica de estado de iluminación ($\mathbf{F}_{illu}$) codificando la luminancia de paso bajo, la reflectancia y la ganancia logarítmica. Esto sirve como un prior para el posterior desruido.

B. Atención de Puerta Frecuencial Guiada por Estado de Iluminación (IS-FGA)

Para abordar el enredo del ruido y las estructuras verdaderas en las características de baja iluminación, los autores introducen un mecanismo de atención novedoso dentro de una arquitectura codificador-decodidor en forma de U:

• Modulación de Valores Condicionada por Frecuencia: La rama de valor ($V$) del mecanismo de atención se descompone en bandas de frecuencia baja, media y alta. Estas bandas se modulan en función de la característica de estado de iluminación, permitiendo que el modelo mejore selectivamente las frecuencias estructurales mientras suprime las frecuencias dominadas por el ruido.
• Puerta Condicionada por Estado de Iluminación: Un mecanismo de puerta elemento a elemento suprime aún más la propagación del ruido en las regiones oscuras antes de que ocurra la agregación estándar de atención.

C. Cabeza de Reflectancia y Splatting Gaussiano 3D

• Cabeza de Reflectancia: Se aplica un módulo ligero (utilizando convoluciones $1\times1$ y GELU) al componente de reflectancia para corregir desviaciones de color y material entre escenas. Crucialmente, esta cabeza está diseñada para adaptación de pocas muestras, requiriendo solo unas pocas muestras de una nueva escena para el ajuste fino.
• Síntesis 3DGS: Las imágenes de reflectancia corregidas se alimentan al Splatting Gaussiano 3D. Debido a que la iluminación ha sido desacoplada y normalizada explícitamente, el optimizador 3DGS puede centrarse en la geometría y la reflectancia, lo que lleva a una convergencia estable incluso con entradas escasas.

3. Contribuciones Clave

1. Marco MERID-GS: El primer método que combina el desacoplamiento de iluminación basado en Retinex explícito con 3DGS para NVS en baja iluminación, permitiendo renderizado de alta calidad en escenas no vistas a partir de observaciones escasas.
2. Mecanismo IS-FGA: Un módulo de atención novedoso que utiliza estados de iluminación para guiar la puerta de frecuencia, suprimiendo eficazmente la propagación del ruido mientras preserva los detalles estructurales en regiones oscuras.
3. Adaptabilidad de Pocas Muestras: El sistema logra una síntesis estable con solo 10 vistas de entrada de luz normal para la adaptación, reduciendo el tiempo de entrenamiento por escena a aproximadamente 5 minutos.
4. Dataset LLD: Los autores construyeron LLD (Conjunto de Datos de Baja Iluminación), un conjunto de datos multi-vista de 360° completo que cubre 6 escenas con imágenes emparejadas de baja iluminación y luz normal, abordando la falta de puntos de referencia para esta tarea específica.

4. Resultados Experimentales

El método fue evaluado en NeRF360, LOM_full y el nuevo conjunto de datos LLD, comparándose contra líneas base de última generación no supervisadas (por ejemplo, Luminance-GS) y supervisadas (por ejemplo, Retinexformer, MambaLLIE).

• Rendimiento Cuantitativo:
  • MERID-GS logró rendimiento SOTA en todas las métricas (PSNR, SSIM, LPIPS).
  • PSNR Promedio: 25.03 dB (vs. ~17–19 dB para los siguientes mejores métodos supervisados).
  • SSIM: 0.796 (vs. ~0.67 para las líneas base).
  • LPIPS: 0.166 (menor es mejor, superando significativamente a las líneas base).
• Rendimiento Cualitativo:
  • Las comparaciones visuales muestran que MERID-GS elimina la deriva de color y la amplificación del ruido observadas en otros métodos.
  • Preserva la consistencia geométrica y los detalles finos en regiones oscuras donde otros métodos fallan o producen artefactos.
• Eficiencia:
  • El proceso de adaptación de pocas muestras toma solo ~5 minutos por escena.
  • Los estudios de ablación confirmaron que eliminar la Cabeza de Reflectancia o IS-FGA degrada significativamente el rendimiento (reduciendo el PSNR en ~7 dB y ~0.55 dB, respectivamente).

5. Significado

Este trabajo cierra la brecha entre la mejora de baja iluminación 2D y la reconstrucción de escenas 3D. Al desacoplar explícitamente la iluminación de la reflectancia, MERID-GS resuelve el problema fundamental de "iluminar" una escena 3D sin confundir los cambios de iluminación con cambios geométricos o de material.

• Impacto Práctico: Permite la reconstrucción 3D de alta fidelidad en entornos desafiantes (nocturnos, interiores con poca luz) con requisitos mínimos de datos, haciéndolo viable para aplicaciones como conducción autónoma, AR/VR y preservación del patrimonio digital.
• Generalización: El modelado explícito de la iluminación permite que el modelo generalice a escenas completamente no vistas sin necesidad de reentrenamiento extenso, un paso crítico hacia adelante para la implementación en el mundo real.