Resumen Técnico: DelowlightSplat

Enunciado del Problema

La síntesis de nuevas vistas y la reconstrucción 3D a partir de imágenes con poses escasas son críticas para la robótica y la realidad aumentada/virtual (AR/VR). Aunque los métodos recientes de Splatting Gaussiano 3D (3DGS) de tipo feed-forward han amortizado con éxito la optimización por escena prediciendo directamente Gaussianas 3D a partir de vistas escasas, fallan significativamente en condiciones de poca luz. En regímenes de baja iluminación, el contraste reducido, el ruido del sensor y el sesgo de color degradan la capacidad de emparejamiento de características. Esta ruptura en la correspondencia altera la agregación del volumen de costos, lo que conduce a geometrías incorrectas y apariencias sobre-suavizadas.

Las soluciones existentes, como una tubería de "restaurar-luego-reconstruir" (mejorar imágenes 2D antes de la reconstrucción), son insuficientes. La mejora por imagen a menudo introduce desplazamientos de color dependientes de la vista e inconsistencias de iluminación, fallando al optimizar explícitamente la consistencia multi-vista, lo que resulta en una reconstrucción inestable aguas abajo. Además, existe una escasez de datos de supervisión multi-vista realistas donde las vistas objetivo estén limpias mientras que las vistas de contexto estén degradadas, lo que dificulta entrenar modelos específicamente para esta tarea.

Metodología: DelowlightSplat

Los autores proponen DelowlightSplat, un marco 3DGS de dos vistas y tipo feed-forward consciente de la baja iluminación, diseñado para reconstruir escenas 3D limpias y normalmente iluminadas directamente a partir de entradas de baja iluminación. La tubería consta de tres etapas principales:

1. Benchmark de Baja Iluminación Multi-vista Controlable

Para abordar la falta de datos de entrenamiento, los autores construyeron un benchmark basado en un conjunto de datos de vistas con poses a gran escala. En lugar de degradar escenas enteras, degradan solo las vistas de contexto (imágenes de entrada) mientras mantienen las vistas objetivo (verdad terrenal) limpias. El operador de degradación $\mathcal{L}$ aplica cuatro transformaciones probabilísticas secuencialmente a las imágenes de contexto:

• Oscurecimiento Gamma: $I \leftarrow I^\gamma$ con $\gamma > 1$.
• Escala de Exposición: $I \leftarrow s \cdot I$ con $0 < s < 1$.
• Desplazamiento de Canal RGB: Escalamiento independiente de los canales R, G y B.
• Desenfoque: Convolución con un kernel Gaussiano.

Este protocolo aísla el impacto de las entradas de baja iluminación en la reconstrucción mientras evita que el modelo simplemente aprenda a imitar apariencias de baja iluminación.

2. Adaptador de Baja Iluminación

Se introduce un módulo frontal ligero para mapear las entradas de baja iluminación a un dominio de representación adecuado para el razonamiento multi-vista. A diferencia de los modelos de mejora 2D independientes, este adaptador se optimiza para mejorar la capacidad de emparejamiento para la tubería posterior.

• Mecanismo: Predice una corrección residual $\Delta(I_i)$ utilizando una pequeña pila de bloques residuales convolucionales.
• Salida: La imagen adaptada se calcula como $\tilde{I}_i = \text{clip}(I_i + \lambda \cdot \tanh(\Delta(I_i)))$.
• Beneficio: Esta formulación residual permite que el modelo se mantenga cerca de la identidad para degradaciones leves (evitando la sobre-mejora) y se entrena de extremo a extremo con la columna vertebral de reconstrucción.

3. Red de Splatting Gaussiano Feed-forward

Las vistas de contexto adaptadas $\{\tilde{I}_i\}$ son procesadas por un codificador multi-vista basado en volumen de costos:

• Codificación de Características: Extrae características 2D y realiza interacción entre vistas para agregar evidencia geométricamente consistente.
• Construcción de Geometría: Predice profundidad y cantidades relacionadas con la densidad en cada píxel. Estas se retro-proyectan en 3D para formar centros Gaussianos ($\mu$). Las covarianzas ($\Sigma$) y opacidades ($\alpha$) se parametrizan para asegurar la definición positiva y rangos válidos.
• Apariencia: Cada Gaussiana lleva coeficientes de Armónicos Esféricos (SH) ($h$) para representar el color dependiente de la vista.
• Objetivo de Entrenamiento: La red es supervisada utilizando imágenes objetivo limpias ($I^\star_t$) mediante una combinación de pérdida píxel a píxel (por ejemplo, $\ell_2$ o Charbonnier) y pérdida perceptual.

Contribuciones Clave

1. Un Benchmark de Baja Iluminación Multi-vista Controlable: Un marco de entrenamiento y evaluación que degrada solo las vistas de contexto con transformaciones probabilísticas mientras mantiene vistas objetivo limpias, permitiendo la ablación sistemática de los efectos de baja iluminación.
2. Tubería DelowlightSplat: Una nueva tubería 3DGS de dos vistas y tipo feed-forward que integra un Adaptador de Baja Iluminación ligero para mejora residual. Este enfoque mejora la capacidad de emparejamiento entre vistas y predice directamente Gaussianas 3D limpias para la renderización de nuevas vistas, evitando las inconsistencias de las tuberías de dos etapas.

Resultados Experimentales

El método fue evaluado contra dos líneas base:

• Lowlight MVSplat: Alimentar directamente imágenes de baja iluminación a un reconstructor feed-forward estándar.
• DarkIR $\to$ MVSplat: Una tubería de dos etapas que utiliza un modelo fuerte de restauración 2D (DarkIR) seguido de reconstrucción.

Rendimiento Cuantitativo (Síntesis de Nueva Vista en Baja Iluminación):
DelowlightSplat superó significativamente a ambas líneas base:

• PSNR: Mejoró de 8.49 (Lowlight MVSplat) y 17.11 (DarkIR $\to$ MVSplat) a 23.08.
• SSIM: Mejoró de 0.372 y 0.723 a 0.833.
• LPIPS: Se redujo de 0.355 y 0.225 a 0.162 (menor es mejor).

Observaciones Cualitativas:

• La reconstrucción directa resultó en texturas sobre-suavizadas y artefactos geométricos (por ejemplo, estructuras flotantes).
• La línea base de dos etapas mejoró el brillo pero introdujo desplazamientos de color dependientes de la vista y desenfoque residual debido a la restauración inconsistente por imagen.
• DelowlightSplat produjo bordes más nítidos, geometría estable y color/sombreado consistente a través de los puntos de vista.

Significado y Afirmaciones

El artículo afirma que DelowlightSplat cierra efectivamente la brecha entre la reconstrucción 3D feed-forward estándar y las condiciones de baja iluminación. Al integrar la adaptación de baja iluminación directamente en la tubería de reconstrucción en lugar de tratarla como un paso de pre-procesamiento separado, el método optimiza explícitamente la consistencia multi-vista. Los resultados demuestran que este enfoque produce una mayor fidelidad de reconstrucción y calidad perceptual bajo diversas degradaciones de baja iluminación (gamma, exposición, desplazamiento de color y desenfoque) en comparación con los métodos directos o de dos etapas existentes.

Los autores notan que el trabajo futuro podría extender el modelo para manejar más vistas, contextos temporales más largos y artefactos de sensores del mundo real como desenfoque de movimiento severo y ruido espacialmente variable.