Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis

Resumen Técnico: Dehaze-then-Splat

1. Planteamiento del Problema

El desafío central abordado en este trabajo es la restauración de vistas múltiples con humo y la síntesis de nuevas vistas (Novel View Synthesis - NVS) para la reconstrucción 3D. El problema presenta una tensión fundamental:

• Calidad por imagen vs. Consistencia multi-vista: Los modelos generativos de deshumificación (dehazing) más avanzados, como Nano Banana Pro, logran una restauración visualmente impresionante en cada imagen individual. Sin embargo, al procesar cada vista de forma independiente, introducen variaciones estocásticas en el color, la textura y detalles "alucinados".
• Consecuencia en 3D: Cuando estas imágenes inconsistentes se utilizan para entrenar modelos de 3D Gaussian Splatting (3DGS), el algoritmo intenta reconciliar señales fotométricas conflictivas. Esto resulta en renders borrosos, deriva de textura, inestabilidad estructural y la aparición de artefactos flotantes ("floaters"), degradando severamente la calidad de la reconstrucción 3D.

El objetivo es eliminar el humo de un conjunto de imágenes multivista (basado en el benchmark RealX3D del desafío NTIRE 2026) y sintetizar vistas nuevas de la escena limpia, manteniendo la coherencia geométrica y fotométrica.

2. Metodología: Pipeline "Dehaze-then-Splat"

Los autores proponen un pipeline de dos etapas que combina la restauración generativa con un entrenamiento de 3DGS informado por física:

Etapa 1: Deshumificación Generativa y Normalización

• Modelo: Se utiliza Nano Banana Pro (vía API de Gemini) para eliminar el humo en cada fotograma individualmente.
• Prompt Engineering: Se emplea un prompt estructurado de 6 puntos para asegurar la eliminación del humo preservando la geometría y la apariencia fotorrealista, superando a los prompts simples.
• Alineación: Las imágenes generadas se redimensionan para coincidir exactamente con las intrínsecas de la cámara.
• Normalización de Brillo: Se aplica una normalización de media/desviación estándar por canal para corregir las inconsistencias de brillo entre frames (que pueden llegar a 0.12 de diferencia), alineando las distribuciones de brillo a las estadísticas de la imagen de referencia (GT) o a la mediana de todos los frames.

Etapa 2: Entrenamiento de 3DGS con Priors Físicos
Para compensar las inconsistencias introducidas en la Etapa 1, se entrena el modelo 3DGS con una función de pérdida que incluye pérdidas auxiliares basadas en física:
$$L = (1-\lambda_s)L_1 + \lambda_s L_{SSIM} + \lambda_d L_{DCP} + \lambda_p L_{depth} + \lambda_g L_{grad}$$

• Supervisión de Profundidad ($L_{depth}$): Se utilizan mapas de profundidad pseudo-generados por Depth Anything V2 (robusto al humo). Se aplica una pérdida de correlación de Pearson ponderada e invariante a la escala entre la profundidad renderizada y la pseudo-profundidad.
• Regularización de Prior de Canal Oscuro ($L_{DCP}$): Se fuerza a que el canal oscuro de la imagen renderizada sea cercano a cero, asumiendo que las imágenes limpias tienen valores mínimos en sus canales oscuros, lo que suprime el humo residual.
• Pérdida de Gradiente de Doble Fuente ($L_{grad}$): Se supervisa la estructura de bordes comparando los gradientes de la imagen renderizada con una referencia estructural secundaria (salida de MB-TaylorFormer), asegurando coherencia en los bordes.
• Estrategia de Densificación MCMC: Se utiliza la estrategia MCMC (Monte Carlo Markov Chain) de la librería gsplat en lugar de heurísticas manuales de división/clonación, gestionando la densidad de gaussianas mediante inyección de ruido estocástico.
• Parada Temprana (Early Stopping): Se detiene la densificación de gaussianas en un paso temprano (ej. paso 3000). El análisis muestra que entrenar demasiado permite que el modelo memorice las inconsistencias por vista, generando artefactos flotantes.

3. Contribuciones Clave

1. Identificación de la Tensión Fundamental: Demostración analítica de que la alta calidad de restauración 2D por imagen no garantiza la consistencia multi-vista necesaria para la reconstrucción 3D, y que esta inconsistencia es la causa principal de la degradación en 3DGS.
2. Pipeline Híbrido: Propuesta de un enfoque de dos etapas que combina la potencia de los modelos generativos (Nano Banana Pro) con regularizaciones físicas en el espacio 3D para corregir las inconsistencias.
3. Mecanismos de Regularización: Introducción de pérdidas auxiliares (profundidad, prior de canal oscuro, gradientes) que actúan como regularizadores implícitos de consistencia multi-vista.
4. Control de Capacidad: Demostración de que la parada temprana de la densificación es crítica para evitar el sobreajuste a artefactos de generación, logrando los mejores resultados con un número bajo de gaussianas (~104k).

4. Resultados

En la escena de validación Akikaze (con imágenes de ground truth disponibles):

• Rendimiento Final: El pipeline completo alcanza 20.98 dB de PSNR y 0.683 de SSIM.
• Mejora sobre la Línea Base: Esto representa una mejora de +1.50 dB sobre la línea base sin regularización (que obtiene 19.48 dB).
• Comparación de Componentes:
  • La supervisión de profundidad aporta la mayor ganancia individual (+0.79 dB).
  • La estrategia MCMC mejora +0.47 dB frente a la estrategia por defecto.
  • La parada temprana (STOP=3k) es crucial; entrenar hasta 15k o 20k pasos degrada la calidad catastróficamente debido a la aparición de "floaters".
• Comparación 2D: Nano Banana Pro con normalización logra el mejor PSNR por frame (20.07 dB) frente a métodos clásicos (DCP: ~11.9 dB) y otros modelos de aprendizaje (MB-TaylorFormer: 17.00 dB).

5. Significado y Conclusión

El trabajo establece que ni los enfoques puramente 2D (que carecen de consistencia 3D) ni los enfoques puramente 3D de extremo a extremo (que carecen de priores de restauración fuertes y colapsan) son suficientes por sí solos.

La solución óptima reside en un equilibrio híbrido: utilizar modelos generativos potentes para la restauración inicial y corregir sus defectos de consistencia mediante regularizaciones físicas y un control estricto de la capacidad del modelo 3D (parada temprana). Este enfoque "Dehaze-then-Splat" demuestra ser efectivo para la síntesis de vistas nuevas libres de humo, superando significativamente a las líneas base actuales en desafíos de restauración 3D.

El código del proyecto está disponible públicamente, facilitando la reproducción y el avance en la comunidad de visión por computadora.