Diffusion Models are Secretly Zero-Shot 3DGS Harmonizers

1. Enunciado del Problema

El artículo aborda el desafío de la inserción de objetos 3D en escenas de 3D Gaussian Splatting (3DGS). Aunque el 3DGS ha revolucionado la síntesis de nuevas vistas y la reconstrucción de escenas, insertar un nuevo objeto 3D en una escena existente sigue siendo difícil.

• Problema Central: La inserción ingenua de "copiar y pegar" resulta en objetos que parecen poco realistas porque su iluminación, sombras y reflejos no coinciden con el entorno objetivo.
• Limitaciones de los Métodos Existentes:
  • Renderizado basado en física (PBR): Requiere un ajuste manual complejo de materiales e iluminación, lo cual es lento y propenso a errores.
  • Editores 3DGS existentes (p. ej., TIP-Editor, R3DG): A menudo tienen dificultades con objetos grandes, no logran preservar detalles finos de textura o no pueden distinguir entre el color intrínseco de un objeto (albedo) y las sombras, lo que conduce a una reiluminación poco realista.
  • Tuberías de 2D a 3D: A menudo carecen de consistencia multi-vista o no logran generar sombras conscientes de la escena correctamente.

2. Metodología: D3DR

Los autores proponen D3DR, una tubería totalmente zero-shot que aprovecha los priores de iluminación implícitos de los modelos de difusión preentrenados para armonizar los objetos insertados sin requerir datos de entrenamiento específicos para la tarea. La tubería consta de dos etapas principales:

A. Personalización de Difusión (Preservación de Identidad)

Para asegurar que el objeto insertado mantenga su identidad única (geometría y texturas finas como texto o patrones) mientras se adapta a una nueva iluminación, los autores introducen una estrategia de personalización de doble modelo:

1. Modelo de Personalización Rudo ($\epsilon_{\phi,r}$): Basado en DreamBooth, este modelo se ajusta finamente sobre el objeto utilizando IC-Light (una herramienta que sintetiza el objeto bajo iluminación y fondos variados). Esto permite que el modelo comprenda cómo debería verse el objeto bajo diferentes condiciones de iluminación.
2. Modelo de Personalización con Preservación de Textura ($\epsilon_{\phi,t}$): Una modificación novedosa de la arquitectura donde el modelo de difusión acepta dos entradas: la imagen original del objeto (bajo su iluminación nativa) y una versión ruidosa de la imagen reiluminada. Esta rama está diseñada específicamente para preservar detalles de alta frecuencia (p. ej., texto impreso, patrones decorativos) que DreamBooth estándar suele difuminar.

B. Inserción y Reiluminación 3DGS (2-Step-DDS)

Una vez que el objeto se inserta en la escena, el sistema optimiza los parámetros de los Gaussianos 3D para coincidir con la iluminación de la escena utilizando un objetivo de Delta Denoising Score (DDS).

• La Idea Clave: Los autores revelan que los modelos de difusión aprenden implícitamente estadísticas de iluminación del mundo real. Al optimizar la apariencia del objeto para minimizar la pérdida DDS (la diferencia entre el objeto desruido en la escena y el objeto original), el objeto adopta naturalmente la iluminación de la escena.
• Estrategia de Optimización en 2 Pasos: Para evitar artefactos de ruido comunes en la optimización directa en el espacio de la imagen, los autores proponen un enfoque 2-step-DDS:
  1. Optimización Latente: Optimizar la representación latente de la imagen utilizando la pérdida DDS (similar al Muestreo de Distorsión de Puntuación pero en el espacio latente).
  2. Refinamiento de Píxeles: Decodificar el latente optimizado de vuelta al espacio de la imagen y realizar unos pocos pasos de optimización de Error Cuadrático Medio (MSE) para alinear la salida renderizada de 3DGS con la imagen refinada.
  • Esto evita la retropropagación a través del decodificador VAE durante los pasos principales de gradiente, mejorando significativamente la eficiencia y la estabilidad.

C. Modelado de Sombras

Para manejar las sombras, el método introduce parámetros optimizables para los Gaussianos de la escena cerca del objeto. Estos parámetros permiten que los Gaussianos de la escena se oscurezcan (pero no se aclaren) para simular sombras proyectadas, asegurando que el objeto interactúe físicamente con el suelo y la geometría circundante.

3. Contribuciones Clave

1. Armonización 3DGS Zero-Shot: Demuestra que los modelos de difusión preentrenados poseen una capacidad inherente y zero-shot para realizar la inserción y reiluminación de objetos consistentes con la iluminación en representaciones 3DGS sin entrenamiento supervisado.
2. Técnica de Personalización Novel: Introduce un enfoque de doble modelo (Rudo + con Preservación de Textura) que preserva con éxito detalles finos del objeto (como texto y patrones) mientras se adapta a nueva iluminación, resolviendo un modo de fallo importante de DreamBooth estándar.
3. Optimización 2-Step-DDS: Propone una estrategia de optimización híbrida (DDS Latente + MSE de Píxeles) que elimina artefactos de ruido y mejora la velocidad de convergencia en comparación con los métodos SDS/DDS estándar.
4. Inserción Consciente de Sombras: Un mecanismo para generar sombras proyectadas realistas optimizando los Gaussianos de la escena, una característica a menudo ausente en los métodos de edición 3D basados en 2D.

4. Resultados Experimentales

Los autores evaluaron D3DR en un conjunto de datos recién recopilado de 10 escenas interiores sintéticas y 3 escenas del mundo real, comparándolo con líneas base como TIP-Editor, R3DG, Instruct-GS2GS, Latent Bridge Matching (LBM) y el "Copiar y Pegar" ingenuo.

• Rendimiento Cuantitativo:
  • Calidad de Reiluminación: D3DR logró una mejora de 2.0 dB en PSNR (específicamente $PSNR_{part}$ y $PSNR_{cropped}$) sobre los mejores métodos existentes.
  • Realismo: Superó a todas las líneas base en métricas basadas en CLIP (CTIS y DTIS), indicando una mejor alineación con el estilo visual y la iluminación de la escena objetivo.
  • Fidelidad de Sombras: Logró el PSNR más alto para las regiones de sombra ($PSNR_{shadow}$).
• Eficiencia:
  • El tiempo de entrenamiento es de aproximadamente 40 minutos por escena, lo cual es significativamente más rápido que TIP-Editor (140 min) y R3DG (185 min).
  • Requiere menos primitivas Gaussianas y menos almacenamiento que los métodos basados en física.
• Resultados Cualitativos:
  • Preservó con éxito detalles finos (p. ej., texto en un letrero de "Cuidado Piso Mojado") que otros métodos difuminaron o distorsionaron.
  • Generó resultados multi-vista consistentes y sombras realistas, mientras que métodos como LBM fallaron en producir sombras y TIP-Editor tuvo dificultades con objetos grandes.

5. Significado

Este trabajo cambia fundamentalmente el paradigma de la inserción de objetos 3D al demostrar que los modelos de difusión actúan como potentes "armonizadores de iluminación" zero-shot.

• Elimina la Modelización Compleja: Elimina la necesidad de estimación explícita de mapas ambientales, descomposición BRDF o ajuste manual de iluminación.
• Une 2D y 3D: Transfiere efectivamente los priores de iluminación aprendidos por modelos de difusión 2D (entrenados en conjuntos de datos masivos del mundo real) al dominio de 3DGS.
• Aplicación Práctica: El método ofrece una solución rápida y de alta fidelidad para la creación de contenido de RA/RV, probadores virtuales y edición de escenas, haciendo accesible la colocación realista de objetos 3D sin conocimientos profundos de física.

En conclusión, D3DR demuestra que las capacidades "ocultas" zero-shot de los modelos de difusión pueden aprovecharse para resolver problemas complejos de renderizado 3D, logrando resultados de vanguardia en consistencia de iluminación, preservación de texturas y generación de sombras.