Lighting-Consistent Object Transfer Across Radiance Fields

Resumen Técnico: Transferencia de Objetos con Consistencia de Iluminación entre Campos de Radiancia (DOT3D)

Planteamiento del Problema
El 3D Gaussian Splatting (3DGS) permite la captura eficiente y el renderizado en tiempo real de escenas reales. Sin embargo, la edición de estas representaciones es un desafío porque los materiales y la iluminación están entrelazados en el momento de la captura. Aunque la composición de objetos de una escena capturada en otra tiene aplicaciones en VFX, arquitectura y marketing, la transferencia ingenua (copiar primitivas Gaussianas) resulta en salidas poco realistas. El principal modo de fallo es la inconsistencia de la iluminación: el objeto transferido carece de sombras, reflejos e iluminaciones apropiadas para el entorno de destino, lo que hace que parezca pegado en lugar de integrado. Las soluciones existentes requieren una costosa modelación 3D manual y estimación de iluminación, o se limitan a la armonización de imágenes en 2D, fallando en producir resultados 3D consistentes entre múltiples vistas.

Metodología: DOT3D
Los autores proponen DOT3D (Diffusion Object Transfer in 3D), un flujo de trabajo que extrae un objeto de una escena 3DGS de origen, lo coloca en una escena 3DGS de destino y armoniza la iluminación para que coincida con el nuevo entorno. El proceso consta de tres etapas principales:

1. Composición Interactiva de Objetos:

   • Segmentación: La escena de origen se reconstruye mediante 3DGS. Para extraer un objeto, el método asigna una característica de clasificación binaria ($d=1$) a cada primitiva Gaussiana. Estas características se optimizan mediante una pérdida de entropía cruzada binaria contra máscaras 2D (generadas por BiRefNet) para segmentar el objeto en 3D.
   • Transferencia: Los usuarios colocan interactivamente el objeto segmentado en una escena 3DGS de destino, ajustando su posición, orientación y escala. Esto crea un "compuesto ingenuo" inicial donde el objeto conserva su iluminación original, lo que resulta en inconsistencias visuales.

2. Armonización de Vista Única (Modelo de Difusión):

   • El núcleo del método es un modelo de difusión ajustado (basado en FLUX.1-schnell) que transforma las imágenes compuestas inconsistentes en vistas armonizadas.
   • Entrada: El modelo toma un renderizado del compuesto ingenuo, la máscara binaria del objeto y la imagen del compuesto mismo.
   • Datos de Entrenamiento: Para entrenar el modelo, los autores construyeron un conjunto de datos heterogéneo que comprende tres fuentes:
     • Datos Sintéticos: Escenas interiores renderizadas en Blender con iluminación global de verdad fundamental (ground-truth), donde los objetos se renderizan bajo una iluminación discordante y se pegan sobre fondos.
     • Datos Generados: Imágenes creadas con FLUX, procesadas con una red de eliminación de objetos personalizada (entrenada con datos sintéticos) para generar fondos, y reluminadas mediante DiffusionRenderer para crear compuestos inconsistentes.
     • Datos Reales: Imágenes submuestreadas del conjunto de datos ORIDa, aumentadas con reluminación mediante DiffusionRenderer.
   • Proceso: El modelo opera en el espacio latente de un autoencoder variacional, regresando la velocidad para transformar un latente ruidoso en una imagen armonizada que incluye sombras, reflejos e integración de iluminación correctos.

3. Consolidación Multi-Vista (Post-Optimización de 3DGS):

   • Dado que el modelo de difusión procesa las vistas de forma independiente, las imágenes armonizadas resultantes pueden carecer de consistencia 3D.
   • Los autores proponen un paso de post-optimización para consolidar estas vistas de nuevo en una única representación 3DGS.
   • Optimización: Partiendo del 3DGS del compuesto ingenuo, el método optimiza únicamente los colores (todas las bandas de armónicos esféricos) de las primitivas Gaussianas utilizando una pérdida perceptual (LPIPS).
   • Restricciones: Los efectos dependientes de la vista de la escena de origen se reinician (las bandas de SH superiores se establecen en cero) para evitar artefactos desde puntos de vista no vistos. La geometría y la opacidad permanecen fijas. Este paso asegura que la escena final sea consistente multi-vista mientras preserva la armonización de alta fidelidad generada por el modelo de difusión.

Contribuciones Clave

• Un Modelo de Difusión Especializado: Un modelo ajustado para la armonización de iluminación 2D de inserción de objetos, entrenado en un conjunto de datos heterogéneo que combina datos sintéticos, generados y reales.
• Post-Optimización de 3DGS: Una estrategia de consolidación que transforma las vistas 2D armonizadas de forma independiente en una escena 3DGS consistente mediante la optimización de los colores de las Gaussianas con una pérdida perceptual, evitando la necesidad de actualizaciones iterativas del conjunto de datos.
• Flujo de Trabajo Interactivo: Un proceso completo que permite a los usuarios extraer, colocar y armonizar objetos a través de escenas 3DGS con iluminación, sombras y reflejos consistentes.

Resultados y Evaluación
El método fue evaluado en una variedad de conjuntos de datos del mundo real (Mip-NeRF-360, DL3DV, Ref-NeRF, etc.) y escenas sintéticas de alta calidad con verdad fundamental.

• Rendimiento Cualitativo: Comparado con métodos 2D (LBM, MV-CoLight, Nano Banana) y enfoques de renderizado inverso 3D (Gaussian Shader, GS-IR, 3DGS-DR), DOT3D produce resultados significativamente más realistas. Los métodos anteriores suelen fallar al generar sombras de contacto, sufren de sangrado de color o producen superficies excesivamente saturadas. DOT3D integra objetos con sombras y reflejos plausibles con éxito.
• Rendimiento Cuantitativo: En escenas sintéticas con verdad fundamental, DOT3D supera a los baselines de renderizado inverso en todas las métricas (PSNR, SSIM, LPIPS, FID, KID). Por ejemplo, logra un PSNR de 22.53 frente a los 18.66 del siguiente mejor método (Gaussian Shader).
• Consistencia: Los estudios de ablación sobre la consistencia de la iluminación en diferentes poses de los objetos demuestran que el método mantiene una iluminación consistente en vistas nuevas.
• Ablaciones: El estudio confirma que el conjunto de datos sintético de Blender es el componente más crítico para entrenar el modelo de difusión. Además, se demuestra que el enfoque de post-optimización de un solo paso es más efectivo y eficiente que las estrategias de actualización iterativa de conjuntos de datos.

Significación y Reivindicaciones
El artículo afirma que DOT3D proporciona una solución "visualmente convincente" que hace que la transferencia de objetos entre escenas 3DGS sea fácil de usar y mejora significativamente la calidad respecto a métodos previos. Al aprovechar los priors de los modelos de difusión para la armonización 2D y un post-procesamiento ligero para la consistencia 3D, el método aborda el difícil problema inverso de la armonización de la iluminación sin requerir la reconstrucción explícita de la geometría o una estimación de iluminación compleja. Los autores señalan que, si bien el método produce resultados "plausibles" en lugar de una exactitud física absoluta, permite la reutilización realista de activos en diferentes entornos capturados. El trabajo se presenta como un paso adelante para hacer que las representaciones 3DGS sean editables para aplicaciones del mundo real como VFX y diseño de interiores.