Resumen Técnico: Descomposición Intrínseca y Edición de 3D Gaussian Splats

1. Planteamiento del Problema

La descomposición de imágenes intrínsecas, que separa los colores de la imagen en albedo difuso (textura) y sombreado (iluminación/sombras), es una tarea fundamental para la edición de imágenes. Permite a los usuarios modificar los colores y las texturas de los objetos sin alterar las condiciones de iluminación subyacentes. Si bien esto se ha estudiado extensamente para imágenes 2D, videos y Campos de Radiancia Neuronal (NeRF), extenderlo a 3D Gaussian Splatting (3DGS) presenta desafíos únicos.

Los enfoques existentes para la descomposición intrínseca en 3DGS suelen aumentar un único conjunto de primitivas Gaussianas con cantidades intrínsecas (albedo, sombreado, residuales). Sin embargo, este enfoque monolítico tiene dificultades porque los diferentes componentes intrínsecos requieren distintas resoluciones espaciales y exhiben características distintas:

• El Albedo suele contener detalles de alta frecuencia (texturas) pero carece de pistas geométricas en regiones uniformes.
• El Sombreado contiene bordes nítidos (sombras duras) pero suele ser suave en otras partes.
• Los Residuales capturan efectos dependientes de la vista.

Un único conjunto de Gaussianas no puede adaptarse simultáneamente a los requisitos espaciales variables de estas capas, lo que conduce a una reconstrucción y capacidades de edición subóptimas. Además, editar 3DGS directamente suele entrelazar la iluminación y la textura, lo que dificulta cambiar el color de una superficie sin distorsionar las sombras o los brillos.

2. Metodología

Los autores proponen un flujo de trabajo que desacopla el campo de radiancia en tres conjuntos independientes de primitivas Gaussianas: uno para el Albedo ($G_A$), uno para el Sombreado ($G_S$) y uno para los Residuales Dependientes de la Vista ($G_R$). El modelo de formación de la imagen se define como:
$$I = A \times S + R$$
donde $I$ es la imagen observada, $A$ es el albedo, $S$ es el sombreado y $R$ es el residual.

2.1 Modelado

A diferencia del 3DGS estándar que utiliza Armónicos Esféricos (SH) para el color dependiente de la vista en todas las primitivas, este método personaliza la representación:

• Gaussianas de Albedo y Sombreado ($G_A, G_S$): Utilizan tripletas RGB simples ($c \in \mathbb{R}^3$), ya que representan cantidades independientes de la vista.
• Gaussianas de Residuales ($G_R$): Utilizan Armónicos Esféricos para modelar efectos dependientes de la vista.
• Optimización Separada: Cada conjunto se optimiza de forma independiente, permitiendo que el número y la distribución de las primitivas se adapten a las necesidades de frecuencia y geometría específicas de cada capa.

2.2 Flujo de Reconstrucción

El proceso de reconstrucción ocurre en tres etapas principales:

1. Estimación de Albedo Basada en Datos:

   • El video de entrada es procesado por DiffusionRenderer (un modelo de difusión de video) para predecir mapas de albedo consistentes temporalmente para todos los fotogramas.
   • Para manejar videos largos, los autores emplean Brick Diffusion, escalonando el proceso de eliminación de ruido a través de fragmentos superpuestos para asegurar transiciones suaves y evitar artefactos de frontera.
   • El video se subsamplea para crear un conjunto de datos multivista para la reconstrucción 3D.

2. Reconstrucción del Campo de Albedo ($G_A$):

   • Las Gaussianas de albedo se optimizan utilizando los mapas de albedo predichos.
   • Desafío: Las imágenes de albedo a menudo carecen de pistas geométricas (colores constantes por tramos), lo que dificulta la colocación 3D.
   • Solución: La optimización se regulariza mediante estimaciones de profundidad monoculares (de Depth Anything V2) y un término de regularización de escala para fomentar que las primitivas se aplanen y formen bordes nítidos. Esto asegura que el campo de albedo se adhiera a la geometría de la escena a pesar de la falta de textura en los mapas de albedo de entrada.

3. Reconstrucción de Sombreado y Residuales ($G_S, G_R$):

   • Con $G_A$ congelado, el campo de sombreado se optimiza primero utilizando el modelo $I = A \times S$.
   • Luego, el campo residual se optimiza para capturar efectos no difusos.
   • Regularización: Para evitar que el sombreado se vuelva arbitrariamente grande en regiones de albedo oscuro, se aplica una regularización de "grisura" para fomentar que las Gaussianas de sombreado permanezcan de color neutro.
   • Inicialización: Las Gaussianas residuales se generan en ubicaciones con altas diferencias entre la imagen de entrada y el renderizado difuso compuesto.

2.3 Flujo de Trabajo de Edición

El sistema permite la edición interactiva de la capa de albedo preservando la iluminación:

1. Entrada del Usuario: El usuario selecciona una superficie y pinta una nueva textura o color en una vista específica.
2. Superficie Proxy: Dado que la profundidad de 3DGS no es confiable para la reproyección, el sistema ajusta un plano proxy a la superficie seleccionada utilizando RANSAC sobre las Gaussianas contribuyentes.
3. Síntesis Multivista: La textura editada se renderiza sobre el plano proxy desde múltiples puntos de vista cercanos para generar un conjunto de imágenes de albedo "editadas".
4. Re-optimización: Las Gaussianas de albedo ($G_A$) se re-optimizan utilizando estas vistas sintetizadas. Se generan nuevas Gaussianas en el plano proxy para capturar los detalles de alta frecuencia introducidos por la edición.
5. Resultado: La escena final puede navegarse desde puntos de vista arbitrarios con la nueva textura, mientras que el sombreado y las sombras originales (almacenados en $G_S$ y $G_R$) permanecen intactos.

3. Contribuciones Clave

1. Representaciones Gaussianas Separadas: Una representación novedosa de campos de radiancia utilizando tres conjuntos distintos de Gaussianas para albedo, sombreado y residuales, permitiendo que cada capa adapte la distribución de sus primitivas a las características de la señal.
2. Reconstrucción Basada en Difusión de Video: Un método para reconstruir campos intrínsecos a partir de fotografías multivista utilizando un prior de difusión de video (DiffusionRenderer) para asegurar la consistencia temporal, regularizado por restricciones de profundidad y escala para manejar la ambigüedad de la reconstrucción de albedo.
3. Flujo de Trabajo de Edición Intrínseca: Un sistema que permite a los usuarios editar texturas y colores de superficie en una escena 3D mientras preservan la iluminación y las sombras realistas, logrado mediante el desacoplamiento de los componentes intrínsecos y el uso de reproyección basada en proxies para la consistencia multivista.

4. Resultados y Evaluación

El método fue evaluado en tres escenas del mundo real y una escena sintética (con verdad de campo/ground truth).

• Calidad de la Descomposición: En la escena sintética, el método logró una mayor calidad de reconstrucción de albedo (PSNR 29.4 frente a 13.7 para GI-GS) en comparación con otros métodos de renderizado inverso de vanguardia (GI-GS, R3GS), aunque requirió más primitivas. Logró separar con éxito la textura del sombreado, mientras que los métodos competidores a menudo retenían artefactos de sombreado en la capa de albedo.
• Capacidades de Edición: En tareas de edición comparativas contra ReCoGS y SplatShop, el método propuesto demostró una capacidad superior para modificar texturas sin alterar las sombras.
  • ReCoGS preservó la información de textura al recolorear, fallando en eliminar el patrón original.
  • SplatShop sobrescribió tanto la textura como las sombras.
  • El método propuesto eliminó con éxito la textura original y aplicó una nueva manteniendo los efectos de sombreado y luz originales.
• Rendimiento: El método es más lento que el 3DGS vanilla debido a la necesidad de renderizar tres campos separados durante la optimización e inferencia. Sin embargo, logra velocidades de renderizado en tiempo real (aprox. 96–128 FPS) en el resultado compuesto final.

5. Significado y Reivindicaciones

El artículo afirma que, al desacoplar el albedo y el sombreado en conjuntos Gaussianos independientes, es posible realizar una edición físicamente plausible de escenas 3D. El significado radica en:

• Consistencia Multivista: A diferencia de los métodos de edición de una sola vista, el flujo de trabajo propuesto garantiza que las ediciones se mantengan consistentes a través de diferentes ángulos de cámara aprovechando la reproyección basada en profundidad y la optimización multivista.
• Preservación de la Iluminación: La separación permite la modificación de la textura sin el "lavado" o la distorsión de las sombras que típicamente ocurre al editar campos de radiancia entrelazados.
• Practicidad: El enfoque evita el costo computacional prohibitivo del renderizado inverso completo para escenas complejas al depender de modelos de difusión pre-entrenados para la descomposición inicial, lo que lo hace factible para la edición de escenas completas en lugar de solo objetos aislados.

Los autores reconocen limitaciones, incluyendo la naturaleza "difusa" de 3DGS que hace compleja la edición no planar, la dependencia de la calidad de los priors de difusión (que pueden ser borrosos) y la incapacidad actual de realizar un relighting completo (cambiar las fuentes de luz), centrándose en su lugar en la modificación del albedo.