Resumen Técnico: InvSplat: Inverse Feed-Forward Scene Splatting

Declaración del Problema

El renderizado inverso busca recuperar la geometría 3D y la reflectancia de superficie físicamente significativa a partir de imágenes, un requisito previo para aplicaciones como el reiluminado, la edición de materiales y la inserción de contenido realista en AR/VR. Los métodos existentes enfrentan un compromiso entre eficiencia, interpretabilidad física y consistencia multivista:

• Los enfoques basados en optimización (por ejemplo, IRIS) logran una alta fidelidad pero requieren un ajuste computacionalmente costoso por cada escena, lo que limita su utilidad práctica.
• Los enfoques basados en aprendizaje (por ejemplo, DiffusionRenderer, MVInverse) ofrecen una inferencia más rápida pero operan predominantemente en el espacio de la imagen. Carecen de representaciones de escena 3D explícitas, lo que conduce a inconsistencias multivista y a la incapacidad de soportar una síntesis de vistas novedosas robusta o una edición físicamente fundamentada.
• Los métodos de reconstrucción 3D de alimentación directa (feed-forward) (por ejemplo, pixelSplat, MVSplat) generan representaciones 3D explícitas (como 3D Gaussians) de manera eficiente, pero se centran en sintetizar la apariencia RGB en lugar de desentrelazar las propiedades intrínsecas del material (albedo, metalicidad, rugosidad). A menudo fallan en reproducir brillos especulares nítidos o permitir un reiluminado explícito.

Metodología

InvSplat introduce un marco de alimentación directa que predice directamente una representación de Gaussianas 3D estructurada con atributos de materiales intrínsecos a partir de imágenes multivista posicionadas en una sola pasada de alimentación directa.

Representación de la Escena

La escena se representa mediante $M$ primitivas de Gaussianas 3D. A diferencia de la 3DGS estándar que utiliza armónicos esféricos para la apariencia, cada Gaussiana $j$ en InvSplat está parametrizada por:

• Geometría: Media ($\mu_j$), Rotación ($q_j$), Escala ($s_j$), Opacidad ($\sigma_j$) y Normal de Superficie ($n_j$).
• Materiales Intrínsecos: Albedo Difuso ($a_j$), Metalicidad ($m_j$) y Rugosidad ($r_j$).

Esto permite una representación desentrelazada y físicamente fundamentada donde la iluminación se separa de las propiedades del material.

Arquitectura

El modelo emplea una red de doble rama de alimentación directa:

1. Rama de Geometría: Inspirada en ReSplat, utiliza un backbone ResNet para extraer características multiescala. Un codificador de geometría multivista (transformer) agrega información entre vistas, seguido de un módulo de emparejamiento de características multivista que construye un volumen de costo de candidatos de profundidad.
2. Rama Intrínseca: Utiliza un backbone DINOv2 ViT-L/14 para codificar las vistas de entrada. Un Traductor Intrínseco Multivista (un transformer de 36 bloques) refina estas características mediante atención de auto-atención intra-vista e inter-vista para extraer características intrínsecas entre vistas.
3. Cabezales de Decodificación: Las características de ambas ramas son procesadas por seis cabezales de decodificación:
   • Profundidad: Estimada mediante un cabezal DPT utilizando características combinadas.
   • Parámetros de la Gaussiana: La rotación, escala y opacidad se refinan usando un Point Transformer que eleva las características 2D a un contexto 3D basado en la profundidad predicha.
   • Materiales y Normales: El albedo, la metalicidad, la rugosidad y las normales se predicen mediante cabezales DPT. La predicción del albedo incluye conexiones de salto (skip connections) a pistas de imagen de mayor resolución.
4. Desproyección y Renderizado: Los mapas de profundidad predichos se desproyectan a 3D para formar los centros de las Gaussianas. La escena se renderiza utilizando un rasterizador de Gaussianas diferenciable para producir mapas de albedo, metalicidad, rugosidad, normal y profundidad.

Entrenamiento

El modelo se entrena en el conjunto de datos InteriorVerse mediante una combinación de pérdidas de píxel y perceptuales:

• Supervisión de Material: Pérdidas $L_1$ y LPIPS para albedo, metalicidad y rugosidad.
• Supervisión de Profundidad: Una pérdida afín-invariante (inspirada en MoGe) para manejar la ambigüedad de escala.
• Supervisión de Normales: Pérdida de similitud de coseno.
  El entrenamiento optimiza conjuntamente el codificador de geometría, el traductor intrínseco y los cabezales de decodificación.

Contribuciones Clave

1. Primer Marco de Renderizado Inverso de Alimentación Directa: InvSplat es el primer método que predice primitivas de Gaussianas 3D basadas en la física con parámetros de materiales intrínsecos a partir de imágenes multivista en una sola pasada de alimentación directa, eliminando la necesidad de optimización por escena.
2. Representación 3D Unificada: Al integrar priors de modelos de estimación de materiales basados en imágenes y de reconstrucción 3D, produce propiedades de material 3D de alta calidad con una fuerte generalización a datos del mundo real.
3. Habilitación de Reiluminado y NVS Consistente: La representación de Gaussianas 3D desentrelazada soporta la síntesis de vistas novedosas con materiales descompuestos, permitiendo un reiluminado basado en la física y un modelado de efectos dependientes de la vista que es consistente a través de los puntos de vista.

Resultados

Los experimentos se realizaron en conjuntos de datos sintéticos (InteriorVerse, Structured3D) y del mundo real (RealEstate10K, DL3DV).

• Rendimiento Cuantitativo: En el conjunto de prueba de InteriorVerse, InvSplat logra un rendimiento comparable a las líneas base 2D (como MVInverse) en términos de PSNR, SSIM y LPIPS para albedo y normales, mientras proporciona una representación 3D explícita.
• Consistencia Multivista: En el conjunto de datos Structured3D, InvSplat demuestra una consistencia entre vistas superior (menor RMSE de reproyección) en comparación con los métodos 2D, particularmente para atributos desafiantes como la metalicidad y la rugosidad.
• Resultados Cualitativos: Las visualizaciones muestran que InvSplat evita "cocinar" los reflejos en el albedo, produciendo detalles más finos y predicciones más consistentes entre vistas en comparación con las líneas base 2D, que a menudo exhiben deriva alrededor de superficies reflectantes.
• Eficiencia: El método logra la reconstrucción en aproximadamente 1.5 segundos, permitiendo el renderizado en tiempo real.

Significancia

El artículo afirma que InvSplat cierra la brecha entre la inferencia de alimentación directa eficiente y el renderizado inverso de alta fidelidad. Al pasar de predicciones en el espacio de la imagen a una representación de Gaussianas 3D explícita con parámetros intrínsecos, el método supera los problemas de inconsistencia multivista de los enfoques previos basados en aprendizaje y los cuellos de botella computacionales de los métodos basados en optimización. Esto permite la descomposición instantánea de escenas, facilitando aplicaciones posteriores como el reiluminado y la edición de materiales que anteriormente eran difíciles de lograr con modelos de alimentación directa.