Resumen Técnico: SSA-3DGS

Planteamiento del Problema

Los métodos de Síntesis de Nuevas Vistas (NVS), particularmente el 3D Gaussian Splatting (3DGS), dependen de la suposición de que las imágenes de entrada están limpias y son consistentes entre múltiples vistas. Sin embargo, las capturas del mundo real suelen contener artefactos en el espacio de la pantalla (screen-space artifacts): oclusiones estáticas fijas al plano de la imagen 2D en lugar de al mundo 3D. Ejemplos comunes incluyen defectos físicos del sensor, obstrucciones ambientales (lluvia, barro en los revestimientos de la lente), obstrucciones de captura (dedos, tableros) y elementos digitales superpuestos (marcas de agua, elementos de la interfaz de usuario).

Debido a que estos artefactos son estáticos en relación con el sensor de la cámara, se "mueven" respecto a la geometría del mundo a medida que la cámara recorre la escena. Los algoritmos de reconstrucción 3D estándar, que asumen consistencia multivista, no logran rechazar estos artefactos. En su lugar, los integran erróneamente en la geometría 3D como "floaters" (Gaussianas 3D cercanas a la cámara) o efectos dependientes de la vista, degradando severamente la fidelidad de los renders de nuevas vistas. Los métodos de robustez existentes (por ejemplo, NeRF-W, RobustNeRF, DeSplat) se dirigen principalmente a transitorios en el espacio del mundo u objetos en movimiento, y tienen dificultades para distinguir el ruido estático del espacio de la pantalla de la geometría de la escena. Además, las técnicas de restauración de una sola imagen carecen de conocimiento estructural 3D, lo que provoca parpadeo temporal e inconsistencias geométricas cuando se aplican como un paso de preprocesamiento.

Metodología: SSA-3DGS

Los autores proponen SSA-3DGS, un marco de trabajo no supervisado que optimiza conjuntamente una representación de escena 3D y una superposición 2D aprendible para desenredar los artefactos del espacio de la pantalla de la geometría subyacente.

Formulación Central

El método extiende el flujo de trabajo estándar de 3DGS introduciendo una superposición 2D aprendible compartida en todas las vistas de entrenamiento. El color de píxel predicho final $\hat{C}(u)$ se modela como una mezcla alfa entre la renderización de la escena 3D limpia $\hat{C}_{3D}(u)$ y la superposición del artefacto:
$$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$$
Donde:

• $W \in \mathbb{R}^{H \times W \times 3}$ es el Mapa de Color del Artefacto aprendible.
• $A \in \mathbb{R}^{H \times W \times 1}$ es la Máscara Alfa del Artefacto aprendible.
• Tanto $W$ como $A$ se definen en coordenadas de píxeles y permanecen constantes para todas las poses de la cámara, a diferencia de las Gaussianas 3D que se proyectan de forma distinta por cada vista.

Optimización y Regularización

La descomposición está subdeterminada; sin regularización, el modelo podría degenerar en soluciones donde la escena 3D es sobreexpuesta o atenuada por una superposición uniforme, o donde detalles válidos de la escena son absorbidos por la superposición. Para evitar esto, los autores introducen una función de pérdida compuesta:
$$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$$

1. Pérdida Fotométrica ($\mathcal{L}_{rgb}$): Pérdida estándar L1 y SSIM entre la predicción compuesta y la verdad de campo (ground truth).
2. Regularización de Dispersión ($\mathcal{L}_{sparse}$): Fomenta que la máscara alfa $A$ sea cero siempre que sea posible. Esto sesga la optimización para explicar los píxeles mediante la geometría 3D primero, utilizando la superposición solo cuando es necesario. También evita la solución degenerada de "colapso de exposición".
3. Pérdida de Variación Total ($\mathcal{L}_{TV}$): Fomenta que la superposición consista en regiones suavemente segmentadas. Esto suprime la absorción de ruido de alta frecuencia y fuerza la coherencia espacial, reflejando la naturaleza de muchos artefactos reales (por ejemplo, marcas de agua, salpicaduras de barro).

Inicialización

En lugar de inicializar la superposición con constantes, el método siembra $W$ y $A$ utilizando estadísticas por píxel del conjunto de entrenamiento. Los píxeles con intensidad estable a través de las vistas (probablemente artefactos) comienzan casi opacos, mientras que los píxeles con alta variación multivista (probablemente contenido de la escena) comienzan casi transparentes.

Contribuciones Clave

1. Desenredo No Supervisado: Un método para recuperar una escena 3DGS limpia y segmentar el artefacto del espacio de la pantalla simultáneamente a partir de grabaciones corruptas multivisuales, sin necesidad de máscaras de verdad de campo o supervisión manual.
2. Esquema de Regularización: Una combinación novedosa de restricciones de dispersión y de variación total que sesga la optimización hacia explicaciones geométricas 3D, asegurando que la capa del artefacto capture únicamente el ruido real del espacio de la pantalla.
3. Dataset del Mundo Real: La introducción de un dataset propio del mundo real que contiene artefactos genuinos inducidos físicamente (barro en el revestimiento de una lente, oclusiones del soporte/rig) para evaluar el método más allá de los compuestos sintéticos.

Resultados

Los autores evaluaron SSA-3DGS en el dataset Mip-NeRF 360 (con artefactos sintéticos) y en su propio dataset del mundo real.

• Desempeño Cuantitativo: En el benchmark sintético, SSA-3DGS mejoró la fidelidad de la reconstrucción hasta en 9 dB de PSNR respecto al 3DGS vanilla entrenado con los mismos inputs corruptos. Superó consistentemente al 3DGS base y al método robusto ante distractores, DeSplat.
  • Con densificación MCMC, SSA-3DGS logró un PSNR medio de 28.43 dB en inputs corruptos, acercándose al rendimiento de 3DGS entrenado con datos limpios (29.57 dB).
  • En la escena real de "Barro" (Mud), el método mejoró el PSNR en 3.0 dB respecto al baseline más fuerte (DeSplat).
• Desempeño Cualitativo: Los resultados visuales demuestran que SSA-3DGS elimina con éxito los artefactos (marcas de agua, tableros, barro, elementos de UI) y recupera la geometría limpia, mientras que los baselines suelen integrar los artefactos en la escena como "floaters" semitransparentes. El método también logra reconstruir el propio artefacto como una superposición separada.
• Ablación: El estudio confirma que tanto la regularización de dispersión como la de variación total son necesarias. Eliminarlas resultó en una caída de aproximadamente 1.0 dB en el PSNR y degradó los puntajes FLIP, provocando que el modelo fallara al separar adecuadamente el artefacto de la escena.

Significado y Reivindicaciones

El artículo afirma que SSA-3DGS ofrece un camino viable hacia una reconstrucción 3D fiable a partir de capturas "en el mundo real" no restringidas, al modelar explícitamente las imperfecciones de la captura. A diferencia de la eliminación de ruido 2D genérica aplicada como paso de preprocesamiento, la cual rompe la consistencia multivista, SSA-3DGS preserva la coherencia geométrica al integrar la lógica de separación directamente en el bucle de optimización 3D.

Los autores señalan que el método depende del consenso multivista; por lo tanto, se requieren capturas suficientemente densas. Reconocen una limitación respecto a los artefactos que son solo aproximadamente estáticos (por ejemplo, oclusores con reflejos dependientes de la vista), los cuales son capturados solo parcialmente por su modelo de superposición estática, aunque el método se degrada de forma controlada y supera a los baselines en estos escenarios. El trabajo sugiere que modelar explícitamente las obstrucciones del plano del sensor es un paso crítico para una NVS robusta en aplicaciones del mundo real.