Resumen Técnico: VidSplat

Enunciado del Problema

La reconstrucción de geometría 3D a partir de imágenes multivista es una tarea fundamental en visión por computadora, con avances recientes logrados mediante Campos Radiantes Neuronales (NeRF) y Splatting Gaussiano 3D (3DGS). Sin embargo, estos paradigmas dependen en gran medida de la consistencia fotométrica multivista, lo que provoca una degradación significativa cuando solo están disponibles unas pocas vistas de entrada. En configuraciones de vistas escasas, la optimización se vuelve mal planteada y subconstruida.

Las soluciones existentes generalmente se dividen en dos categorías: métodos generalizables que se preentrenan en grandes conjuntos de datos para aprender correspondencias entre vistas, y métodos específicos de escena que sobreajustan escenas individuales utilizando priores monoculares o estereoscópicos. Aunque estos enfoques mejoran el rendimiento, siguen limitados a recuperar únicamente las regiones visibles de las vistas de entrada dadas. Tienen dificultades para inferir geometría en regiones no vistas, ocluidas o débilmente restringidas más allá del campo de visión de entrada, lo que resulta en superficies incompletas y fragmentadas. Además, los enfoques generativos recientes para la síntesis de nuevas vistas a menudo requieren un preentrenamiento costoso, fallan al recuperar regiones extrapoladas (produciendo vacíos) o generan renderizados visualmente plausibles pero geométricamente inconsistentes.

Metodología: VidSplat

Para abordar estas limitaciones, los autores proponen VidSplat, un marco de reconstrucción generativa sin entrenamiento. VidSplat aprovecha potentes priores de difusión de video para sintetizar iterativamente nuevas vistas que compensan la cobertura de entrada faltante, permitiendo la recuperación de escenas 3D completas a partir de entradas escasas (incluso una sola imagen). El marco integra la generación y la reconstrucción a través de un bucle de optimización iterativa que involucra dos etapas principales: inicialización y entrenamiento.

1. Marco de Optimización

El proceso comienza con vistas de entrada escasas $\{V_{input}\}_0$.

• Inicialización: Se construye una nube de puntos inicial utilizando DUSt3R. Basándose en esto, el sistema muestrea trayectorias de cámara basadas en visibilidad y renderiza imágenes RGB y máscaras. Estas se introducen en un modelo de difusión de video controlado por cámara (VDM) para sintetizar clips de video consistentes en 3D. Los fotogramas clave de estos clips forman un conjunto generado $\{V_{gen}\}_0$, que se fusiona con la entrada para crear una nube de puntos más densa para inicializar los Gaussianos 2D.
• Entrenamiento Iterativo: Durante el entrenamiento de Gaussianos, el sistema realiza múltiples ciclos de refinamiento. En cada ciclo $t$, se muestrean nuevas trayectorias y se generan nuevas secuencias para formar $\{V_{gen}\}_t$. Estas se fusionan con el conjunto de vistas actual para expandir la cobertura. A diferencia de la fase de inicialización, las vistas generadas no se utilizan para reinicializar, sino que se retroproyectan al espacio 3D mediante profundidades monoculares para crear centros gaussianos adicionales. La reconstrucción se refina iterativamente, y las superficies finales se extraen utilizando tetraedros en marcha.

2. Muestreo de Poses de Cámara Basado en Visibilidad

Para explorar eficazmente las regiones poco cubiertas, VidSplat emplea una estrategia de muestreo novedosa. En lugar de una interpolación simple o trayectorias circulares, construye trayectorias donde la cámara orbita puntos de intersección entre los rayos de la cámara y la superficie de la escena sobre una esfera. Las trayectorias se validan basándose en la profundidad y la máscara de los fotogramas clave para asegurar que eviten oclusiones de planos cercanos (por ejemplo, paredes que bloquean la vista) y cubran una cantidad apropiada de regiones no vistas. Para mitigar la acumulación de alucinaciones, la trayectoria se extiende un 25% durante la generación, y los fotogramas finales se descartan.

3. Generación de Video Guiada por Geometría

La innovación central reside en una estrategia de eliminación de ruido por etapas sin entrenamiento diseñada para garantizar la consistencia en 3D. La generación de video estándar a menudo introduce deriva de contenido y dinámicas que violan las restricciones geométricas. VidSplat aborda esto mediante:

• Inversión: Empleando inversión de difusión en imágenes RGB y máscaras renderizadas para crear latentes ruidosos que codifican priores de disposición inducidos por el movimiento de la cámara.
• Mezcla Adaptativa: En cada paso de eliminación de ruido, el modelo mezcla el latente predicho con el latente de referencia invertido utilizando una máscara espacial $M(t)$.
• Control en Tres Etapas:
  1. Etapa Temprana ($T_0 \to T_1$): La dirección de eliminación de ruido en regiones conocidas se restringe estrictamente para seguir las referencias renderizadas ($M(t) = M_{ref}$). Esto ancla la estructura de la escena y previene la deriva de contenido.
  2. Etapa Media ($T_1 \to T_2$): La restricción se relaja gradualmente, permitiendo que el modelo refine renderizados imperfectos.
  3. Etapa Final ($T_2 \to 0$): La restricción se elimina por completo para sintetizar detalles locales realistas y reparar artefactos.

4. Función de Pérdida

El objetivo de optimización combina pérdidas para vistas de entrada y vistas generadas. Para las vistas de entrada, utiliza pérdida fotométrica estándar, regularización y un prior de normales. Para las vistas generadas, la pérdida fotométrica se reemplaza con una pérdida Laplaciana para mitigar artefactos de alta frecuencia, y se utiliza un mapa de confianza por píxel derivado de la fusión de nubes de puntos para ponderar la supervisión.

Contribuciones Clave

1. Marco Generativo: Un marco novedoso que incorpora iterativamente la generación de video en la reconstrucción de Splatting Gaussiano, permitiendo un refinamiento continuo y la recuperación de escenas 3D completas a partir de entradas escasas.
2. Eliminación de Ruido Guiada por Geometría: Una estrategia de eliminación de ruido por etapas sin entrenamiento que guía adaptativamente el proceso de difusión de video hacia la geometría subyacente, asegurando consistencia en 3D sin requerir ajuste fino del modelo.
3. Rendimiento de Vanguardia: El método logra resultados superiores tanto en reconstrucción de superficies como en síntesis de nuevas vistas en conjuntos de datos del mundo real ampliamente adoptados, superando a los métodos existentes de vistas escasas y generativos.

Resultados Experimentales

Los autores evaluaron VidSplat en diversos conjuntos de datos del mundo real, incluidos Tanks and Temples, Replica y DL3DV, cubriendo tanto escenarios interiores como exteriores.

• Reconstrucción de Superficies: En los conjuntos de datos Tanks and Temples y Replica, VidSplat logró métricas cuantitativas significativamente mejores (Distancia de Chamfer, Puntuación F, Consistencia de Normales) en comparación con líneas base como FSGS, MAtCha y GuidedVD. Las visualizaciones demuestran la capacidad de reconstruir superficies completas y de alta fidelidad sin agujeros, incluso con solo 5 vistas de entrada.
• Síntesis de Nuevas Vistas: En el conjunto de datos DL3DV, el método logró las mejores puntuaciones de PSNR, SSIM y LPIPS tanto para escenas interiores como exteriores, renderizando exitosamente detalles de alta calidad en regiones escasamente cubiertas por las entradas.
• Generación de Video: En comparación con otros métodos de difusión de video controlados por cámara (por ejemplo, ViewCrafter, TrajectoryCrafter), VidSplat demostró una consistencia superior con las geometrías de verdad fundamental y una mayor diversidad generativa.
• Generación de Vista Única: El marco demostró exitosamente la capacidad de generar escenas 3D completas a partir de una sola imagen de entrada, recuperando grandes regiones invisibles.

Significado

El artículo afirma que VidSplat representa un avance significativo en la reconstrucción 3D de vistas escasas al cerrar eficazmente la brecha entre los modelos generativos de video y la reconstrucción geométrica. Al introducir una estrategia de eliminación de ruido guiada por geometría, los autores superan la limitación crítica de los métodos generativos anteriores que no logran mantener la consistencia en 3D o inferir geometría no vista. La capacidad del marco para funcionar sin entrenamiento (sin entrenamiento) y su robustez a través de diferentes bases de difusión de video (incluyendo SVD y Hunyuan) destacan su practicidad y escalabilidad. En última instancia, VidSplat permite la recuperación de escenas 3D completas y de alta fidelidad a partir de datos extremadamente limitados, abriendo nuevas posibilidades para aplicaciones en creación de contenido digital, VR/AR e inteligencia encarnada donde la captura densa multivista es poco práctica.