ReSplat: Learning Recurrent Gaussian Splatting

1. El Problema

La síntesis de vistas y la reconstrucción 3D a partir de un número escaso de imágenes (2 a 32 vistas) es un desafío significativo.

• Limitaciones de los métodos actuales: Los modelos de Splatting Gaussiano 3D (3DGS) basados en optimización (como el 3DGS original) ofrecen alta calidad pero requieren miles de iteraciones de optimización por escena, lo que los hace computacionalmente costosos y lentos.
• Limitaciones de los enfoques Feed-Forward: Los modelos recientes que predicen directamente los parámetros de los Gaussianos en una sola pasada (como MVSplat o DepthSplat) son rápidos, pero su calidad está limitada por la capacidad de la red neuronal para manejar escenas complejas en una sola inferencia. Además, estos modelos suelen generar millones de Gaussianos (uno por píxel), lo que escala mal con resoluciones altas y múltiples vistas, consumiendo mucha memoria y tiempo de renderizado.
• Falta de generalización: Los modelos feed-forward actuales suelen tener dificultades para generalizar a distribuciones de datos no vistas (nuevos conjuntos de datos, diferentes conteos de vistas o resoluciones).

2. Metodología

ReSplat propone un modelo recurrente feed-forward que refina iterativamente los Gaussianos 3D sin calcular gradientes explícitos, utilizando el error de renderizado como señal de retroalimentación.

A. Reconstrucción Inicial Compacta (Espacio Submuestreado)

En lugar de predecir un Gaussiano por píxel, el modelo inicial opera en un espacio submuestreado 16x:

1. Compresión: Se predicen mapas de profundidad a 1/4 de la resolución original.
2. Puntos 3D: Estos se desproyectan para crear una nube de puntos con $M = N \times \frac{HW}{16}$ puntos (donde $N$ es el número de vistas, $H$ y $W$ la resolución). Esto reduce la cantidad de Gaussianos iniciales en un factor de 16x comparado con métodos per-pixel.
3. Contexto 3D: Para compensar la pérdida de información por la compresión, se utilizan capas de atención kNN (vecinos más cercanos) y atención global para agregar contexto local y global entre los puntos 3D antes de decodificar los parámetros de los Gaussianos (posición, opacidad, covarianza, armónicos esféricos).

B. Actualización Recurrente (Refinamiento Iterativo)

Una vez obtenida la reconstrucción inicial, un network recurrente con pesos compartidos refina los Gaussianos iterativamente ($T$ pasos):

1. Cálculo del Error de Renderizado: En cada iteración $t$, el modelo renderiza las vistas de entrada actuales usando los Gaussianos predichos. Se compara esta renderización con las imágenes de entrada reales (ground truth).
2. Señal de Retroalimentación: Se calcula un error compuesto que combina:
   • Error en espacio de píxeles: Diferencia directa de color.
   • Error en espacio de características: Diferencia de características extraídas por una ResNet-18 preentrenada.
   • Este error se propaga a los Gaussianos mediante atención global, permitiendo que cada Gaussiano reciba información de todo el error de renderizado, no solo de su vecindad local.
3. Actualización: La red predice incrementos ($\Delta$) para los parámetros de los Gaussianos y su estado oculto, actualizando la predicción sin necesidad de retropropagación de gradientes (es gradient-free).

3. Contribuciones Clave

• Mecanismo Recurrente sin Gradientes: Introducen un enfoque donde el error de renderizado actúa como una señal de retroalimentación rica para guiar las actualizaciones, permitiendo que el modelo se adapte a los datos de prueba en tiempo real, mejorando la generalización.
• Eficiencia Extrema (Submuestreo 16x): Al operar en un espacio submuestreado, reducen la cantidad de Gaussianos en 16x respecto a los métodos feed-forward anteriores, lo que resulta en un renderizado 4x más rápido y menor uso de memoria.
• Generalización Robusta: El modelo demuestra una capacidad superior para generalizar a conjuntos de datos no vistos, diferentes números de vistas (de 2 a 32) y resoluciones variables, superando a modelos estáticos de una sola pasada.
• Velocidad vs. Calidad: Logran un equilibrio único: son 100x más rápidos que la optimización basada en 3DGS tradicional, mientras superan su calidad (PSNR) y la de los métodos feed-forward existentes.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos como DL3DV, RealEstate10K y ACID.

• Rendimiento en DL3DV (8 vistas, 512x960):
  • ReSplat alcanza un PSNR de 27.70 tras 4 iteraciones.
  • Supera a la optimización 3DGS (23.46 PSNR) en 4.2 dB y a DepthSplat (24.17 PSNR) en 3.5 dB.
  • Utiliza solo 246K Gaussianos (vs. 3.9M en DepthSplat/MVSplat) y es 4x más rápido en renderizado.
  • Es 100x más rápido en tiempo de reconstrucción que la optimización 3DGS.
• Generalización:
  • Al generalizar a RealEstate10K (2 vistas) y ACID, ReSplat supera a los métodos state-of-the-art (como GS-LRM y LVSM) por márgenes significativos (ej. +1.1 dB sobre LVSM en RealEstate10K).
  • Mantiene alto rendimiento al cambiar resoluciones de prueba (ej. de 512x960 a 320x640), donde los modelos de una sola pasada suelen degradarse drásticamente.
• Eficiencia de Parámetros:
  • Un modelo recurrente pequeño (ReSplat-Small, 77M parámetros) supera a un modelo de una sola pasada mucho más grande (ReSplat-Large, 559M parámetros) y a modelos masivos como WorldMirror (1263M parámetros). Esto demuestra que la corrección iterativa de errores es más eficiente que simplemente escalar el tamaño del modelo.

5. Significado e Impacto

ReSplat representa un avance fundamental en la síntesis de vistas 3D al cerrar la brecha entre la eficiencia de los métodos feed-forward y la calidad de los métodos de optimización.

• Paradigma de Aprendizaje: Cambia la visión de la reconstrucción 3D de un proceso estático de "una sola pasada" a un proceso dinámico de optimización aprendida que se adapta a la escena específica durante la inferencia.
• Escalabilidad: Al reducir drásticamente la cantidad de Gaussianos necesarios, hace viable la síntesis de vistas de alta calidad en dispositivos con recursos limitados o para aplicaciones en tiempo real.
• Robustez: La capacidad de adaptarse a distribuciones no vistas mediante el error de renderizado sugiere un camino prometedor para modelos 3D más generales y menos dependientes de datos de entrenamiento específicos.

En resumen, ReSplat demuestra que la refinación recurrente basada en el error de renderizado en un espacio 3D compacto es una estrategia superior para la síntesis de vistas esparsas, ofreciendo una combinación sin precedentes de velocidad, calidad y generalización.