AirSplat: Alignment and Rating for Robust Feed-Forward 3D Gaussian Splatting

Resumen Técnico: AirSplat

1. El Problema

La síntesis de nuevas vistas (NVS, por sus siglas en inglés) ha avanzado significativamente con la llegada del Gaussian Splatting 3D (3DGS). Sin embargo, los métodos actuales enfrentan dos desafíos críticos al intentar aplicar Modelos Fundacionales de Visión 3D (3DVFMs) para la NVS sin necesidad de calibración de poses (pose-free):

1. Discrepancia Pose-Geometría: En los enfoques de entrenamiento "contexto-objetivo" (context-target), la geometría de la escena se infiere únicamente de las vistas de contexto, mientras que las poses de las vistas objetivo se estiman utilizando tanto el contexto como la imagen objetivo. Esta asimetría en el flujo de información provoca un desalineamiento espacial (drift) entre las primitivas 3D predichas y las poses de la cámara, lo que genera gradientes corruptos y optimización inestable.
2. Inconsistencias Multi-vista: Las primitivas 3D generadas a partir de diferentes vistas de contexto a menudo carecen de consenso espacial preciso. Esto resulta en inconsistencias geométricas locales y la aparición de "flotadores" (floaters), que son artefactos visuales (ruido 3D flotante) y regiones borrosas que degradan severamente la estabilidad espacial y la calidad de la renderización.

2. Metodología: AirSplat

Los autores proponen AirSplat, un marco de entrenamiento feed-forward que adapta los 3DVFMs existentes (como DepthAnything3) para lograr una NVS de alta fidelidad sin poses calibradas. La arquitectura congela el codificador principal y las cabezas de geometría del modelo fundacional, optimizando únicamente la cabeza de predicción de Gaussianas mediante dos módulos clave:

A. Alineación de Pose Autoconsistente (SCPA - Self-Consistent Pose Alignment)
Este módulo aborda la discrepancia pose-geometría mediante un bucle de retroalimentación durante el entrenamiento:

• Detección del Drift: Se predice una pose objetivo inicial ($\hat{P}^{(1)}$) y se renderiza una imagen. Luego, esta imagen renderizada se vuelve a introducir en el modelo junto con el contexto para predecir una segunda pose ($\hat{P}^{(2)}$).
• Corrección: Se observa un desplazamiento sistemático entre $\hat{P}^{(1)}$ y $\hat{P}^{(2)}$. AirSplat calcula la transformación relativa en el álgebra de Lie $se(3)$ y aplica una corrección inversa para obtener una pose alineada ($\hat{P}^{align}$).
• Supervisión: El modelo se entrena utilizando la imagen renderizada con la pose corregida, asegurando que la supervisión fotométrica esté geométricamente alineada con las primitivas 3D, eliminando así el sesgo estructural.

B. Emparejamiento de Opacidad Basado en Calificación (ROM - Rating-based Opacity Matching)
Este módulo elimina los flotadores y asegura la consistencia local utilizando un modelo "maestro" ligero (un modelo 3DGS feed-forward de pocas vistas preentrenado):

• Calificación Geométrica: El modelo maestro evalúa la consistencia estructural multi-vista de cada primitiva gaussiana predicha por el modelo estudiante. Asigna una "calificación" ($\tilde{y} \in [0, 1]$) basada en el error geométrico: las primitivas consistentes reciben una calificación alta (1), y las inconsistentes (flotadores) una baja (0).
• Emparejamiento Unilateral: En lugar de igualar la opacidad predicha ($\alpha$) exactamente a la calificación, AirSplat utiliza una pérdida de margen unilateral. Si la calificación es baja (mala geometría), la opacidad se fuerza a cero para eliminar el artefacto. Si la calificación es alta, no hay penalización estricta, permitiendo que la pérdida fotométrica determine la opacidad final (evitando la "solidificación" de superficies semitransparentes).
• Regularización Espacial: Se añade una pérdida adicional para minimizar el error geométrico de las primitivas, asegurando que la geometría reparable se alinee antes de ser eliminada.

3. Contribuciones Clave

1. Marco AirSplat: Un nuevo enfoque para afinar (fine-tune) modelos 3D-VS-VFM que genera vistas nuevas de alta fidelidad sin sacrificar la capacidad de estimación geométrica base.
2. SCPA: Resuelve la discrepancia fundamental entre la estimación de poses y la geometría en entornos pose-free, previniendo la degradación del modelo causada por la supervisión fotométrica desalineada.
3. ROM: Introduce una estrategia de optimización novedosa que aprende de retroalimentación basada en calificaciones geométricas de un modelo maestro para filtrar sistemáticamente primitivas inconsistentes y flotadores.
4. Rendimiento SOTA: Logra el estado del arte en benchmarks de NVS densos y de pocas vistas, superando tanto a métodos que requieren poses como a los enfoques pose-free actuales.

4. Resultados Experimentales

El método fue evaluado en conjuntos de datos a gran escala: RealEstate10K (RE10K), DL3DV y ACID.

• Rendimiento Cuantitativo: AirSplat supera significativamente a los métodos más avanzados (SOTA) como YoNoSplat, WorldMirror, SPFSplat y DepthSplat.
  • En RE10K (12 vistas), alcanza un PSNR de 23.08 (vs. 21.62 de YoNoSplat) y un LPIPS de 0.190.
  • En DL3DV, supera a DepthSplat (que requiere poses) en la configuración de 12 vistas (22.50 PSNR vs. 22.14) y mejora drásticamente sobre la base DA3 (+1.76 dB de PSNR).
  • En la generalización cruzada (ACID), mantiene un rendimiento superior en entornos no vistos, demostrando una fuerte capacidad de generalización cero-shot.
• Rendimiento Cualitativo: Las visualizaciones muestran una eliminación casi total de los "flotadores" y artefactos borrosos. AirSplat preserva detalles de alta frecuencia (como estructuras delgadas y bordes nítidos) que otros métodos distorsionan o pierden.
• Preservación Geométrica: A diferencia de otros métodos que degradan la estimación de profundidad al optimizar para NVS, AirSplat mantiene la precisión de la estimación geométrica del modelo fundacional original.

5. Significado e Impacto

AirSplat representa un avance crucial en la intersección entre la estimación geométrica robusta y la síntesis de vistas de alta calidad.

• Desacoplamiento de Errores: Demuestra que es posible desacoplar los errores de coordenadas de la optimización geométrica mediante mecanismos de alineación autoconsistente.
• Aprendizaje por Retroalimentación: Introduce el paradigma de "aprendizaje basado en calificaciones" (rating-based learning) en la reconstrucción 3D, utilizando un modelo maestro para guiar la poda de artefactos de manera más eficiente que las pérdidas tradicionales.
• Aplicabilidad en "Wild": Al eliminar la dependencia de poses calibradas y mejorar la robustez ante inconsistencias, AirSplat acerca la NVS feed-forward a aplicaciones prácticas en entornos del mundo real no controlados, donde la calibración de cámaras es difícil o imposible.

En resumen, AirSplat establece un nuevo estándar para la síntesis de vistas nuevas sin poses, resolviendo problemas fundamentales de alineación y consistencia que habían limitado el potencial de los modelos fundacionales de visión 3D.