E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training

1. El Problema

El campo de la visión por computadora ha avanzado rápidamente gracias al pre-entrenamiento auto-supervisado en texto, imágenes 2D y video. Sin embargo, el aprendizaje de representaciones conscientes del 3D a partir de imágenes multivista no etiquetadas sigue siendo un desafío mayor.

Los modelos 3D actuales dependen principalmente de:

• Aprendizaje supervisado completo: Requieren etiquetas de pose de cámara y profundidad densa, generalmente obtenidas mediante sistemas de Fotogrametría (SfM) como COLMAP. Esto es ineficiente, imperfecto y no escala bien.
• Métodos auto-supervisados existentes (ej. RayZer): Aunque evitan etiquetas 3D, estos métodos suelen inferir el 3D indirectamente a través de la síntesis de vistas en un espacio latente. Esto carece de una base geométrica sólida, permitiendo que el modelo aprenda "soluciones atajo" (como la interpolación de video) en lugar de comprender verdaderamente la geometría 3D, lo que limita su utilidad para tareas que requieren comprensión espacial real.

2. Metodología: E-RayZer

E-RayZer es el primer modelo de reconstrucción 3D de tipo "feed-forward" basado en Gaussianos 3D que se entrena completamente de cero sin ninguna anotación 3D. Su enfoque se basa en tres pilares principales:

A. Reconstrucción 3D Explícita (Geometría de Gaussianos)

A diferencia de sus predecesores que usan representaciones latentes implícitas, E-RayZer opera directamente en el espacio 3D:

1. Entrada: Recibe un conjunto de imágenes no etiquetadas.
2. Predicción de Cámara: Utiliza un transformador multivista para predecir los parámetros intrínsecos y extrínsecos (poses) de todas las cámaras.
3. Reconstrucción Explícita: A partir de las vistas de referencia, predice directamente parámetros de Gaussianos 3D (distancia, orientación, coeficientes armónicos esféricos, escala y opacidad) alineados píxel a píxel.
4. Renderizado y Pérdida: Renderiza las vistas objetivo utilizando las cámaras predichas y los Gaussianos 3D. Se aplica una pérdida fotométrica (MSE + pérdida perceptual) entre la imagen renderizada y la imagen real de la vista objetivo.
5. Ventaja: Al usar una representación explícita, el modelo está obligado a aprender una geometría física real, eliminando las soluciones de interpolación de video que engañan a los modelos latentes.

B. Eliminación de Soluciones Atajo

El diseño de E-RayZer elimina los "embeddings" de índice de imagen que utilizaba RayZer para asociar tokens de imagen con cámaras. En su lugar, adopta una arquitectura de transformador estilo VGGT con atención local-global alterna. Esto fuerza al modelo a aprender la relación geométrica real entre las vistas en lugar de depender de la posición temporal de los fotogramas.

C. Currículo de Aprendizaje Basado en Superposición Visual

Entrenar con Gaussianos 3D explícitos desde cero es difícil y propenso a no converger. Para solucionar esto, los autores proponen un currículo de aprendizaje fino:

• Concepto: En lugar de muestrear frames basándose en un intervalo fijo (como hacía RayZer), se mide la superposición visual entre las vistas.
• Métricas: Se utilizan dos variantes para estimar la superposición sin etiquetas:
  1. Geométrica: Basada en mapas de covisibilidad (UFM).
  2. Semántica: Basada en la similitud coseno de características de DINOv2.
• Estrategia: El entrenamiento comienza con secuencias de alta superposición visual (vistas cercanas, movimiento de cámara pequeño) y progresa gradualmente hacia secuencias de baja superposición (vistas lejanas, movimiento grande). Esto estabiliza el entrenamiento y permite escalar a fuentes de datos heterogéneas.

3. Contribuciones Clave

1. Primer modelo auto-supervisado puro: E-RayZer es el primer modelo de reconstrucción 3D feed-forward basado en Gaussianos 3D entrenado desde cero sin ninguna anotación 3D.
2. Representaciones 3D reales: Demuestra que la modelación explícita 3D genera representaciones con mayor conciencia geométrica que los métodos implícitos, superando a modelos anteriores como RayZer en estimación de pose.
3. Marco de Pre-entrenamiento Espacial: Establece un nuevo paradigma para el pre-entrenamiento visual espacial, donde las representaciones aprendidas se transfieren eficazmente a tareas aguas abajo.
4. Rendimiento competitivo con supervisado: A pesar de ser auto-supervisado, E-RayZer iguala o supera a modelos supervisados de última generación (como VGGT*) en tareas de estimación de pose y reconstrucción, especialmente en generalización a dominios no vistos.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples conjuntos de datos (RealEstate10K, DL3DV, ScanNet++, etc.) y tareas:

• Estimación de Pose y Síntesis de Vistas:
  • E-RayZer supera significativamente a RayZer en precisión de pose (RPA), logrando resultados comparables a modelos supervisados como VGGT*.
  • Mantiene una calidad de síntesis de vistas nuevas (NVS) comparable a los métodos supervisados, demostrando que la geometría explícita no sacrifica la fidelidad visual.
• Tareas Aguas Abajo (Downstream Tasks):
  • Estimación de Profundidad y Pose: Las representaciones de E-RayZer, cuando se ajustan finamente (fine-tuning) o se usan con el backbone congelado, superan a los mejores pre-entrenadores visuales actuales (DINOv3, CroCo v2, VideoMAE V2, Perception Encoder) en tareas 3D.
  • Flujo Óptico (Flow): Aunque no fue entrenado específicamente para correspondencias de píxeles, E-RayZer muestra un rendimiento competitivo en la estimación de flujo, demostrando que sus características capturan correspondencias espaciales significativas.
• Escalabilidad: El modelo muestra un comportamiento de escalado similar al de los modelos supervisados; la diversidad y calidad de los datos son más importantes que la cantidad bruta.

5. Significado e Impacto

E-RayZer representa un cambio de paradigma en la visión 3D:

• Validación de la Auto-supervisión 3D: Demuestra que es posible aprender representaciones 3D robustas y geométricamente fundamentadas sin depender de costosas etiquetas 3D o sistemas SfM imperfectos.
• Eficiencia y Escalabilidad: Al eliminar la necesidad de anotaciones 3D y utilizar un currículo inteligente, permite entrenar modelos 3D masivos con datos de internet no etiquetados.
• Fundamento para el Futuro: Establece una base sólida para modelos fundacionales en 3D, permitiendo que sistemas futuros comprendan el espacio físico de manera más intuitiva, lo cual es crucial para la robótica, la realidad aumentada y la interacción humano-computadora.

En resumen, E-RayZer cierra la brecha entre los métodos auto-supervisados y supervisados en visión 3D, ofreciendo un marco escalable y efectivo para aprender la geometría del mundo real directamente de videos y secuencias de imágenes.