Learning 3D Reconstruction with Priors in Test Time

Título: Aprendizaje de Reconstrucción 3D con Priors en Tiempo de Prueba (Test Time)

1. El Problema

La reconstrucción 3D a partir de imágenes es fundamental para aplicaciones como la conducción autónoma y la realidad aumentada.

• Limitación de los modelos actuales: Los Transformadores Multivista (MVTs) de última generación (como VGGT, π3) logran excelentes resultados mediante un solo paso de inferencia (feed-forward), pero están diseñados nativamente para aceptar solo imágenes RGB como entrada.
• Inflexibilidad de las soluciones existentes: Cuando se dispone de información adicional (priors) como poses de cámara, intrínsecos o mapas de profundidad (obtenidos de sensores LiDAR o SfM), los métodos actuales requieren modificar la arquitectura del modelo y reentrenarlo desde cero para aceptar estos nuevos inputs. Esto es computacionalmente costoso, inflexible y no permite reutilizar modelos preentrenados.
• Necesidad: Existe la necesidad de un marco que pueda integrar estos priors disponibles en el momento de la inferencia (test time) sin alterar la arquitectura ni reentrenar el modelo base.

2. Metodología: Optimización Restringida en Tiempo de Prueba (TCO)

Los autores proponen un marco llamado Test-time Constrained Optimization (TCO). En lugar de alimentar los priors como entrada al modelo, los tratan como restricciones sobre las predicciones del modelo y optimizan la red durante la inferencia.

Componentes Clave:

• Formulación del Problema:
  Se plantea como un problema de optimización donde se minimiza una función de pérdida sujeto a restricciones definidas por los priors.
  $$\min_{\theta} \mathcal{L}(MVT_\theta(I)) + \sum \mu_m \|g_m(MVT_\theta(I))\|$$
  Donde $\mathcal{L}$ es una función de pérdida auto-supervisada y $g_m$ son las penalizaciones por violar los priors.

• Función Objetivo (Compatibilidad de Predicción):
  Para evitar el sobreajuste a los priors y mejorar la calidad general, se utiliza un objetivo auto-supervisado que mide la compatibilidad entre vistas.

  • Se proyectan las imágenes y mapas de profundidad de una vista "fuente" a vistas "objetivo" utilizando las predicciones actuales de pose e intrínsecos.
  • Se utiliza un renderizador diferenciable basado en 2D Gaussian Splatting (2DGS) para generar estas proyecciones.
  • Se calculan pérdidas fotométricas (diferencia de color) y geométricas (diferencia de profundidad) entre la proyección y la imagen real de la vista objetivo.

• Penalizaciones de Priors:
  Los priors disponibles se convierten en términos de pérdida:

  • Pose de Cámara: Pérdida angular para la rotación y pérdida de distancia normalizada para la traslación (resolviendo la ambigüedad de escala).
  • Intrínsecos: Penalización de la diferencia en las longitudes focales.
  • Mapas de Profundidad: Alineación global (escala y desplazamiento) seguida de una pérdida L1 entre el mapa predicho y el prior.

• Estrategia de Fine-tuning (Ajuste Fino):
  Para explotar la sinergia entre tareas y evitar el sobreajuste:

  • Se congelan todos los cabezales de predicción específicos (cabeza de pose, cabeza de profundidad, etc.).
  • Se realiza un fine-tuning selectivo únicamente en la red decodificadora compartida utilizando LoRA (Low-Rank Adaptation). Esto permite que la representación compartida de la escena se adapte para satisfacer tanto los priors como la consistencia multivista.

3. Contribuciones Clave

1. Marco TCO: Un enfoque de optimización en tiempo de prueba que incorpora priors (poses, intrínsecos, profundidad) sin reentrenar ni modificar arquitecturas de MVTs preexistentes.
2. Diseño de Pérdida: Una función de pérdida compuesta que combina un objetivo auto-supervisado (compatibilidad multivista) con términos de penalización de priors.
3. Plug-and-Play: El método es agnóstico a la arquitectura, funcionando con diferentes MVTs base (como VGGT y π3) y superando a métodos que requieren reentrenamiento.

4. Resultados Experimentales

El método se evaluó en benchmarks estándar de visión 3D: ETH3D, DTU, 7-Scenes, NRGBD y ScanNet.

• Mejora sobre modelos base: TCO mejora consistentemente el rendimiento de los modelos base (solo imágenes) en todos los conjuntos de datos.
  • En ETH3D, 7-Scenes y NRGBD, se reduce el error de distancia del mapa de puntos en más del 50% en comparación con los modelos base.
• Superioridad frente a métodos con priors: TCO supera a métodos de "feed-forward" que incorporan priors mediante reentrenamiento (como Pow3R y MapAnything), demostrando que la optimización en tiempo de prueba es más efectiva que la integración arquitectónica estática.
• Robustez: Funciona bien incluso en configuraciones de vistas escasas (sparse views) y con baselines de cámara más amplias.
• Análisis de Ablación:
  • Congelar los cabezales de tarea es crucial; ajustarlos degrada el rendimiento.
  • El uso de heurísticas de 2DGS (como usar la confianza para la opacidad) es más efectivo que optimizar directamente los parámetros del renderizador.
  • La mejora escala con el número de iteraciones en tiempo de prueba (hasta 80 iteraciones).

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la integración de información geométrica en modelos de visión 3D.

• Eficiencia: Elimina la necesidad de costosos procesos de reentrenamiento cada vez que cambia el tipo de prior disponible o la arquitectura base.
• Flexibilidad: Permite aprovechar cualquier prior disponible en el momento de la inferencia (ya sea de sensores, algoritmos externos o estimaciones previas) para refinar la reconstrucción 3D.
• Calidad: Demuestra que la optimización iterativa en tiempo de prueba, guiada por la consistencia multivista y restricciones de priors, puede lograr una precisión superior a la de modelos estáticos entrenados específicamente para esos priors.

En resumen, TCO ofrece una vía práctica y potente para llevar los modelos de reconstrucción 3D de "caja negra" a sistemas adaptativos que pueden mejorar su salida en tiempo real utilizando información contextual disponible.