Resumen Técnico: DéjàView – Transformers de Bucle para Reconstrucción 3D Multi-Vista

Declaración del Problema

La reconstrucción 3D multi-vista tradicional depende de pipelines iterativos de Estructura a partir del Movimiento (SfM) que involucran emparejamiento de características, estimación de pose y ajuste de haces. Los avances recientes han girado hacia transformers de avance directo que regresan geometría 3D en un solo paso. Sin embargo, estos modelos de última escala han crecido hasta superar mil millones de parámetros, siguiendo la tendencia de aumentar la capacidad del modelo en visión por computadora.

Los autores postulan que las ganancias de rendimiento derivadas de la profundidad en estos grandes transformers pueden provenir de un refinamiento iterativo implícito en lugar de una capacidad representativa única. La evidencia sugiere que las capas contiguas del transformer a menudo se comportan como aplicaciones repetidas de operaciones similares, y las capas del decodificador refinan progresivamente las predicciones. Las arquitecturas actuales pagan por esta "iteración" de manera ineficiente al utilizar parámetros únicos para cada capa. El artículo aborda la necesidad de una arquitectura que haga explícito este proceso iterativo, permitiendo una reconstrucción de alta calidad con significativamente menos parámetros y la capacidad de intercambiar cómputo por precisión en el momento de la inferencia.

Metodología: DéjàView

Arquitectura Central

DéjàView reemplaza la pila profunda de transformers de avance directo con un único bloque de transformer en bucle aplicado recurrentemente $K$ veces.

1. Inicialización: Las características por vista se inicializan utilizando un codificador DINOv2 preentrenado. Se añaden al principio de la secuencia de tokens tokens registrables aprendibles y tokens de cámara.
2. Bucle Recurrente: Un único bloque de transformer compartido se aplica $K$ veces al estado evolutivo $z_k$. El bloque consta de dos sub-bloques de atención:
   • Atención de Fotogramas: Procesa cada vista independientemente utilizando incrustaciones de posición rotatoria 2D.
   • Atención Global: Opera sobre la secuencia conjunta de todos los tokens a través de todas las vistas, habilitando el razonamiento cruzado entre vistas.
3. Condicionamiento Temporal: A diferencia de los transformers anteriores con pesos atados que se condicionan sobre índices de pasos discretos, DéjàView condiciona el bloque sobre un intervalo de tiempo continuo $(t_k, t_{k+1})$. La actualización se formula como:
   $$z_{k+1} = f_\theta(z_k, t_k, t_{k+1})$$
   Esto permite que un único conjunto de pesos cubra un rango de conteos de pasos $K$ sin reentrenamiento.
4. Actualizaciones con Puerta: El bloque emplea vectores de escala por canal ($s_{attn}, s_{mlp}, s_{out}$) controlados por un MLP inicializado en cero y condicionado al intervalo de tiempo. Este diseño modula las actualizaciones de la atención, el MLP y la corriente residual.

Estrategia de Entrenamiento

• Entrenamiento con $K$ Variable: Durante el entrenamiento, el número de pasos de refinamiento $K$ se muestrea por lote desde una distribución Beta escalada a $[K_{min}, K_{max}]$ (por ejemplo, $[8, 16]$). Esto crea un único punto de control que funciona como un "mando de cómputo".
• Función de Pérdida: El modelo se supervisa directamente sobre la geometría predicha utilizando cinco términos de pérdida: profundidad, rayos, puntos del mundo y parámetros de cámara. Las predicciones se normalizan mediante factores de escala inversos antes de calcular las pérdidas $\ell_2$ y $\ell_1$.
• Entrenamiento de Profundidad en Dos Etapas:
  • Etapa 1: Entrenamiento de extremo a extremo con una cabeza de profundidad de mezcla de píxeles lineal y pérdida $\ell_2$ simple.
  • Etapa 2: La cabeza de profundidad se cambia por una cabeza convolucional (para eliminar artefactos de los límites de parches), y la red se ajusta fino con una pérdida ponderada por confianza mientras se congelan los demás parámetros.

Inferencia

En la inferencia, el usuario selecciona un conteo de pasos $K_{inf}$. El modelo ejecuta el único bloque compartido $K_{inf}$ veces. Si $K_{inf}$ está dentro del rango entrenado $[K_{min}, K_{max}]$, el modelo mantiene una alta precisión; el rendimiento se degrada si $K_{inf}$ se empuja significativamente más allá del presupuesto entrenado.

Observaciones Clave sobre la Dinámica

Los autores caracterizan la recurrencia como refinamiento direccional. El estado no converge a un punto fijo en el espacio de características (la norma $\|z_k\|$ crece monótonamente). En su lugar, la dirección del vector de estado se estabiliza, con la similitud del coseno hacia el estado final acercándose a 1 y la norma de actualización relativa decayendo significativamente. Esto permite que el decodificador (que usa pre-normalización) absorba el crecimiento de la norma mientras la representación decodificada converge en dirección.

Contribuciones Clave

1. Modelo DéjàView: Una arquitectura de transformer en bucle que aplica un único bloque compartido recurrentemente a características inicializadas con DINOv2, condicionadas a intervalos de tiempo continuos.
2. Receta de Entrenamiento con $K$ Variable: Un método para entrenar un único punto de control que soporta un rango de conteos de pasos de inferencia, exponiendo el cómputo como un mando ajustable sin reentrenamiento.
3. Eficiencia de Última Generación: El modelo logra una calidad de reconstrucción competitiva o superior en cinco benchmarks (interior, exterior, centrado en objetos, conducción) utilizando una fracción de los parámetros y un cómputo comparable o inferior al de bases de referencia de avance directo mucho más grandes.
4. Validación del Sesgo Inductivo: Los experimentos demuestran que la formulación con pesos compartidos supera a una variante idéntica con parámetros independientes por paso, sugiriendo que la iteración explícita con compartición de pesos es un sesgo inductivo más fuerte para la reconstrucción 3D multi-vista que la escalada de parámetros.

Resultados Experimentales

El artículo evalúa DéjàView en cinco benchmarks: DTU, ETH3D, 7-Scenes, ScanNet++ y nuScenes.

• Precisión: DéjàView iguala o supera a modelos significativamente más grandes (por ejemplo, VGGT-1B, Pi3, DA3-G) en precisión de mapas de puntos (Relativo $\ell_2$ y Ratio de Inliers) y precisión de pose de cámara (AUC@3° y AUC@30°). Por ejemplo, en ScanNet++, supera a VGGT-Ω-1B en casi 50 puntos en AUC@3°.
• Eficiencia:
  • Parámetros: DéjàView utiliza 117M de parámetros, en comparación con bases de referencia que van desde 356M hasta más de 1.2B.
  • Cómputo: Requiere 75.9 TFLOPs para 24 vistas, comparable o inferior a bases de referencia que requieren 2–10 veces más cómputo.
  • Memoria: La memoria pico de inferencia es inferior a 5 GiB en una A100, significativamente menor que muchas bases de referencia.
• Estudios de Ablación:
  • La compartición de pesos por sí sola mejora el rendimiento sobre bloques desacoplados a pesar de tener 16 veces menos parámetros.
  • Las puertas residuales condicionadas al tiempo y las puertas de estado proporcionan mejoras monótonas.
  • El entrenamiento con $K$ variable iguala el rendimiento con $K$ fijo dentro de ~2-3% con el mismo presupuesto de inferencia, validando la flexibilidad de un único punto de control.

Significado y Afirmaciones

El artículo afirma que la escalada de parámetros no es el único camino a seguir para la reconstrucción 3D. Al hacer explícito el proceso de refinamiento iterativo a través de un bucle compartido y condicionado al tiempo, DéjàView demuestra que:

1. La iteración puede ser explícita: Los beneficios de las redes profundas pueden lograrse reutilizando un único bloque, evitando la redundancia de parámetros de capa únicos.
2. El cómputo es un mando: Un único modelo puede adaptarse a diferentes presupuestos de inferencia (compensaciones latencia/precisión) sin reentrenamiento.
3. Los pesos compartidos son superiores: La formulación con pesos compartidos actúa como un sesgo inductivo más fuerte que los parámetros independientes, sugiriendo que la "profundidad" en los modelos SOTA actuales es en gran medida un proxy para el refinamiento iterativo en lugar de una capacidad representativa única.

Los autores señalan limitaciones: el modelo no extrapola bien más allá de su rango de pasos entrenado ($K_{max}$), y no maneja explícitamente escenas dinámicas. Sin embargo, el trabajo establece que la reconstrucción multi-vista de alta calidad puede lograrse con una fracción del costo computacional y del tamaño del modelo de los gigantes de avance directo actuales.