Resumen Técnico: SCOPE (Estimación de Geometría 3D de Paso Único y Consistente en Escala)

1. Planteamiento del Problema

Estimar la geometría 3D a partir de secuencias de video monoculares presenta un desafío fundamental en la visión por computadora: equilibrar una alta precisión geométrica con una consistencia temporal de largo alcance. Los métodos existentes suelen sobresalir en un área a expensas de la otra. Los enfoques de imagen única (por ejemplo, MoGe) capturan una geometría detallada pero producen resultados inconsistentes cuando se aplican fotograma a fotograma, lo que provoca una deriva de escala. Por el contrario, los métodos específicos de video suelen proporcionar consistencia a corto plazo, pero carecen de precisión geométrica o no logran mantener la escala global durante cientos de fotogramas, particularmente bajo trayectorias de cámara complejas y variaciones de iluminación. Además, procesar secuencias extensas simultáneamente suele ser inviable debido a las restricciones de memoria, lo que crea una tensión entre la necesidad de un codificación de posición temporal precisa y la capacidad de extrapolar a secuencias mucho más largas que los ejemplos de entrenamiento.

2. Metodología

SCOPE propone un enfoque novedoso para generar mapas de puntos 3D invariantes a la afinidad a partir de videos RGB en un solo paso hacia adelante (forward pass). El método asegura que todos los fotogramas de una secuencia compartan los mismos parámetros de escala y desplazamiento, permitiendo representaciones consistentes e invariantes a la escala.

2.1 Arquitectura y Componentes Principales

El modelo se basa en la arquitectura MoGe, utilizando un codificador visual DINOv2-L y un decodificador basado en transformadores (transformers). Para manejar el video, los autores insertan módulos de atención temporal después de cada uno de los cuatro niveles de características del decodificador. Las innovaciones clave incluyen:

• Geometría Invariante al Punto de Vista: Para imponer consistencia geométrica, el método transforma los puntos de las coordenadas de cámara individuales a un marco de referencia común utilizando las poses de la cámara (disponibles durante el entrenamiento). Se aplica una pérdida geométrica multiescala en este sistema de coordenadas unificado, comparando estructuras a través de diferentes puntos de vista. Esto incluye alineación global y alineación de rejilla local (usando tamaños de rejilla de 4 y 16) para capturar tanto la estructura gruesa como los detalles finos.
• Aprendizaje Invariante a la Apariencia: Para asegurar la robustez contra condiciones visuales transitorias (por ejemplo, cambios de iluminación, desenfoque), el proceso de entrenamiento emplea aumentos específicos por fotograma con transformaciones de color y patrones de desenfoque muestreados de forma independiente. Esto obliga al modelo a centrarse en características geométricas invariantes en lugar de pistas de apariencia transitorias.
• Extrapolación de Posición Modulada por Frecuencia: Para manejar secuencias significativamente más largas que el contexto de entrenamiento (por ejemplo, 300+ fotogramas frente a 24 fotogramas de entrenamiento), SCOPE emplea una codificación de posición rotatoria (RoPE) especializada con adaptación de Kernel de Tangente Neuronal (NTK).
  • Escalado Dinámico de NTK: Los componentes de frecuencia se escalan basándose en la relación entre la longitud de la secuencia de inferencia y la longitud de entrenamiento. Esto preserva la capacidad del modelo para captar detalles locales de grano fino (componentes de alta frecuencia) mientras amplifica los ajustes para dependencias de largo alcance (componentes de baja frecuencia).
  • Estiramiento de Secuencia en Tiempo de Entrenamiento: Durante el entrenamiento, el modelo es expuesto a secuencias extendidas "virtuales". Las codificaciones de posición se computan para una secuencia virtual más larga y se muestrean a intervalos para coincidir con la longitud de entrada real. Esto simula la extrapolación, enseñando al modelo a manejar secuencias órdenes de magnitud más largas que sus datos de entrenamiento.

2.2 Funciones de Pérdida y Consistencia Temporal

El objetivo de entrenamiento integra pérdidas geométricas por fotograma con restricciones entre fotogramas:

• Pérdida Geométrica entre Fotogramas ($L_{cross}$): Impone consistencia alineando las nubes de puntos de diferentes fotogramas en un marco de referencia compartido, minimizando los errores de proyección a través de escalas globales y locales.
• Supervisión Temporal Jerárquica ($L_{temp}$): En lugar de depender únicamente de las restricciones entre fotogramas adyacentes (que conducen a la acumulación de errores), SCOPE introduce un marco de supervisión de derivadas. Penaliza la derivada temporal de los valores de profundidad a través de intervalos de tiempo que aumentan exponencialmente ($\delta = 1, 2, 4, 8$). Esta restricción de preservación de estructura penaliza directamente la deriva de escala y asegura predicciones suaves y consistentes durante periodos prolongados.

2.3 Estrategia de Inferencia

SCOPE opera de manera de paso único (single-pass). A diferencia de los enfoques de ventana deslizante que procesan segmentos superpuestos de forma independiente (lo que genera posibles derivas en los límites), SCOPE procesa toda la secuencia de una vez utilizando la codificación de posición modulada por frecuencia. Esto elimina la redundancia computacional y mantiene el contexto global a lo largo del video.

3. Contribuciones Clave

1. Estimación de Paso Único Consistente en Escala: Un marco unificado que genera mapas de puntos 3D con parámetros de escala y desplazamiento compartidos en secuencias de video completas, eliminando la deriva de escala común en los métodos de fotograma a fotograma o de ventana deslizante.
2. Tres Innovaciones Clave:
   • Alineación de geometría invariante al punto de vista mediante pérdidas de múltiples escalas entre fotogramas.
   • Aprendizaje invariante a la apariencia para aislar características estructurales de condiciones visuales transitorias.
   • Posicionamiento modulado por frecuencia (RoPE adaptado a NTK con estiramiento en tiempo de entrenamiento) que permite una extrapolación robusta a secuencias que exceden vastamente las longitudes de entrenamiento.
3. Procesamiento Eficiente de Largo Alcance: La capacidad de procesar cientos de fotogramas en un solo paso hacia adelante con una deriva mínima, logrando una alta eficiencia computacional en comparación con los modelos base de difusión de video o de ventana deslizante.

4. Resultados Experimentales

Los experimentos se realizaron en diversos conjuntos de datos incluyendo Sintel, ScanNet, Bonn, KITKI y DDAD, cubriendo escenarios sintéticos, de interiores y de conducción en exteriores.

• Rendimiento Cuantitativo: SCOPE supera significativamente a los métodos de vanguardia. En ScanNet, reduce el error relativo del mapa de puntos en un 24.2% y el error de alineación temporal (TAE) en un 34.9% en comparación con los enfoques existentes. Logra el rango promedio más bajo en todos los conjuntos de datos evaluados.
• Comparación con Métricas:
  • Comparado con MoGe-2, SCOPE logra una precisión de mapa de puntos comparable, pero una alineación temporal significativamente mejor.
  • Comparado con VGGT y $\pi^3$, SCOPE ofrece una consistencia temporal superior y es más eficiente en parámetros (322M frente a 959M de parámetros para $\pi^3$).
  • Comparado con DepthCrafter y Video Depth Anything, SCOPE es de 6 a 42 veces más rápido (39.1 FPS frente a <7 FPS) manteniendo una precisión competitiva o superior.
• Impacto en Aplicaciones Derivadas: Cuando se utiliza como entrada para la reconstrucción 4D (vía MegaSAM), SCOPE produce resultados coherentes y no fragmentados. En el conjunto de datos Sintel, mejoró el Error de Trayectoria Absoluta (ATE) en un 55–60% y el Error de Trayectoria Relativa (RTE) en un 58–63% en comparación con MoGe y MonST3R.
• Estudios de Ablación:
  • Extrapolación: La combinación de RoPE adaptado a NTK y el estiramiento de secuencia (RoPE+) produce el mejor equilibrio, reduciendo significativamente el TAE en secuencias largas (270 fotogramas) en comparación con las codificaciones estándar.
  • Componentes de Pérdida: Tanto las restricciones geométricas entre fotogramas como la supervisión temporal jerárquica son críticas; su combinación produce la mejor consistencia temporal.
  • Inferencia: El procesamiento de paso único supera consistentemente a los enfoques de ventana deslizante, reduciendo el error en casi un 10% en KITTI.

5. Significación y Reivindicaciones

El artículo afirma que SCOPE aborda la tensión fundamental entre la precisión geométrica y la consistencia temporal en la estimación de profundidad de video monocular. Al permitir el procesamiento de secuencias extendidas en un solo paso con una deriva mínima, SCOPE facilita la reconstrucción 3D y 4D de alta calidad en escenarios desafiantes con movimientos de cámara complejos y variaciones de iluminación.

Los autores posicionan a SCOPE como un paso significativo hacia aplicaciones que requieren consistencia de largo alcance, como la navegación autónoma, la realidad virtual y la síntesis de vistas nuevas. Aunque la implementación actual depende de herramientas externas (MegaSAM) para la estimación de la pose de la cámara durante el flujo de evaluación, el artículo señala que el trabajo futuro apunta a estimar las trayectorias de la cámara directamente dentro de la red. El método se presenta como una solución robusta, eficiente y escalable que cierra la brecha entre la precisión de imagen única y la coherencia a nivel de video.