FVO: Fast Visual Odometry with Transformers

Resumen Técnico: Odometría Visual Rápida con Transformers (FVO)

Enunciado del Problema
La odometría visual (VO) tiene como objetivo estimar la trayectoria de una cámara a partir de secuencias de video. Si bien las pipelines híbridas que combinan el aprendizaje profundo con la optimización clásica (por ejemplo, el ajuste de haces) han logrado alta precisión, adolecen de limitaciones significativas. Estos métodos a menudo dependen de grandes columnas verticales 3D preentrenadas que están congeladas y son ambiguas en escala, heredando la incapacidad de estimar la escala absoluta. Además, la dependencia de pasos de posprocesamiento como el ajuste de haces y la coincidencia de características crea cuellos de botella en la velocidad de inferencia y requiere parámetros de calibración de cámara conocidos, los cuales a menudo no están disponibles en implementaciones del mundo real. Los enfoques puramente de extremo a extremo, aunque más rápidos, han quedado históricamente rezagados en precisión y robustez. El desafío radica en desarrollar un sistema de VO monoculares que sea rápido, escalable, no requiera intrínsecos de cámara ni optimización en tiempo de prueba, y pueda estimar con precisión la escala métrica sin un posprocesamiento pesado.

Metodología
Los autores proponen Odometría Visual Rápida (FVO), un marco de regresión de pose relativa directa que reemplaza el posprocesamiento tradicional con una arquitectura basada en transformers.

• Arquitectura: El núcleo de FVO es un modelo transformer diseñado para la predicción estructurada de extremo a extremo. Utiliza un codificador de imágenes preentrenado y congelado (basado en la arquitectura CroCo dentro del marco DUSt3R) para extraer características visuales de los fotogramas de entrada. Estas características son procesadas por un decodificador espacio-temporal que consta de $L$ bloques repetitivos.
  • Atención Espacio-Temporal: El decodificador emplea un mecanismo de atención factorizado. Primero, la atención temporal agrupa información a través de los fotogramas para la misma ubicación espacial. Posteriormente, la atención espacial permite la comunicación entre diferentes ubicaciones espaciales dentro de un fotograma.
  • Embeddings de Cámara: Se introducen embeddings de cámara aprendibles para agrupar información específicamente para la estimación de la pose. Crucialmente, estos embeddings se integran únicamente dentro de las capas de atención espacial, ya que inyectarlos en la atención temporal se encontró que degradaba el rendimiento.
• Regresión de Pose Relativa: El modelo predice directamente las transformaciones de cámara relativas ($SE(3)$) entre fotogramas consecutivos. La salida incluye una matriz de rotación, un vector de traslación y escalares de confianza para ambos.
  • Manejo de Rotación: Para garantizar rotaciones válidas, la matriz de rotación predicha en bruto se proyecta sobre la variedad $SO(3)$ utilizando el problema de Procrustes ortogonal especial.
  • Aprendizaje Consciente de la Incertidumbre: En lugar de utilizar etiquetas de confianza por píxel, FVO emplea una formulación de incertidumbre heterocedástica. La red aprende a predecir puntuaciones de confianza ($c_R, c_t$) para la rotación y la traslación de manera auto-supervisada. La función de pérdida penaliza las predicciones de baja precisión con confianza excesiva y reduce el peso de los residuos inciertos, permitiendo que el modelo aprenda la confianza sin etiquetas explícitas.
• Módulo de Inferencia: Para abordar el problema de la acumulación de errores en la VO monoculares, FVO utiliza un esquema de ventanas superpuestas. El video de entrada se descompone en ventanas superpuestas y el modelo predice poses relativas para cada una. Un módulo de inferencia consciente de la confianza agrupa estas predicciones superpuestas. Las predicciones se ponderan por sus puntuaciones de confianza aprendidas (convertidas a pesos mediante normalización softmax) y se promedian. Las rotaciones se promedian utilizando la media de Fréchet ponderada en $SO(3)$, mientras que las traslaciones se promedian linealmente. Este proceso mitiga el impacto de los valores atípicos y produce una trayectoria suave y globalmente consistente sin optimización global.

Contribuciones Clave

1. Pipeline FVO: Una pipeline eficiente y de extremo a extremo para la odometría visual monoculares que logra un rendimiento competitivo en múltiples benchmarks mientras opera casi $2\times$ más rápido que las líneas base más rápidas.
2. Regresión Directa Basada en Transformers: Una arquitectura de red novedosa que predice directamente poses de cámara relativas y estimaciones de confianza a partir de secuencias de imágenes. La confianza se aprende de forma auto-supervisada, requiriendo únicamente anotaciones de pose.
3. Inferencia Consciente de la Confianza: Un módulo robusto de recuperación de trayectoria que agrupa predicciones de pose superpuestas utilizando pesos de confianza aprendidos, mitigando eficazmente las predicciones espurias sin requerir ajuste de haces ni calibración de cámara.

Resultados Experimentales
El método fue evaluado en diversos conjuntos de datos interiores y exteriores, incluyendo ARKitScenes, ScanNet, KITTI y TUM_RGBD (zero-shot).

• Precisión: FVO logra un rendimiento de vanguardia o competitivo en el Error de Traslación Absoluta (ATE), tanto alineado como no alineado. Cabe destacar que supera a modelos 3D a gran escala (como VGGT y CUT3R) y a métodos basados en optimización (como DPVO) en métricas no alineadas, demostrando capacidades superiores de estimación de escala.
• Velocidad: En hardware comercial (NVIDIA RTX 3090), FVO alcanza un tiempo de ejecución casi $2\times$ más rápido que las líneas base existentes. Esta eficiencia se atribuye a la ausencia de costosos pasos de posprocesamiento y a la arquitectura transformer optimizada.
• Escalabilidad: Los estudios de ablación confirman que el modelo escala de manera robusta tanto con el aumento de datos de entrenamiento (por ejemplo, añadir ARKitScenes a ScanNet) como con el aumento de la capacidad del modelo (más capas de decodificador).
• Elecciones de Diseño: Los experimentos validan que el mecanismo específico de atención espacio-temporal con tokens de cámara en las capas espaciales, la proyección $SO(3)$ para las rotaciones y la pérdida de incertidumbre heterocedástica son críticos para el rendimiento.

Significado y Afirmaciones
El artículo afirma que FVO representa un paso significativo hacia adelante al demostrar que las arquitecturas optimizadas y de extremo a extremo, cuando se combinan con datos suficientes, pueden reemplazar pipelines híbridas complejas. Al eliminar la necesidad de optimización en tiempo de prueba, intrínsecos de cámara y componentes diseñados a mano, FVO permite la implementación en tiempo real y a gran escala en escenarios donde los métodos tradicionales fallan o son demasiado lentos. Los autores enfatizan que su enfoque aprovecha exitosamente datos diversos para resolver la ambigüedad de escala monoculares directamente a partir de pistas visuales, ofreciendo un camino robusto para la odometría visual en tiempo real en aplicaciones prácticas como la conducción autónoma y la robótica. Sin embargo, notan modestamente que el modelo se entrena principalmente en entornos estáticos y podría enfrentar limitaciones en entornos altamente dinámicos, sugiriendo trabajo futuro en la curación de datos y la escalabilidad del modelo.