BEV-ODOM2: Enhanced BEV-based Monocular Visual Odometry with PV-BEV Fusion and Dense Flow Supervision for Ground Robots

Resumen Técnico: BEV-ODOM2

Planteamiento del Problema
La Odometría Visual Monocular (MVO) es esencial para los robots terrestres autónomos, pero sufre de deriva de escala acumulativa, lo que degrada la localización en trayectorias largas. Aunque las representaciones de Visión de Punto de Vista de Pájaro (BEV, por sus siglas en inglés) han surgido como un paradigma para mitigar esto, simplificando el movimiento de 6 grados de libertad (DoF) a un modelo robusto de 3 DoF en una rejilla de escala métrica, los métodos basados en BEV existentes enfrentan dos limitaciones críticas:

1. Supervisión Dispersa: El entrenamiento depende únicamente de vectores de pose, lo que proporciona una guía insuficiente para aprender correspondencias de características a nivel de píxel y de grano fino entre fotogramas consecutivos.
2. Pérdida de Información: Las proyecciones estándar de perspectiva a BEV (por ejemplo, Lift-Splat-Shoot) descartan inherentemente pistas geométricas relacionadas con los grados de libertad no primarios (pitch, roll y traslación en el eje z), lo que genera ambigüedad en escenarios de conducción complejos.

Metodología: BEV-ODOM2
Los autores proponen BEV-ODOM2, un marco mejorado que aborda estas limitaciones sin requerir anotaciones adicionales o modalidades de sensores. La arquitectura emplea un enfoque de estrategia dual:

1. Supervisión de Flujo Óptico BEV Denso:
   Aprovechando la escala métrica unificada de la rejilla BEV, el método construye la verdad de terreno (ground truth) de flujo óptico denso directamente a partir de la verdad de terreno de la pose de 3 DoF. Al aplicar transformaciones rígidas a las coordenadas de la rejilla BEV, se genera un campo de desplazamiento por píxel. Esto proporciona señales de supervisión densas a nivel de píxel que guían a la red para aprender correspondencias detalladas entre fotogramas, superando la dispersión del entrenamiento basado solo en pose.

2. Fusión de Doble Rama PV-BEV:
   Para recuperar la información perdida durante la proyección, el marco introduce una rama paralela de Perspectiva (PV).

   • Correlación Pre-Proyección: En lugar de proyectar las características primero, la rama PV calcula un volumen de costo basado en correlación a partir de las características de perspectiva antes de la transformación Lift-Splat-Shoot (LSS). Esto preserva ricas firmas de movimiento de 6 DoF (incluyendo pistas de pitch y roll) a nivel de característica.
   • Fusión: Este volumen de correlación PV se proyecta luego al espacio BEV utilizando el mismo flujo de trabajo LSS y se fusiona con las características de correlación nativas de BEV. Esto permite que el modelo aproveche la riqueza geométrica de la vista de perspectiva mientras retiene la consistencia de escala de la representación BEV.

3. Muestreo de Rotación Mejorado:
   Para abordar los sesgos del conjunto de datos hacia la conducción en línea recta, se implementa una estrategia de aumento de datos consciente de la rotación. Esta muestrea probabilísticamente pares de fotogramas con diferencias de rotación altas (15°–45°) para asegurar que el modelo sea robusto ante diversos patrones de movimiento, incluyendo giros cerrados.

4. Supervisión de Múltiples Niveles:
   El objetivo de entrenamiento combina tres términos de pérdida derivados únicamente de la verdad de terreno de la pose:

   • Pérdida de Pose de 3 DoF: Para la salida final de BEV.
   • Pérdida de Pose de 5 DoF: Para la rama PV (excluyendo la escala para mantener la consistencia monocular).
   • Pérdida de Flujo Denso: Regresión L1 sobre el flujo óptico BEV construido.

Contribuciones Clave

• Marco BEV-ODOM2: Un nuevo marco de MVO que logra un rendimiento de estado del arte y de escala consistente sin supervisión auxiliar (por ejemplo, sensores de profundidad o de flujo).
• Innovaciones Técnicas:
  • Un módulo de Supervisión de Flujo Óptico BEV Denso que construye guía a nivel de píxel a partir de la verdad de terreno de la pose.
  • Una estrategia de Fusión PV-BEV que proyecta volúmenes de correlación a nivel de característica para preservar las pistas de movimiento de 6 DoF antes de la proyección BEV.
• Dataset ZJH-VO: Un nuevo dataset de odometría de robot terrestre de múltiples escenas y escalas que cubre entornos interiores y exteriores, liberado para apoyar futuras investigaciones.
• Validación de Despliegue en el Borde (Edge): Demostración de inferencia en tiempo real (>20 FPS) en un NVIDIA Jetson AGX Orin, confirmando la viabilidad para plataformas con recursos limitados.

Resultados Experimentales
El método fue evaluado en cuatro datasets: KITTI, Oxford, NCLT y el nuevo ZJH-VO.

• Precisión: BEV-ODOM2 logra una mejora del 40% en el Error de Traslación Relativa (RTE) sobre métodos previos basados en BEV (BEV-ODOM y BEV-DWPVO). Por ejemplo, en el dataset NCLT, redujo el RTE del 8.67% (BEV-DWPVO) al 5.01%.
• Consistencia de Escala: El método mantiene una excelente consistencia de escala, con curvas de factor de escala cercanas a cero en trayectorias largas, superando a métodos tradicionales como ORB-SLAM3 y métodos de PV basados en aprendizaje que a menudo sufren de deriva.
• Eficiencia: El modelo se ejecuta a 56–69 FPS en una RTX 4090 y a 14–22 FPS en un NVIDIA Jetson AGX Orin, satisfaciendo los requisitos de tiempo real.
• Estudios de Ablación: Los experimentos confirman que cada componente (Supervisión de Flujo Denso, Fusión PV-BEV y Muestreo de Rotación Mejorado) contribuye significativamente al rendimiento, siendo la Supervisión de Flujo Denso la que proporciona las mayores ganancias en la reducción del RTE.

Significancia y Reivindicaciones
El artículo afirma que BEV-ODOM2 ofrece una solución práctica para robots terrestres que requiere solo una cámara ordinaria y registros de posición existentes para el entrenamiento, eliminando la necesidad de sensores costosos (LiDAR, cámaras de profundidad) o etiquetado de datos laborioso. Su principal significancia radica en:

1. Robustez: Proporcionar un sistema de localización de respaldo capaz de mantener la precisión de la trayectoria durante aproximadamente 10 segundos durante interrupciones de GPS (por ejemplo, en túneles o garajes).
2. Accesibilidad: Ser desplegable en pequeñas computadoras embebidas con memoria modesta, lo que lo hace adecuado para plataformas de servicio interior, inspección y exteriores sin necesidad de nuevo hardware.
3. Contribución Científica: Demostrar que la supervisión densa y la preservación del movimiento de 6 DoF se pueden lograr dentro de un marco BEV utilizando únicamente la verdad de terreno de la pose, cerrando la brecha entre la interpretabilidad geométrica y el rendimiento del aprendizaje profundo.

Los autores señalan una limitación: el método asume una superficie mayormente plana, ya que las pendientes pronunciadas o los baches fuertes pueden reducir la precisión debido a la suposición de movimiento planar.