When Do Learned Priors Help Visual Inertial Estimation? A Controlled Study of Prior Integration, Calibration, Initialization, and Backend Consistency

Resumen Técnico: ¿Cuándo ayudan los Priores Aprendidos a la Estimación Visual-Inercial?

Planteamiento del Problema
La integración de componentes aprendidos (p. ej., pose, profundidad, sesgo, incertidumbre) en estimadores visuales-inerciales (VIO) geométricos es cada vez más común. Sin embargo, existe una ambigüedad central al evaluar estos sistemas: cuando un sistema fusionado supera a una red aprendida independiente o a una integración directa de IMU, no está claro si la mejora proviene de la utilidad genuina del prior aprendido o de cambios en el backend, la estrategia de calibración, la inicialización, la asociación temporal o las métricas de evaluación. Las comparaciones existentes suelen confundir el valor del sistema visual-inercial completo con la contribución incremental de una medida aprendida específica. Además, las predicciones aprendidas no son automáticamente compatibles con los backends métricos; los desajustes en escala, marco de referencia, intervalos temporales o incertidumbre pueden provocar que se ignoren los residuos o que se fuercen desacuerdos en la trayectoria, la velocidad y los estados de sesgo.

Metodología
Los autores proponen un marco de evaluación controlado diseñado para aislar el valor incremental de un prior aprendido de los beneficios del backend geométrico subyacente. El principio fundamental es mantener todas las variables constantes —flujos de sensores, marcas de tiempo, ventanas de inicialización, frontend, backend, convenciones de calibración y calibres de salida— mientras se varía únicamente la presencia y el peso del factor aprendido.

• Instanciación del Sistema: El marco se instancia utilizando un prior de movimiento monocular aprendido representativo (derivado de un predictor de pose basado en MonoViT) integrado en un backend de VINS-Fusion que permanece sin cambios. La salida de movimiento relativo aprendida se incorpora como un factor de movimiento relativo local.
• Capas de Evidencia: La evaluación distingue cuatro capas distintas de evidencia para evitar la confusión de diferentes tipos de rendimiento:
  1. Consistencia de Movimiento Local: Medida mediante el Error de Pose Relativa (RPE).
  2. Precisión de la Trayectoria Global: Medida mediante el Error de Pose Absoluta (APE) bajo alineación declarada de SE(3) o Sim(3).
  3. Corrección del Estado Físico: Evaluación de extrínsecos, escala, gravedad, sesgo y sincronización frente a referencias físicas.
  4. Consistencia Numérica/de Implementación: Costo del backend, convergencia, repetibilidad y respuesta al cierre de bucle (loop closure).
• Variables Experimentales: El estudio compara "VINS Original" contra "VINS+Pose" (con el prior aprendido) bajo condiciones emparejadas. Además, investiga:
  • Extrínsecos cámara-IMU precisos fijos frente a actualización en línea (autocalibración).
  • Sensibilidad de la inicialización y perturbación.
  • Comportamiento entre secuencias (KITTI y EuRoC).
  • El impacto del cierre de bucle en la corrección global.

Resultados Clave
Los experimentos controlados arrojan varios hallazgos contraintuitivos respecto a la utilidad de los priors aprendidos:

1. Valor Incremental Negligible: Bajo extrínsecos precisos y fijos, añadir el prior de pose aprendido al backend de VINS no proporciona una mejora consistente en la trayectoria. En la secuencia representativa de KITTI, el RMSE del APE de traslación cambió de 31.4 m (VINS Original) a 31.8 m (VINS+Pose). A través de un panel de estrés de cuatro grabaciones, el cambio medio del APE fue de solo −0.2%. Aumentar el peso del prior cinco veces en realidad degradó el rendimiento en un 8.2%.
2. Discrepancia Local vs. Global: El prior aprendido preserva la consistencia de movimiento local (RPE) del sistema original, pero no logra mejorar la precisión global (APE). Por el contrario, liberar los extrínsecos precisos para la actualización en línea aumentó drásticamente el APE global (en un ~45–52%) mientras que los cambios en el RPE local fueron mínimos (<2%). Esto indica que la libertad de calibración añadida afecta principalmente a los estados globales acumulados en lugar de al seguimiento inmediato entre fotogramas.
3. Dependencia de la Inicialización y la Calibración: El backend puede refinar una solución inicial razonable, pero no puede recuperar de manera fiable una calibración físicamente plausible tras entrar en un estado acoplado deficiente. Las grandes perturbaciones iniciales de los extrínsecos suelen conducir a una convergencia cerca de la inicialización ruidosa en lugar de hacia la verdad de terreno (ground truth).
4. Métricas Desacopladas: Un RPE bajo no implica un APE bajo. Del mismo modo, un costo de optimización del backend bajo en ejecuciones emparejadas no garantiza una calibración o escala físamente correcta. La repetibilidad no implica precisión absoluta.
5. Sensibilidad al Cierre de Bucle: El efecto del cierre de bucle depende altamente de la consistencia de la trayectoria previa y la calibración. Habilitar el cierre de bucle mejoró el APE cuando los extrínsecos eran precisos, pero lo degradó cuando el estado subyacente contenía un sesgo de calibración.

Contribuciones Clave

1. Marco de Mismo-Backend Controlado: El artículo formula un marco que separa explícitamente los beneficios de la fusión a nivel de sistema del valor incremental de la información aprendida, manteniendo fijos los inputs sensoriales, la inicialización y las configuraciones del backend.
2. Marco de Evidencia Unificado: Establece un protocolo de evaluación multicapa que distingue la consistencia local, la precisión global, la corrección física y el comportamiento numérico, argumentando que el acuerdo en una capa no implica acuerdo en las demás.
3. Caracterización Sistemática de Interacciones: El estudio caracteriza la interacción entre las medidas de movimiento aprendidas, los extrínsecos fijos vs. en línea, la inicialización y las condiciones de la secuencia, identificando cuándo la calibración en línea actúa como un refinamiento local y cuándo introduce deriva dependiente de la inicialización.
4. Análisis de Experimentos Cruzados: Proporciona evidencia de que la precisión local, la convergencia numérica y la repetibilidad deben reportarse como propiedades distintas en lugar de inferirse de un solo valor de trayectoria u objetivo.

Significancia y Reivindicaciones
El artículo sostiene que la utilidad de los priors aprendidos no puede inferirse únicamente a partir del rendimiento de la fusión. Una trayectoria final mejor no identifica necesariamente si la ganancia se origina en el prior aprendido, en el backend geométrico nativo o en un cambio en el protocolo de evaluación.

Los autores afirman que una evaluación fiable requiere controles de mismo-backend y una consideración conjunta de la compatibilidad del prior, la calibración, la inicialización, la deriva global, el error del estado físico y la consistencia del backend. Los resultados sugieren que simplemente inyectar un prior de pose aprendido en un backend geométrico sin un alineamiento de escala explícito, un pesaje de incertidumbre o una selección basada en la confianza, puede resultar en una restricción redundante o inconsistente que no ofrece ninguna mejora medible sobre el sistema original. El estudio sirve como una nota de advertencia contra la atribución de las ganancias del sistema únicamente a los componentes aprendidos sin una aislación rigurosa de las variables.