When Do Learned Priors Help Visual Inertial Estimation? A Controlled Study of Prior Integration, Calibration, Initialization, and Backend Consistency

기술 요약: 학습된 사전 정보(Learned Priors)는 언제 시각-관성 추정에 도움이 되는가?

문제 정의
기하학적 시각-관성 추정기(VIO)에 학습된 구성 요소(예: 포즈, 깊이, 바이어스, 불확실성)를 통합하는 방식이 점점 흔해지고 있다. 그러나 이러한 시스템을 평가할 때 핵심적인 모호함이 존재한다. 융합된 시스템이 단독 학습 네트워크나 직접적인 IMU 통합보다 성능이 우수할 때, 그 개선이 학습된 사전 정보의 진정한 효용성 때문인지, 아니면 백엔드, 캘리브레이션 전략, 초기화, 시간적 연관성 또는 평가 지표의 변화 때문인지가 불분명하다는 점이다. 기존의 비교 방식들은 전체 시각-관성 시스템의 가치와 특정 학습된 측정값의 점진적 기여도를 혼동하는 경우가 많다. 또한, 학습된 예측값은 메트릭 백엔드와 자동으로 호환되지 않는다. 스케일, 참조 프레임, 시간 간격 또는 불확실성의 불일치는 무시된 잔차(residual)나 궤적, 속도 및 바이어스 상태의 강제된 불일치를 초래할 수 있다.

방법론
저자들은 학습된 사전 정보의 점진적 가치를 기하학적 백엔드의 이점으로부터 분리하기 위해 설계된 통제된 평가 프레임워크를 제안한다. 핵심 원칙은 센서 스트림, 타임스탬프, 초기화 윈도우, 프런트엔드, 백엔드, 캘리브레이션 컨벤션 및 출력 게이지를 모두 동일하게 유지하면서, 오직 학습된 요소의 존재 여부와 가중치만을 변화시키는 것이다.

• 시스템 인스턴스화: 이 프레임워크는 변경되지 않은 VINS-Fusion 백엔드에 통합된 대표적인 학습 기반 단안 모션 사전 정보(MonoViT 기반 포즈 예측기에서 유도됨)를 사용하여 구현된다. 학습된 상대 운동 출력은 로컬 상대 운동 인자(local relative-motion factor)로 포함된다.
• 증거 계층: 평가는 서로 다른 유형의 성능을 혼동하지 않도록 네 가지 별도의 증거 계층을 구분한다:
  1. 로컬 모션 일관성(Local Motion Consistency): 상대 포즈 오차(RPE)를 통해 측정된다.
  2. 글로벌 궤적 정확도(Global Trajectory Accuracy): 선언된 SE(3) 또는 Sim(3) 정렬 하에서의 절대 포즈 오차(APE)를 통해 측정된다.
  3. 물리적 상태 정확성(Physical-State Correctness): 물리적 참조값에 대한 외부 파라미터(extrinsics), 스케일, 중력, 바이어스 및 동기화에 대한 평가.
  4. 수치적/구현 일관성(Numerical/Implementation Consistency): 백엔드 비용, 수렴성, 반복 가능성 및 루프 클로저 반응.
• 실험 변수: 연구는 매칭된 조건 하에서 "원본 VINS"와 "VINS+Pose"(학습된 사전 정보 포함)를 비교한다. 또한 다음 사항을 조사한다:
  • 정확한 고정 카메라-IMU 외부 파라미터 vs. 온라인 업데이트(자가 캘리브레이션).
  • 초기화 민감도 및 섭동(perturbation).
  • 교차 시퀀스 동작(KITTI 및 EuRoC).
  • 글로벌 보정을 위한 루프 클로저의 영향.

주요 결과
통제된 실험은 학습된 사전 정보의 효용성에 관한 몇 가지 역설적인 발견을 제시한다:

1. 미미한 점진적 가치: 정확한 외부 파라미터가 고정된 상태에서, 학습된 포즈 사전을 VINS 백엔드에 추가하는 것은 일관된 궤적 개선을 제공하지 않는다. 대표적인 KITTI 시퀀스에서, 이동(translation) APE RMSE는 31.4 m(Original VINS)에서 31.8 m(VINS+Pose)로 변화했다. 4개의 녹화본으로 구성된 스트레스 패널 전반에서 평균 APE 변화는 단 -0.2%였다. 사전 정보의 가중치를 5배로 높였을 때 오히려 성능이 8.2% 저하되었다.
2. 로컬 vs. 글로벌 불일치: 학습된 사전 정보는 기존 시스템의 로컬 모션 일관성(RPE)은 유지하지만, 글로벌 정확도(APE)를 개선하는 데는 실패한다. 반대로, 온라인 업데이트를 위해 정확한 외부 파라미터를 개방했을 때 글로벌 APE는 급격히 증가(~45–52%)했으나, 로컬 RPE의 변화는 미미했다(<2%). 이는 추가된 캘리브레이션 자유도가 즉각적인 프레임 간 추적보다는 누적된 글로벌 상태에 주로 영향을 미친다는 것을 나타낸다.
3. 초기화 및 캘리브레이션 의존성: 백엔드는 합리적인 초기 솔루션을 정교화할 수는 있지만, 좋지 못한 결합 상태에 진입한 후에는 물리적으로 타당한 캘리브레이션을 신뢰성 있게 복구할 수 없다. 큰 초기 외부 파라미터 섭동은 참값(ground truth) 근처가 아닌 노이즈가 많은 초기화 값 근처로 수렴하게 만든다.
4. 분리된 지표: 낮은 RPE가 낮은 APE를 의미하지 않는다. 마찬가지로, 매칭된 실행에서의 낮은 백엔드 최적화 비용이 물리적으로 올바른 캘리브레이션이나 스케일을 보장하지 않는다. 반복 가능성이 절대적 정확도를 의미하는 것도 아니다.
5. 루프 클로저 민감도: 루프 클로저의 효과는 루프 전 궤적과 캘리브레이션의 일관성에 따라 크게 달라진다. 외부 파라미터가 정확할 때는 루프 클로저를 활성화하면 APE가 개선되었으나, 기본 상태에 캘리브레이션 편향이 포함되어 있을 때는 APE를 악화시켰다.

주요 기여

1. 통제된 동일 백엔드 프레임워크: 센서 입력, 초기화 및 백엔드 구성을 고정함으로써, 시스템 수준의 융합 이득을 학습된 정보의 점진적 가치로부터 명시적으로 분리하는 프레임워크를 정립하였다.
2. 통합 증거 프레임워크: 로컬 일관성, 글로벌 정확도, 물리적 정확성 및 수치적 동작을 구분하는 다층적 평가 프로토콜을 구축하였으며, 한 계층에서의 합의가 다른 계층에서의 합의를 의미하지 않는다고 주장한다.
3. 상호작용의 체계적 특성화: 학습된 모션 측정값, 고정 vs. 온라인 외부 파라미터, 초기화 및 시퀀스 조건 사이의 상호작용을 규명하여, 온라인 캘리브레이션이 로컬 정밀화 역할을 하는 시점과 초기화 의존적 드리프트를 유발하는 시점을 식별하였다.
4. 교차 실험 분석: 로컬 정확도, 수치적 수렴성 및 반복 가능성은 단일 궤적이나 목적 함수로부터 추론되는 것이 아니라 별개의 속성으로서 보고되어야 한다는 증거를 제공한다.

의의 및 주장
본 논문은 학습된 사전 정보의 유용성을 융합 성능만으로 추론할 수 없다고 주장한다. 더 나은 최종 궤적이 반드시 학습된 사전 정보 덕분인지, 아니면 본래의 기하학적 백엔드 혹은 변경된 평가 프로토콜 덕분인지를 식별해주지는 않는다.

저자들은 신뢰할 수 있는 평가를 위해서는 **동일 백엔드 통제(same-backend controls)**와 사전 정보의 호환성, 캘리브레이션, 초기화, 글로벌 드리프트, 물리적 상태 오차 및 백엔드 일관성에 대한 공동 고려가 필요하다고 단언한다. 결과에 따르면, 명시적인 스케일 정렬, 불확실성 가중치 부여 또는 신뢰도 기반 선택 없이 학습된 포즈 사전을 기하학적 백엔드에 단순히 주입하는 것은 원래 시스템보다 측정 가능한 개선을 제공하지 못하는 중복되거나 불일치하는 제약 조건이 될 수 있다. 이 연구는 변수를 엄격히 격리하지 않고 학습된 구성 요소에만 시스템 수준의 이득을 돌리는 것에 대해 경고하는 역할을 한다.