기술 요약: 피드포워드 3D 모델을 활용한 단안 시각 - 관성 시스템의 효율적인 특징점 없는 초기화

문제 제기

단안 시각 - 관성 항법 시스템 (VINS) 은 시각적 포즈 추정만으로는 관측 불가능한 초기 선형 속도, 중력 방향, 그리고 메트릭 스케일을 복원하기 위해 신뢰할 수 있고 신속한 초기화가 필요합니다. 전통적인 초기화 방법은 이미지 뷰 간 시각적 특징 추출, 추적, 그리고 대응 관계에 크게 의존합니다. 이러한 접근 방식은 질감이 없는 환경, 급격한 운동, 모션 블러, 그리고 낮은 시차 궤적과 같은 까다로운 시나리오에서 상당한 한계에 직면합니다. 이러한 조건 하에서 특징점 추적이 종종 실패하여 조건이 나쁜 기하학적 제약, 수렴 지연, 또는 완전한 초기화 실패로 이어집니다. 또한, 기존 방법들은 일반적으로 초기화를 위해 3~4 초의 센서 데이터를 필요로 하므로, 기기 내장형 AR 및 민첩한 로봇 공학과 같은 시간적으로 중요한 실제 응용 분야의 적용성을 제한합니다.

방법론

저자들은 피드포워드 3D 기반 모델 (특히 VGGT) 이 입력 이미지로부터 직접 예측한 스케일까지의 3D 점 구름을 전통적인 시각적 특징 추정을 대체하는 특징점 없는 초기화 프레임워크를 제안합니다. 파이프라인은 두 가지 주요 단계로 구성됩니다:

1. 피드포워드 3D 모델 통합

추적된 특징점에 대한 3D 위치를 추정하는 대신, 시스템은 이미지 시퀀스에 대해 밀집된 스케일까지의 점 구름 $\{C_0 \bar{p}_{i,k}\}$을 예측하기 위해 사전 훈련된 피드포워드 모델을 활용합니다. 모델은 일관된 참조 카메라 좌표계 $\{C_0\}$로 표현된 점 구름을 출력합니다. 처리 가능성을 보장하기 위해 낮은 신뢰도 예측은 필터링되며, 프레임당 고정된 수의 높은 신뢰도 점들이 샘플링됩니다.

2. 특징점 없는 폐쇄형 선형 시스템

핵심 혁신은 3D 점 위치가 개별 특징 좌표가 아닌 단일 전역 스케일 인자 $s$로 매개변수화되는 초기화 문제의 재구성입니다.

• 상태 축소: 상태 벡터가 $M$개의 특징 위치 (차원 $3M$) 와 속도 및 중력을 포함하는 것에서 7 차원 벡터 $x = [s, \mathbf{v}_{I_0}, \mathbf{g}]^\top$로 축소됩니다.
• 선형 공식화: 스케일 매개변수화된 점 구름을 카메라 투영 모델과 IMU 사전 적분 방정식에 대입함으로써, 저자들은 선형 시스템 $\bar{A}x = \bar{b}$를 유도합니다.
• 강건성: RANSAC 이 선형 솔버에 직접 통합되어 예측된 점 구름의 이상치를 거부함으로써 예측 오류에 대한 강건성을 향상시킵니다.

3. 비선형 정제 (VI-BA)

선형 해를 따른 후, 정제를 위해 시각 - 관성 번들 조정 (VI-BA) 의 두 가지 변형이 제안됩니다:

• 스케일 제약 (SC): 공유 스케일 파라미터로 기존 특징 기반 최적화를 확장합니다. 이는 더 높은 정확도를 위해 특징 대응 관계를 유지하지만 더 큰 상태 공간을 유지합니다.
• 특징점 없는 (FF): 특징 상태를 완전히 제거합니다. 재투영 잔차는 스케일 인자 $s$와 IMU 상태만으로 매개변수화됩니다. 이 공식화는 기하학에 대한 상태 차원을 $O(1)$로 최소화하여 수치적 조건과 수렴 속도를 크게 향상시킵니다.
• 로컬 스케일 적응: 로컬 예측 오류를 처리하기 위해 점 구름은 2D 그리드 (예: $3 \times 3$) 로 분할되어 각 영역에 독립적인 스케일 파라미터가 할당되며, 이는 매끄러움 제약으로 연결됩니다.

주요 기여

1. 피드포워드 3D 모델의 최초 통합: 이 작업은 전통적인 특징 기반 파이프라인을 넘어 단안 VINS 초기화에 피드포워드 3D 기반 모델을 통합한 첫 사례입니다.
2. 특징점 없는 공식화: 저자들은 시각적 특징 연관성의 필요성을 자연스럽게 제거하는 폐쇄형 선형 시스템을 유도하여, 예측된 기하학으로부터 메트릭 스케일, 초기 속도, 그리고 중력을 직접 추정합니다.
3. 이중 VI-BA 변형: 논문은 매우 효율적인 특징점 없는 버전과 정확도를 위해 특징 대응 관계를 보존하는 스케일 제약 버전이라는 두 가지 정제 전략을 공식화합니다.
4. 실증적 검증: 공개 데이터셋 (EuRoC, TUM-VI) 과 자체 수집 데이터셋에 대한 광범위한 실험은 성공률과 데이터 효율성 측면에서 본 방법의 우월성을 입증합니다.

실험 결과

제안된 방법은 EuRoC 및 TUM-VI 데이터셋에서 최첨단 기준 (Dong-Si, sqrtVINS, DRT, 학습 기반 깊이 방법) 에 대해 평가되었습니다.

• 성공률: 특징점 없는 (FF) 변형은 TUM-VI 데이터셋에서 90% 이상, EuRoC 에서 **81.2%**의 가장 높은 성공률을 달성하여, 낮은 시차 또는 열화된 시나리오에서 종종 어려움을 겪던 기준 방법들을 크게 능가했습니다.
• 데이터 효율성: 이 방법은 성공적인 초기화에 필요한 센서 데이터 지속 시간을 획기적으로 단축했습니다. 성공적인 초기화까지의 평균 시간 ($T_{tot}$) 은 대부분의 기준 방법들이 2.5~3.3 초였던 반면, 약 1.2 초로 감소했습니다.
• 정확도: 특징점 없는 변형은 특징 제약의 부재로 인해 스케일 제약 변형보다 약간 더 높은 윈도우 절대 궤적 오차 (ATE) 를 보였으나, 후속 추적에서 최저의 궤적 ATE를 달성하여 초기화 품질이 안정적인 장기 운영에 충분함을 나타냈습니다.
• 강건성: 시각적으로 열화된 환경 (예: 낮은 질감, 모션 블러) 이 포함된 자체 수집 데이터셋에서 제안된 방법은 특징 기반 기준 방법들이 자주 발산하거나 실패하는 상황에서 신뢰할 수 있는 초기화를 유지했습니다.
• 절대성 연구: 결과는 본 방법이 사용된 특정 피드포워드 모델 (VGGT, Depth Anything 3, $\pi^3$로 테스트) 에 무관하며, 성능이 기본 기하학적 예측의 품질에 비례하여 확장됨을 확인했습니다.

중요성과 주장

이 논문은 피드포워드 3D 모델의 공간 이해 능력을 활용함으로써 단안 VINS 초기화 문제를 간결한 특징점 없는 공식화로 단순화할 수 있다고 주장합니다. 이 접근 방식은 열화된 환경에서 특징점 추정의 근본적인 취약성을 해결합니다.

저자들은 그들의 방법이 다음과 같음을 강조합니다:

• 특징 추출 및 추적을 불필요하게 함으로써 시스템 복잡성을 실질적으로 감소시킵니다.
• 기존 방법들이 실패하는 시나리오 (예: 질감이 없는 벽, 급격한 운동) 에서 특히 신뢰성을 향상시킵니다.
• 초기화 시간을 1.2 초 미만으로 단축하여 AR 및 비상 항법과 같은 실시간 응용에 적합하게 함으로써 더 빠른 배포를 가능하게 합니다.

논문은 한계를 인정하며, 성능은 기본 3D 기반 모델의 일반화에 의존한다고 지적합니다. 열린 하늘 장면이나 기하학적 단서가 극도로 희소한 환경 (예: 빈 흰색 벽) 에서는 예측된 기하학이 신뢰할 수 없게 되어 초기화 실패로 이어질 수 있습니다. 그러나 저자들은 기반 모델이 개선됨에 따라 초기화 성능도 자연스럽게 확장될 것이며, 향후 작업은 완전히 미분 가능한 피드포워드 VINS 파이프라인을 탐구할 수 있다고 주장합니다.