기술 요약: 키프레임 기반 피드포워드 시각적 주행 거리 측정 (Keyframe-Based Feed-Forward Visual Odometry)

문제 정의

시각적 파운데이션 모델(예: DUSt3R, VGGT)의 등장은 명시적인 기하학적 제약이나 광범위한 파라미터 튜닝 없이도 포즈 추정과 밀집 재구성을 가능하게 함으로써 시각적 주행 거리 측정(Visual Odometry, VO) 및 SLAM 분야에 혁명을 일으켰습니다. 그러나 VGGT-Long과 같은 현재의 파운데이션 모델 기반 접근 방식은 일반적으로 원시 이미지 시퀀스를 무차별적으로 처리합니다. 이러한 "맹목적인" 처리는 두 가지 주요 문제를 야기합니다:

1. 계산적 중복성: 모든 프레임을 처리하는 것은 상당한 메모리와 연산 자원을 소비하여 실제 환경에서의 배포를 저해합니다.
2. 성능 저하: 프레임 간 패럴랙스(parallax)가 낮은 프레임을 포함하는 것은 제한적인 컨텍스트 스테레오 정보를 제공하여 국부적 추정의 정확도를 떨어뜨릴 수 있습니다.

전통적인 VO 파이프라인은 입력을 필터링하고 효율성을 높이기 위해 키프레임 방법을 활용하지만, 이러한 휴리스틱을 파운데이션 모델에 통합하는 것은 쉽지 않습니다. 전통적인 방법은 명시적인 기하학적 지표(예: 베이스라인 거리, 패럴랙스)에 의존하는 반면, 파운데이션 모델은 복잡하고 고차원적인 잠재 표현(latent representation)을 가진 "블랙박스"로서 작동합니다. 파운데이션 모델의 잠재 공간에 대한 명시적인 지식 없이도 이와 정렬되는 규칙 기반 키프레임 선택을 설계하는 것은 여전히 큰 과제로 남아 있습니다.

방법론

저자들은 상태 최첨단 시각적 파운데이션 모델인 VGGT를 백본으로 활용하고, 적응형 키프레임 선택을 위한 강화 학습(RL) 에이전트로 보강된 키프레임 기반 피드포워드 VO 방법을 제안합니다.

핵심 아키텍처

• 백본(Backbone): 시스템은 순서가 정해지지 않은 미교정 단안 RGB 이미지 세트를 처리하는 VGGT를 사용합니다. 이 모델은 시각적 특징 토큰(DINOv2 사용)을 추출하고, 이를 셀프 어텐션 및 크로스 어텐션 레이어를 통해 처리한 후, 카메라 포즈, 깊이 지도 및 포인트 클라우드로 디코딩합니다.
• 슬라이딩 윈도우 메커니즘: 전체 시퀀스를 한꺼번에 처리하는 대신, 이 방법은 고정된 크기의 슬라이딩 윈도우(크기 8)를 유지합니다. 윈도우의 첫 번째 프레임은 알려진 글로벌 포즈를 가진 "앵커(anchor)" 역할을 합니다. 윈도우 내의 모든 프레임은 VGGT에 입력되어 앵커에 대한 상대적 포즈를 계산하며, 이는 다시 글로벌 포즈로 변환됩니다.
• RL 기반 키프레임 에이전트:
  • 관측($O_t$): 에이전트는 현재 윈도우 내의 모든 프레임에서 ViT 인코더에 의해 추출된 평균 풀링된 CLS 토큰(글로벌 시맨틱 표현)과 각 프레임의 상대적 포즈 변화를 관찰합니다. 이러한 설계는 계산 효율성을 유지하면서 에이전트의 입력을 파운데이션 모델의 내부 상태와 일치시킵니다.
  • 행동($A_t$): 에이전트는 새로 들어온 입력 프레임을 키프레임으로 유지할지 아니면 버릴지를 결정합니다.
    • 유지할 경우: 윈도우가 이동하며, 현재의 앵커가 제거되고 두 번째 프레임이 새로운 앵커가 됩니다.
    • 버릴 경우: 프레임은 제거되지만, 가장 최근의 키프레임에 대한 상대적 포즈 변화는 보존됩니다.
  • 보상 함수($R$): 보상은 추정된 궤적과 실제 값(Umeyama 알고리즘 사용) 사이의 정렬 오차를 기반으로 계산됩니다. 보상 함수에는 변위 오차($e_{tran}$)와 행동 붕괴(예: 에이전트가 항상 프레임을 선택하거나 전혀 선택하지 않는 현상)를 방지하기 위한 작은 보상 항($\alpha_{keyframe}$)이 포함됩니다.
  • 학습: 에이전트는 합성 데이터셋인 TartanAir에서 근사 정책 최적화(PPO) 알고리즘을 사용하여 학습됩니다. 학습 과정에는 견고성을 높이기 위해 데이터 증강(밝기, 대비, 채도 변화)과 무작위 프레임 드롭이 포함됩니다. 또한, 에이전트의 오류와 시퀀스 자체의 난이도를 구분하기 위해 학습 중에 실제 포즈에 접근할 수 있는 "특권적 비평가(privileged critic)"가 사용됩니다.

주요 기여

1. 데이터 기반 키프레임 정책: 본 논문은 파운데이션 모델을 위한 키프레임 선택의 새로운 접근 방식을 소개합니다. 손으로 설계된 기하학적 휴리스틱에 의존하는 대신, 이 방법은 강화 학습을 사용하여 기초 모델(VGGT)의 고유한 특성과 정렬되는 적응형 정책을 도출합니다.
2. 3D 비전 파운데이션 모델으로의 통합: 본 연구는 적응형 키프레임 메커니즘을 VGGT와 같은 모델에 성공적으로 통합했습니다. 입력 프레임 선택을 모델의 잠재 표현 특성에 맞춤으로써, 파운데이션 모델의 핵심 아키텍처를 수정하지 않고도 로컬라이제이션 성능을 크게 향상시킵니다.
3. 일반화: 제안된 방법은 합성 데이터로만 학습되었음에도 불구하고 다양한 실제 데이터셋(EuRoC, TUM-RGBD, KITTI)에서 일관된 성능 향상을 달着하며 강력한 일반화 능력을 입증했습니다.

실험 결과

본 방법은 VGGT-Long, VGGT-SLAM, FastVGGT, StreamVGGT, InfiniteVGGT를 포함한 최첨단 피드포워드 VO 방법들과 비교 평가되었습니다.

• 성능: 제안된 방법은 EuRoC, TUM-RGBD, KITKI 데이터셋의 대부분의 시퀀스에서 최고 또는 경쟁력 있는 결과를 달성했습니다. 키프레임 필터링이나 단순한 휴리스틱에 의依赖하는 다른 피드포워드 방법들을 일관되게 능가했습니다.
• 휴리스틱과의 비교: 절제 연구(Ablation study)를 통해 RL 기반 정책을 표준 슬라이딩 윈도우(VGGT-SW) 및 Lucas-Kanade 광류 기반 키프레임 방법(VGGT-LK)과 비교했습니다. RL 기반 접근 방식은 모든 데이터셋에서 더 낮은 평균 궤적 오차(ATE)를 기록했으며, 이는 기존의 기하학 중심 휴리스틱이 시각적 파운데이션 모델의 고유한 특성과 잘 맞지 않음을 시사합니다.
• 효율성: RL 에이전트는 무거운 파운데 फाउंडेशन 모델의 전체 처리 시간과 비교했을 때 무시할 수 있는 수준의 계산 오버헤드(결정당 약 0.74ms)를 도입하면서도, 처리되는 프레임 수를 크게 줄였습니다.
• 견고성: 본 방법은 뚜렷한 기하학적 구조가 있는 실내 환경과 복잡한 기하학적 구조를 가진 대규모 실외 장면 모두에서 안정적인 성능을 유지했으며, 명시적인 후처리 과정에 의존하는 방법들이 성능이 저하되는 구간에서도 강점을 보였습니다.

의의 및 주장

본 논문은 현재 및 단기적 시간적 컨텍스트를 효과적으로 보존하는 것이 피드포워드 VO 프레임워크에서 매우 중요하며, 성능이 단순히 장기 기억의 부재에 의해서만 제약받는 것이 아니라고 주장합니다. 데이터 기반 정책을 통해 키프레임을 명시적으로 유지함으로써, 이 방법은 전체적인 추정 정확도와 견고성을 높입니다.

저자들은 이 접근 방식이 전통적인 기하학적 휴리틱과 현대적인 파운데이션 모델 사이의 간극을 메운다는 점을 강조합니다. 그들은 이 연구가 피드포워드 VO를 위한 키프레임 기반 메모리 유지의 중요성을 부각시키며, 더 견고하고 확장 가능한 시각적 주행 거리 측정 시스템을 개발하기 위한 유망한 방향을 제시한다고 역설합니다. 결론적으로, 향후 연구에서는 이 프레임워크를 완전한 피드포워드 SLAM 시스템으로 확장하기 위해 장기 기억(루프 클로징)을 유지하는 메커니즘을 조사할 것임을 밝히고 있습니다.