FVO: Fast Visual Odometry with Transformers

기술 요약: 트랜스포머를 활용한 빠른 비전 오도메트리 (FVO)

문제 제기
비전 오도메트리 (VO) 는 비디오 시퀀스로부터 카메라의 궤적을 추정하는 것을 목표로 합니다. 딥러닝과 고전적 최적화 (예: 번들 어드저스트먼트) 를 결합한 하이브리드 파이프라인은 높은 정확도를 달성했지만, 상당한 한계를 겪고 있습니다. 이러한 방법들은 종종 대규모로 사전 훈련된 3D 백본에 의존하는데, 이는 고정되어 있으며 스케일 모호성을 내포하여 절대 스케일 추정의 불가능성을 계승합니다. 또한, 번들 어드저스트먼트 및 특징 매칭과 같은 후처리 단계에 대한 의존성은 추론 속도에 병목 현상을 초래하며, 실제 배포 환경에서 종종 구할 수 없는 알려진 카메라 내부 파라미터를 필요로 합니다. 순수 엔드 투 엔드 접근 방식은 더 빠르지만, 역사적으로 정확도와 견고성 측면에서 뒤처져 왔습니다. 과제는 카메라 내부 파라미터나 테스트 시간 최적화가 필요 없으며, 무거운 후처리 없이도 미터 스케일을 정확하게 추정할 수 있는 빠르고 확장 가능한 단안 VO 시스템을 개발하는 데 있습니다.

방법론
저자들은 전통적인 후처리를 트랜스포머 기반 아키텍처로 대체하는 직접 상대 포즈 회귀 프레임워크인 Fast Visual Odometry (FVO) 를 제안합니다.

• 아키텍처: FVO 의 핵심은 엔드 투 엔드 구조적 예측을 위해 설계된 트랜스포머 모델입니다. 이는 DUSt3R 프레임워크 내의 CroCo 아키텍처를 기반으로 한 고정된 사전 훈련 이미지 인코더를 사용하여 입력 프레임에서 시각적 특징을 추출합니다. 이러한 특징들은 $L$ 개의 반복 블록으로 구성된 시공간 디코더에 의해 처리됩니다.
  • 시공간 어텐션: 디코더는 분해된 어텐션 메커니즘을 사용합니다. 먼저, 시간적 어텐션은 동일한 공간 위치에 대해 프레임 간 정보를 집계합니다. 이어 공간적 어텐션은 프레임 내 서로 다른 공간 위치 간의 통신을 가능하게 합니다.
  • 카메라 임베딩: 포즈 추정을 위해 특정 정보를 집계하기 위해 학습 가능한 카메라 임베딩이 도입됩니다. 중요하게도, 이러한 임베딩은 시간적 어텐션에 주입할 경우 성능이 저하됨이 발견되었으므로 공간적 어텐션 레이어 내에서만 통합됩니다.
• 상대 포즈 회귀: 이 모델은 연속된 프레임 간의 상대 카메라 변환 ($SE(3)$) 을 직접 예측합니다. 출력에는 회전 행렬, 이동 벡터, 그리고 이에 대한 신뢰도 스칼라가 포함됩니다.
  • 회전 처리: 유효한 회전을 보장하기 위해, 원시 예측 회전 행렬은 특수 직교 프로크루스테스 문제를 사용하여 $SO(3)$ 매니폴드로 투영됩니다.
  • 불확실성 인지 학습: 픽셀 단위 신뢰도 레이블을 사용하는 대신, FVO 는 이질적 불확실성 (heteroscedastic uncertainty) 공식을 채택합니다. 네트워크는 회전 및 이동에 대한 신뢰도 점수 ($c_R, c_t$) 를 자기지도 방식으로 학습합니다. 손실 함수는 과신된 저정확도 예측에 페널티를 부과하고 불확실한 잔차의 가중치를 낮춤으로써, 명시적 레이블 없이도 모델이 신뢰도를 학습하도록 합니다.
• 추론 모듈: 단안 VO 에서의 오차 누적 문제를 해결하기 위해, FVO 는 중첩 윈도우 방식을 활용합니다. 입력 비디오는 중첩된 윈도우로 분해되며, 모델은 각 윈도우에 대한 상대 포즈를 예측합니다. 신뢰도 인지 추론 모듈은 이러한 중첩된 예측들을 집계합니다. 예측들은 학습된 신뢰도 점수에 의해 가중치를 부여받습니다 (소프트맥스 정규화를 통해 가중치로 변환된 후) 그리고 평균화됩니다. 회전은 $SO(3)$ 상의 가중 프레체 평균 (weighted Fréchet mean) 을 사용하여 평균화되고, 이동은 선형적으로 평균화됩니다. 이 과정은 이상치의 영향을 완화하고 전역 최적화 없이 부드럽고 전역적으로 일관된 궤적을 생성합니다.

주요 기여

1. FVO 파이프라인: 거의 $2\times$ 빠른 속도로 작동하면서도 여러 벤치마크에서 경쟁력 있는 성능을 달성하는 효율적인 엔드 투 엔드 단안 비전 오도메트리 파이프라인.
2. 트랜스포머 기반 직접 회귀: 이미지 시퀀스에서 상대 카메라 포즈와 신뢰도 추정을 직접 예측하는 새로운 네트워크 아키텍처. 신뢰도는 포즈 주석만 필요로 하는 자기지도 방식으로 학습됩니다.
3. 신뢰도 인지 추론: 번들 어드저스트먼트나 카메라 보정이 필요 없이 학습된 신뢰도 가중치를 사용하여 중첩된 포즈 예측을 집계함으로써 부자연스러운 예측을 효과적으로 완화하는 견고한 궤적 복구 모듈.

실험 결과
이 방법은 ARKitScenes, ScanNet, KITTI, TUM_RGBD (zero-shot) 를 포함한 다양한 실내 및 야외 데이터셋에서 평가되었습니다.

• 정확도: FVO 는 정렬 및 비정렬 상태 모두에서 절대 이동 오차 (ATE) 에서 최첨단 또는 경쟁력 있는 성능을 달성합니다. 특히, 대규모 3D 모델 (VGGT 및 CUT3R 등) 과 최적화 기반 방법 (DPVO 등) 을 비정렬 지표에서 능가하여 우수한 스케일 추정 능력을 입증합니다.
• 속도: 상용 하드웨어 (NVIDIA RTX 3090) 에서 FVO 는 기존 베이스라인보다 거의 $2\times$ 빠른 실행 시간을 달성합니다. 이 효율성은 비싼 후처리 단계의 부재와 간소화된 트랜스포머 아키텍처에 기인합니다.
• 확장성: 제거 실험 (Ablation studies) 은 모델이 증가된 훈련 데이터 (예: ScanNet 에 ARKitScenes 추가) 와 증가된 모델 용량 (더 많은 디코더 레이어) 모두에 대해 견고하게 확장됨을 확인시켜 줍니다.
• 디자인 선택: 실험은 공간 레이어의 카메라 토큰을 갖춘 특정 시공간 어텐션 메커니즘, 회전을 위한 $SO(3)$ 투영, 그리고 이질적 불확실성 손실이 성능에 결정적임을 검증합니다.

의의 및 주장
이 논문은 FVO 가 충분한 데이터와 결합될 때 간소화된 엔드 투 엔드 아키텍처가 복잡한 하이브리드 파이프라인을 대체할 수 있음을 입증함으로써 중요한 진전을 이루었다고 주장합니다. 테스트 시간 최적화, 카메라 내부 파라미터, 그리고 수동으로 설계된 구성 요소에 대한 필요성을 제거함으로써 FVO 는 기존 방법이 실패하거나 너무 느린 시나리오에서 실시간 대규모 배포를 가능하게 합니다. 저자들은 그들의 접근 방식이 다양한 데이터를 활용하여 시각적 단서로부터 단안 스케일 모호성을 직접 해결하는 데 성공했으며, 자율 주행 및 로봇 공학과 같은 실용적 응용 분야에서 견고한 실시간 비전 오도메트리 경로를 제공한다고 강조합니다. 다만, 모델이 주로 정적 환경에서 훈련되었으며 고도로 동적인 설정에서는 한계에 직면할 수 있음을 겸손하게 지적하며, 향후 데이터 큐레이션 및 모델 확장 작업을 제안합니다.