BEV-ODOM2: Enhanced BEV-based Monocular Visual Odometry with PV-BEV Fusion and Dense Flow Supervision for Ground Robots

기술 요약: BEV-ODOM2

문제 정의
단안 시각 주행 거리 측정(Monocular Visual Odometry, MVO)은 자율 주행 지상 로봇에게 필수적이지만, 누적되는 스케일 드리프트(scale drift)로 인해 장거리 경로에서 위치 추정 성능이 저하되는 문제를 겪습니다. Bird's-Eye-View(BEV) 표현 방식은 6-DoF 운동을 미터 단위 스케일의 그리드 상에서 견고한 3-DoF 모델로 단순화함으로써 이를 완화하는 새로운 패러다임으로 등장했으나, 기존의 BEV 기반 방법론들은 두 가지 결정적인 한계에 직면해 있습니다:

1. 희소한 지도 학습(Sparse Supervision): 훈련이 포즈 벡터(pose vectors)에만 의존하기 때문에, 연속된 프레임 간의 정교한 픽셀 수준 특징 대응 관계(feature correspondences)를 학습하기 위한 충분한 가이드를 제공하지 못합니다.
2. 정보 손실(Information Loss): 표준적인 원근 투영-BEV 변환(예: Lift-Splat-Shoot)은 비주요 자유도(pitch, roll 및 z축 이동)와 관련된 기하학적 단서들을 본질적으로 탈락시키며, 이는 복잡한 주행 시나리오에서 모호성을 초래합니다.

방법론: BEV-ODOM2
저자들은 추가적인 어노테이션이나 센서 모달리티 없이 이러한 한계점을 해결하는 향상된 프레임워크인 BEV-ODOM2를 제안합니다. 이 아키텍처는 다음과 같은 이중 전략 접근 방식을 채택합니다:

1. 조밀한 BEV 광학 흐름 지도 학습 (Dense BEV Optical Flow Supervision):
   BEV 그리드의 통일된 미터 스케일을 활용하여, 3-Do-F 포즈 그라운드 트루스(ground truth)로부터 직접 조밀한 광학 흐름(optical flow) 그라운드 트루스를 구축합니다. BEV 그리드 좌표에 강체 변환(rigid transformations)을 적용함으로써 픽셀당 변위 필드(per-pixel displacement field)를 생성합니다. 이는 네트워크가 상세한 프레임 간 대응 관계를 학습하도록 유도하는 조밀한 픽셀 수준의 지도 신호를 제공하며, 포즈에만 의존하는 훈련의 희소성 문제를 극복합니다.

2. PV-BEV 이중 브랜치 융합 (PV-BEV Dual-Branch Fusion):
   투영 과정에서 손실되는 정보를 복구하기 위해, 프레임워크는 병렬적인 원근 뷰(Perspective View, PV) 브랜치를 도입합니다.

• 투영 전 상관관계 계산 (Pre-Projection Correlation): 특징을 먼저 투영하는 대신, PV 브랜치는 Lift-Splat-Shoot(LSS) 변환 전의 원근 특징으로부터 상관관계 기반 코스트 볼륨(correlation-based cost volume)을 계산합니다. 이는 풍부한 6-DoF 운동 시그니처(pitch 및 roll 단서 포함)를 특징 수준에서 보존합니다.
• 융합 (Fusion): 이렇게 계산된 PV 상관관계 볼륨은 동일한 LSS 파이프라인을 통해 BEV 공간으로 투영된 후 네이티브 BEV 상관관계 특징과 융합됩니다. 이를 통해 모델은 BEV 표현의 스케일 일관성을 유지하면서도 원근 뷰의 기하학적 풍부함을 활용할 수 있습니다.

3. 향상된 회전 샘플링 (Enhanced Rotation Sampling):
   직진 주행에 편향된 데이터셋 특성을 해결하기 위해, 회전 인식 데이터 증강 전략이 구현되었습니다. 높은 회전 차이(15°–45°)를 가진 프레임 쌍을 확률적으로 샘플링하여, 급격한 회전을 포함한 다양한 운동 패턴에 대해 모델이 견고성을 갖도록 합니다.

4. 다중 레벨 지도 학습 (Multi-Level Supervision):
   훈련 목적 함수는 오직 포즈 그라운드 트루스로부터 유도된 세 가지 손실 항을 결 조합합니다:

• 3-DoF 포즈 손실: 최종 BEV 출력을 위한 것.
• 5-DoF 포즈 손실: PV 브랜치를 위한 것 (단안 일관성을 유지하기 위해 스케일 제외).
• 조밀한 흐름 손실 (Dense Flow Loss): 구축된 BEV 광학 흐름에 대한 L1 회귀.

핵심 기여

• BEV-ODOM2 프레임워크: 보조적인 지도 학습(예: 깊이 또는 흐름 센서) 없이도 상태 최고(state-of-the-art)의 스케일 일관된 성능을 달리는 새로운 MVO 프레 framework입니다.
• 기술적 혁신:
  • 포즈 그라운드 트루스로부터 픽셀 수준의 가이드를 구축하는 조밀한 BEV 광학 흐름 지도 학습 모듈.
  • BEV 투영 전 6-DoF 운동 단서를 보존하기 위해 특징 수준의 상관관계 볼륨을 투영하는 PV-BEV 융합 전략.
• ZJH-VO 데이터셋: 향후 연구를 지원하기 위해 공개된, 실내외 환경을 아우르는 다중 장면, 다중 스케일의 지상 로봇 주행 거리 측정 데이터셋입니다.
• 엣지 배포 검증: NVIDIA Jetson AGX Orin에서의 실시간 추론(>20 FPS) 성능을 입증하여 자원 제한적인 플랫폼에서의 실행 가능성을 확인했습니다.

실험 결과
본 방법론은 KITTI, Oxford, NCLT 및 새로운 ZJH-VO의 네 가지 데이터셋에서 평가되었습니다.

• 정확도: BEV-ODOM2는 기존 BEV 기반 방법들(BEV-ODOM 및 BEV-DWPVO)보다 상대적 이동 오차(Relative Translation Error, RTE) 측면에서 40%의 개선을 달 Achieve했습니다. 예를 들어, NCLT 데이터셋에서 RTE를 8.67%(BEV-DWPPV)에서 5.01%로 감소시켰습니다.
• 스케일 일관성: 본 방법은 우수한 스케일 일관성을 유지하며, 장거리 경로에서도 스케일 팩터 곡선이 0에 가깝게 유지되어, 종종 드리프트 문제를 겪는 ORB-SLAM3 및 학습 기반 PV 방법들을 능가합니다.
• 효율성: RTX 4090에서 56–69 FPS, NVIDIA Jetson AGX Orin에서 14–22 FPS로 동작하여 지상 로봇의 실시간 요구 사항을 충족합니다.
• 절제 연구 (Ablation Studies): 실험을 통해 각 구성 요소(조밀한 흐름 지도 학습, PV-BEV 융합, 향상된 회전 샘폴링)가 성능에 유의미하게 기여함을 확인했으며, 특히 조밀한 흐름 지도 학습이 RTE 감소에 가장 큰 이득을 제공함을 입증했습니다.

의의 및 주장
본 논문은 BEV-ODOM2가 훈련을 위해 값비싼 센서(LiDAR, 깊이 카메라)나 노동 집약적인 데이터 라벨링 없이, 오직 하나의 일반 카메라와 기존의 위치 로그만을 필요로 하는 지상 로봇을 위한 실용적인 솔루션을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 견고성: GPS가 끊기는 구간(예: 터널 또는 차고)에서도 약 10초 동안 경로 정확도를 유지할 수 있는 백업 위치 추정 시스템을 제공합니다.
2. 접근성: 적은 메모리를 가진 소형 임베디드 컴퓨터에 배포가 가능하여, 새로운 하드웨어 없이도 실내 서비스, 점검 및 실외 플랫폼에 적합합니다.
3. 과학적 기여: 조밀한 지도 학습과 6-DoF 운동 보존이 포즈 그라운드 트루스만을 사용하여 BEV 프레임워크 내에서 달성될 수 있음을 보여줌으로써, 기하학적 해석 가능성과 딥러닝 성능 사이의 간극을 메웠습니다.

저자들은 본 방법론이 주로 평탄한 표면을 가정한다는 한계점을 언급했습니다. 가파른 경사나 강한 충격은 평면 운동 가정으로 인해 정확도를 저하시킬 수 있습니다.