RGB-Only Gaussian Splatting SLAM for Unbounded Outdoor Scenes

1. 문제 정의 (Problem)

기존의 3D 가우스 스플래팅 (3DGS) 기반 SLAM 방법론들은 주로 실내 환경이나 제한된 카메라 이동이 있는 소규모 장면을 대상으로 개발되었습니다. 또한, 많은 방법들이 RGB-D 센서 (깊이 정보) 나 사전 학습된 깊이 추정 모델에 의존하고 있습니다. 이로 인해 다음과 같은 한계가 존재합니다.

• 야외 무한 공간 (Unbounded Outdoor Scenes) 의 어려움: 자율 주행 차량과 같은 야외 환경에서는 깊이 정보의 부재로 인한 정확한 깊이 및 스케일 추정 난이도, 제한된 이미지 중첩, 특이한 시점 (singular viewing angles) 으로 인한 학습 수렴의 어려움이 발생합니다.
• 기존 방법의 한계: RGB-D 입력에 의존하거나 실내 환경에 최적화된 기존 3DGS SLAM 은 야외 환경에서 추적 정확도와 3D 재구성 품질이 떨어집니다.

2. 제안 방법 (Methodology)

저자들은 OpenGS-SLAM이라는 새로운 RGB-only 3DGS SLAM 시스템을 제안합니다. 이 시스템은 깊이 센서 없이 RGB 이미지만으로 야외 무한 공간에서 정밀한 위치 추정 및 고화질 신시각 (Novel View) 합성을 가능하게 합니다.

핵심 기술 요소:

1. 쌍별 포인트맵 회귀 네트워크 (Pairwise Pointmap Regression Network):

   • 기존에 널리 사용되는 깊이 맵 대신, 프레임 간 일관된 **포인트맵 (Pointmap)**을 생성합니다.
   • 포인트맵은 2D-3D 대응 관계, 시점 간 관계, 장면 기하학 정보를 포함하여 깊이 추정 네트워크의 부정확성을 보완하고 더 강건한 카메라 포즈 추정을 가능하게 합니다.
   • ViT 인코더와 트랜스포머 디코더를 활용한 사전 학습 네트워크를 사용하여 연속된 프레임 간의 포인트맵을 생성합니다.

2. 엔드 - 투 - 엔드 차분 가능 파이프라인 (End-to-End Differentiable Pipeline):

   • 추정된 카메라 포즈와 3DGS 렌더링을 하나의 차분 가능한 파이프라인으로 통합합니다.
   • 이를 통해 카메라 포즈와 3DGS 장면 파라미터를 **동시에 최적화 (Joint Optimization)**할 수 있어 추적 정확도를 획기적으로 향상시킵니다.
   • 포즈 최적화 시 리만 다양체 (SE(3)) 를 리 대수 (se(3)) 로 선형화하여 경사 하강법을 적용하고, 렌더링 함수의 미분을 통해 포즈에 대한 광도 손실 (Photometric Loss) 의 기울기를 계산합니다.

3. 적응형 스케일 매핑 (Adaptive Scale Mapper):

   • 야외 환경에서 포인트맵 회귀 시 발생할 수 있는 스케일 불일치를 해결하기 위해 고안되었습니다.
   • 연속된 프레임 간의 포인트맵을 매칭하여 상대적 거리를 측정하고, 이를 통해 프레임 간 스케일 변화 비율을 추정합니다.
   • 첫 번째 프레임을 기준으로 누적 스케일 인자를 계산하여 3D 가우스 맵에 정확한 스케일로 포인트를 매핑합니다.

4. 적응형 학습률 조정 (Adaptive Learning Rate Adjustment):

   • 실내 SLAM 과 달리 야외 주행 데이터는 재방문 (Loop) 이 드물고, 직진 시와 회전/경사로 시의 최적화 요구사항이 다릅니다.
   • 차량의 회전 각도 (Rotation Angle) 를 기반으로 학습률을 동적으로 조정합니다. 회전 시에는 학습률을 증가시켜 새로운 장면을 빠르게 적응시키고, 직진 시에는 감소시켜 안정성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 야외 RGB-only 3DGS SLAM: 무한한 야외 환경을 대상으로 한 최초의 RGB-only 3D 가우스 스플래팅 SLAM 방법을 제안했습니다.
2. 통합 최적화 시스템: 포인트맵 회귀 네트워크와 3DGS 렌더링을 결합한 엔드 - 투 - 엔드 파이프라인을 구축하여 포즈와 장면 파라미터의 동시 최적화를 실현했습니다.
3. 성능 혁신: 적응형 스케일 매핑과 학습률 조정 전략을 통해 Waymo 데이터셋에서 기존 3DGS 방법 대비 추적 오차를 9.8% 수준으로 줄였으며, 신시각 합성 (NVS) 에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: Waymo Open Dataset (자율 주행 차량의 전방 RGB 이미지) 의 9 개 세그먼트를 사용했습니다.
• 추적 정확도 (Tracking):
  • 기존 3DGS 기반 방법 (MonoGS 등) 대비 평균 ATE RMSE 를 크게 개선했습니다.
  • GlORIE-SLAM(광학 흐름 기반) 과 유사하거나 일부 구간에서 더 우수한 추적 정확도를 보였으며, 특히 급격한 회전 시에도 드리프트 (Drift) 없이 정확한 궤적을 유지했습니다.
• 신시각 합성 (Novel View Synthesis):
  • PSNR, SSIM, LPIPS 지표에서 모든 비교 대상 (NICER-SLAM, GlORIE-SLAM, Photo-SLAM, MonoGS) 을 압도했습니다.
  • MonoGS 는 흐릿한 이미지를 생성한 반면, OpenGS-SLAM 은 차량, 거리, 건물의 세부 사항을 고충실도로 재현했습니다.
• Ablation Study: 포인트맵 회귀, 적응형 스케일 매핑, 학습률 조정이 제거될 경우 추적 실패나 렌더링 품질 저하가 발생하여 각 모듈의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

OpenGS-SLAM 은 깊이 센서 없이도 자율 주행 및 로봇 공학 분야에서 필수적인 야외 무한 공간의 정밀한 SLAM을 가능하게 합니다. 기존 3DGS 기반 방법들이 겪던 깊이 의존성과 실내 환경 제한을 극복하여, 고화질의 3D 재구성과 실시간 정밀 추적을 동시에 달성했습니다. 이는 실제 자율 주행 시스템 및 확장 현실 (XR) 응용 분야에 매우 실용적인 솔루션을 제공하며, RGB-only SLAM 연구의 새로운 기준을 제시합니다.