1. 문제 정의 (Problem)

기존의 밀집 SLAM (Dense SLAM) 시스템은 다음과 같은 한계점을 가지고 있습니다:

• 계산 비용과 실시간성: Implicit Neural Representation (INR) 기반의 방법은 높은 정밀도를 제공하지만, 신경망 추론 및 최적화의 높은 계산 비용으로 인해 실시간 적용이 어렵습니다.
• 연결성 부족 (Coupling Issues):
  • 단일 통합 (Tightly Coupled) 방식: 추적 (Tracking) 과 매핑 (Mapping) 을 하나의 통합된 장면으로 처리하는 방법 (예: MonoGS, SplaTAM) 은 재렌더링 손실을 기반으로 추적하므로 정확도가 높지만, 반복적인 렌더링과 최적화 계산으로 인해 실시간 처리가 어렵습니다.
  • 느슨한 결합 (Loosely Coupled) 방식: 기존 시각 오도메트리 (VO) 프레임워크와 Gaussian Splatting (GS) 을 별개로 결합하는 방법 (예: Photo-SLAM) 은 실시간성은 보장하지만, 추적과 매핑이 독립적으로 수행되어 상호 간의 기하학적 정보를 충분히 공유하지 못합니다. 이로 인해 추적 정확도와 재구성 품질이 최적화되지 않으며, 불필요한 중복 계산이 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 GSO-SLAM을 제안하며, 이는 단안 (Monocular) 영상 기반의 실시간 밀집 SLAM 시스템으로, **비디오 오도메트리 (VO)**와 **가우스 스플래팅 (Gaussian Splatting, GS)**을 **양방향 결합 (Bidirectionally Coupled)**하여 최적화합니다.

A. 기대 - 최대화 (Expectation-Maximization, EM) 프레임워크 기반 공동 최적화

추적 (VO) 과 매핑 (GS) 을 별도의 과정이 아닌 하나의 EM 프레임워크 내에서 통합하여 추가적인 계산 오버헤드 없이 상호 보완적으로 작동하도록 설계했습니다.

• E-step (Gaussian Update): 카메라 포즈 ($P$) 와 깊이 ($D$) 를 고정하고, 2D 가우스 ($G$) 를 업데이트합니다.
  • 손실 함수: RGB 렌더링 손실 (Photometric loss), 반밀집 깊이 손실 (Semi-dense Depth Loss, DSO 의 깊이 추정치와 GS 렌더링 깊이의 일치), 법선 일관성 손실 (Normal Consistency Loss) 을 결합합니다.
  • DSO 에서 계산된 반밀집 깊이와 GS 에서 렌더링된 깊이를 가짜 관측치 (pseudo-observations) 로 활용하여 두 모듈 간의 긴밀한 결합을 유도합니다.
• M-step (Pose & Depth Update): 업데이트된 가우스 ($G^*$) 를 고정하고, 카메라 포즈 ($P$) 와 깊이 ($D$) 를 업데이트합니다.
  • 기존 DSO 의 번들 어드저스트먼트 (BA) 와 깊이 정규화 항을 결합합니다.
  • 매번 깊이 렌더링을 수행하는 고비용을 피하기 위해, E-step 에서 얻은 깊이 정보를 기반으로 한 가중 평균 접근법을 사용하여 안정성을 확보하고 계산 비용을 줄입니다.

B. 가우스 스플래트 초기화 (Gaussian Splat Initialization)

기존의 휴리스틱 초기화 방법을 대체하는 새로운 초기화 전략을 도입했습니다.

• 원리: DSO 최적화 과정에서 이미 계산된 **이미지 기울기 (Image Gradients)**를 활용합니다.
• 과정:
  1. DSO 의 반밀집 깊이 추정치를 기반으로 여러 키프레임에서 얻은 2D 이미지 좌표와 기울기를 사용하여 2D 공분산 ($\Sigma_{2D}$) 을 확률적 추정치로 계산합니다.
  2. 여러 키프레임에서 관측된 동일한 3D 점에 대한 2D 공분산들을 통합하여 3D 공분산 ($\Sigma_{3D}$) 을 추정합니다.
  3. 고유값 분해 (Eigen-decomposition) 를 통해 초기 가우스의 회전 및 스케일 파라미터를 도출합니다.
• 효과: 추가적인 계산 없이도 최종 수렴 상태에 가까운 초기 가우스를 생성하여 수렴 속도를 획기적으로 높이고 재구성 품질을 향상시킵니다.

C. 시스템 아키텍처

• 전선 (Front-end): DSO 기반의 추적 및 키프레임 선택을 담당하며, 실시간 성능을 유지합니다.
• 후선 (Back-end): 병렬 스레드에서 E-step 최적화 (2DGS 장면 최적화) 를 수행하여 배경에서 장면을 정제합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 양방향 결합 단안 SLAM: 시각 오도메트리와 Gaussian Splatting 을 시너지 있게 통합하여, 실시간 밀집 장면 재구성과 최첨단 수준의 기하학적/광학적 정밀도를 달성했습니다.
2. EM 기반 공동 최적화: 추적과 매핑을 별도의 과정이 아닌 EM 문제로 공식화하여, 추가적인 계산 비용 없이 두 작업의 정확도를 동시에 향상시켰습니다.
3. 혁신적인 초기화 전략: DSO 내부의 이미지 기울기 정보를 직접 활용하여 가우스 파라미터를 초기화함으로써, 기존 방법들보다 빠른 수렴과 높은 재구성 품질을 보장합니다.

4. 실험 결과 (Results)

Replica, TUM-RGBD, INS (대규모 실내) 등 다양한 데이터셋에서 SOTA 방법들과 비교 평가되었습니다.

• 추적 정확도 (Tracking Accuracy):
  • Replica 데이터셋: RGB-D 기반 방법 (SplaTAM, MonoGS 등) 과 비교해도 경쟁력 있는 정확도를 보였으며, 기존 단안 방법 (Photo-SLAM 등) 대비 ATE RMSE 가 최대 50% 까지 개선되었습니다.
  • TUM-RGBD 데이터셋: 노이즈가 심한 환경에서도 Feature 기반 방법 (Orbeez-SLAM) 과 비교해 경쟁력 있는 성능을 보였으며, 특히 MGSO* (재구현 버전) 보다 우수한 추적 정확도를 기록했습니다.
• 재구성 품질 (Reconstruction Quality):
  • 정밀도: PSNR, SSIM, LPIPS, Depth L1 오류 등 모든 메트릭에서 기존 방법들을 상회했습니다. 특히 Depth L1 오류는 MonoGS 대비 3 배 이상, SplaTAM 대비 141 배 이상 빠른 속도로 높은 정밀도를 달성했습니다.
  • 실시간성: Replica 데이터셋에서 30 FPS 의 실시간 성능을 유지하면서, MonoGS 보다 36 배, SplaTAM 보다 141 배 빠른 처리 속도를 기록했습니다.
• 확장성 (Scalability): 대규모 INS 데이터셋 (긴 복도) 에서 루프 클로저 없이도 누적 오차 (Drift) 를 효과적으로 제어하여 MonoGS 와 Photo-SLAM 보다 우수한 궤적 정확도와 맵 품질을 보였습니다.
• 성능 분석:
  • 초기화 효과: Ablation Study 를 통해 제안된 초기화 방법이 KNN 기반 초기화나 등방성 가우스 초기화보다 훨씬 적은 반복 횟수로 높은 품질의 맵을 생성함을 입증했습니다.
  • 공동 최적화 효과: 공동 최적화를 비활성화했을 때 (Naive coupling) 추적 정확도와 재구성 품질이 모두 하락하여, 제안된 EM 프레임워크의 중요성을 확인했습니다.

5. 의의 및 결론 (Significance)

GSO-SLAM 은 추적 (VO) 과 매핑 (GS) 간의 정보 공유 장벽을 허무는 획기적인 접근법을 제시합니다.

• 계산 효율성: 기존 통합 방식의 높은 계산 비용과 느슨한 결합 방식의 정보 손실이라는 두 가지 문제를 동시에 해결하여, 실시간성과 고정밀도를 모두 달성했습니다.
• 실용성: 추가적인 센서 없이 단안 카메라만으로 고품질의 3D 밀집 맵을 실시간으로 생성할 수 있어, 증강현실 (AR), 가상현실 (VR), 로봇 내비게이션 등 다양한 분야에서 실용적인 적용 가능성이 높습니다.
• 미래 전망: 현재는 반밀집 맵을 이산적인 점으로 모델링하고 있으나, 향후 이미지 구조를 고려한 더 세밀한 모델링을 통해 결합 방식의 이점을 극대화할 계획입니다.

이 논문은 Gaussian Splatting 기반 SLAM 의 한계를 극복하고, 전통적인 시각 오도메트리와 최신 신경망 렌더링 기법을 융합한 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.