Thermal odometry and dense mapping using learned odometry and Gaussian splatting

[기술 요약] TOM-GS: 학습 기반 오도메트리와 가우시안 스플래팅을 이용한 열화상 오도메트리 및 밀집 매핑

1. 문제 정의 (Problem Statement)

기존의 로봇 공학 및 SLAM(Simultaneous Localization and Mapping) 기술은 주로 RGB 카메라에 의존해 왔으나, 연기, 먼지, 저조도와 같은 열악한 시각적 환경에서는 성능이 급격히 저하됩니다. 이를 해결하기 위해 열화상(Thermal Infrared) 센서가 대안으로 주목받고 있지만, 다음과 같은 한계점이 존재합니다:

• 기하학적 SLAM의 취약성: 기존의 기하학적 방식(ORB-SLAM3 등)은 열화상 이미지 특유의 낮은 질감(low-texture)과 낮은 대비(low-contrast) 환경에서 추적 성능이 불안정합니다.
• 밀집 매핑(Dense Mapping)의 부재: 기존의 학습 기반 열화상 오도메트리 연구들은 주로 카메라의 움직임(Pose) 추정에는 집중되어 있으나, 로봇의 경로 계획이나 환경 재구성에 필수적인 '밀집된 3D 지도'를 생성하는 능력은 부족합니다.
• 센서 의존성: 밀집 매핑을 위해 LiDAR나 RGB 센서를 추가로 사용하는 방식은 열화상 센서가 강점을 가진 극한 환경(완전 암흑 등)에서 작동하지 않을 수 있습니다.

2. 제안 방법론 (Methodology)

본 논문은 단안(Monocular) 열화상 시퀀스를 입력으로 하여 카메라의 움직임을 추정하고, 3D Gaussian Splatting (GS) 기술을 활용해 고품질의 밀집 지도를 생성하는 TOM-GS 프레임워크를 제안합니다.

주요 구성 요소:

• 열화상 이미지 향상 (Thermal Image Enhancement): 14/16비트의 고해상도 열화상 데이터를 학습 기반 모듈이 처리할 수 있도록 Fieldscale 전략을 사용하여 최적화된 8비트 그레이스케일 이미지로 변환합니다.
• 학습 기반 열화상 오도메트리 (Thermal Odometry with Depth Prior):
  • TIO (Thermal Infrared Odometry): DROID-SLAM 구조를 열화상에 맞게 확장하였습니다. ConvGRU를 통해 광학 흐름(Optical Flow)을 예측하고, Dense Bundle Adjustment(DBA)를 통해 카메라 포즈와 깊이를 최적화합니다.
  • 단안 깊이 사전 정보(Monocular Depth Prior) 통합: 저질감 환경에서의 깊이 추정 오류를 줄이기 위해, 사전 학습된 단안 깊이 예측 네트워크(예: Metric3D, Depth Anything)의 결과를 활용하여 DROID 깊이와 정렬(DSO 레이어)함으로써 정밀한 깊이 지도를 얻습니다.
• 가우시안 스플래팅 기반 밀집 매핑 (Dense Mapping via GS):
  • 추정된 포즈와 정제된 깊이 정보를 바탕으로 3D 가우시안 프리미티브(Gaussian Primitives)를 초기화합니다.
  • 광도 손실(Photometric loss), 구조적 유사도(SSIM), 깊이 손실(Depth loss)을 결합하여 가우시안의 위치, 크기, 불투명도 등을 최적화하여 정밀한 3D 장면을 재구성합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 구축: 학습 기반 오도메트리, 단안 깊이 사전 정보, 열화상 향상 기술, 그리고 3D 가우시안 스플래팅을 하나의 파이프라인으로 결합한 최초의 열화상 전용 GS-SLAM 시스템 중 하나를 제안했습니다.
2. 열화상 특화 설계: 열화상 이미지의 낮은 대비 문제를 해결하기 위한 이미지 향상 모듈과 깊이 추정 보정 메커니즘을 도입했습니다.
3. 고품질 재구성: 기존의 희소(Sparse)한 특징점 기반 지도 대신, 가우시안 스플래팅을 통해 시각적으로 풍부하고 밀집된 열화상 3D 지도를 생성할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

두 가지 공개 벤치마크 데이터셋(RRXIO, VIVID)을 통해 검증을 수행했습니다.

• 오도메트리 성능: RRXIO 및 VIVID 데이터셋 모두에서 기존의 기하학적 방식(ORB-SLAM3, LDSO) 및 학습 기반 방식(DROID-SLAM, DPVO)보다 우수한 ATE(Absolute Trajectory Error) 성능을 보였습니다. 특히 저조도(Dark) 환경에서 열화상 데이터의 강점을 극대화했습니다.
• 렌더링 품질: NeRF 기반 방식이나 기존 GS 방식과 비교했을 때, PSNR, SSIM, LPIPS 지표에서 모두 우수한 결과를 기록하며 높은 수준의 시각적 재구성 능력을 보여주었습니다.
• Ablation Study: Metric3D와 같은 강력한 깊이 사전 정보 모델과 Fieldscale 향상 기법을 결합했을 때 가장 높은 성능이 나타남을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 열화상 카메라를 사용하는 로봇이 극한의 환경(화재 현장, 야간 수색 및 구조, 지하 탐사 등)에서도 정확한 위치 추정과 정밀한 환경 지도 작성을 동시에 수행할 수 있는 기술적 토대를 마련했습니다. 비록 현재는 중규모 환경(약 100m)으로 제한적이지만, 향후 서브맵(Submap) 전략 등을 통해 대규모 환경으로 확장될 가능성을 제시하며 열화상 SLAM 분야의 새로운 방향을 제시했습니다.