1. 문제 정의 (Problem)

이 논문은 모바일 로봇을 위한 열화상 (Thermal) 카메라 기반 SLAM (동시 위치 추정 및 지도 작성) 의 한계를 해결하는 것을 목표로 합니다.

• 열화상 카메라의 장점: 어둠, 안개, 먼지, 연기 등 가시광선이 제한된 환경에서도 작동하며, 조도 변화에 불변적입니다.
• 주요 문제점: 대부분의 로봇 응용 분야에서 사용되는 냉각되지 않은 마이크로볼로미터 (Uncooled Microbolometer) 열화상 카메라는 다음과 같은 심각한 열화 현상을 겪습니다.
  1. 모션 블러 (Motion Blur): 카메라의 빠른 움직임으로 인해 발생하는 흐림.
  2. 롤링 셔터 왜곡 (Rolling Shutter Distortion): 행 단위로 이미지가 읽혀지면서 발생하는 기하학적 왜곡.
  3. 고정 패턴 노이즈 (Fixed Pattern Noise, FPN): 픽셀 간의 민감도 차이로 인해 발생하는 정적인 노이즈.
• 기존 방법의 한계: 기존 열화상 SLAM 연구들은 주로 낮은 대비와 노이즈에 집중했으나, 빠른 운동으로 인한 블러와 롤링 셔터 왜곡을 동시에 처리하는 데는 실패했습니다. 또한, 기존 NeRF 기반의 복원 방법 (TRNeRF 등) 은 정밀한 지상 진실 (Ground Truth) 포즈가 필요하여 온라인 SLAM 에 적용하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 TRGS-SLAM을 제안하며, 이는 3D 가우스 스플래팅 (3DGS) 을 기반으로 하되 열화상 카메라의 물리적 특성을 모델링한 IMU 보조 SLAM 시스템입니다.

핵심 구성 요소:

1. 마이크로볼로미터 인지 렌더링 (Microbolometer-Aware Rendering):

   • 열화상 카메라의 물리적 모델 (열 시간 상수 $\tau$에 의한 블러, 픽셀별 읽기 시간 차이로 인한 롤링 셔터) 을 3DGS 렌더링 파이프라인에 통합했습니다.
   • 단일 이미지 대신, 시간 구간 내에서 여러 개의 레스터 (Raster) 를 생성하고 가중치를 곱해 합산함으로써 모션 블러를 모델링합니다.
   • 픽셀별 FPN 과 전역 FPN 을 학습 가능한 B-스플라인 (B-spline) 으로 표현하여 노이즈를 제거합니다.

2. B-스플라인 궤적 및 IMU 융합:

   • 카메라의 연속적인 궤적을 B-스플라인 (B-spline) 으로 표현하여 시간 영역에서 연속적인 포즈를 추정합니다. 이는 롤링 셔터와 블러 모델링에 필수적입니다.
   • IMU 와의 긴밀한 융합: 자이로스코프와 가속도계 데이터를 직접 3DGS 지도 최적화 과정에 손실 함수 (Loss) 로 포함시킵니다.
   • 2 단계 IMU 손실: 초기화 전에는 자이로스코프 데이터만 사용하여 구조를 추정하고, 초기화 후에는 가속도계 데이터를 추가하여 스케일과 중력 방향을 보정합니다.

3. 새로운 3DGS SLAM 기법:

   • 뷰 다양성 기반 불투명도 리셋 (View-Diversity-Based Opacity Resetting): 기존 3DGS 의 전역 불투명도 리셋 대신, 시야각 다양성이 낮은 (제약이 약한) 가우스만 선택적으로 불투명도를 낮추고 제거하여 지도의 안정성을 높입니다.
   • 포즈 드리프트 보정: 키프레임 윈도우와 과거 랜덤 샘플링된 키프레임에 가중치를 다르게 부여하여 ($\lambda_s > \lambda_w$), 기존 지도가 새로운 관측으로 인해 과도하게 덮어쓰는 것을 방지하고 드리프트를 보정합니다.

4. 오프라인 정제 (Offline Refinement):

   • 온라인 SLAM 결과를 바탕으로 모든 프레임과 IMU 데이터를 사용하여 정밀한 지도와 포즈를 재최적화합니다. 이를 통해 정밀한 지상 진실 포즈 없이도 TRNeRF 와 유사한 수준의 열화상 이미지 복원 (Deblurring/Restoration) 을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 고열화 환경에서의 정확한 추적: 심한 모션 블러, 롤링 셔터 왜곡, FPN 이 공존하는 열화상 데이터에서도 정확한 추적을 수행하는 최초의 3DGS 기반 열 - 관성 SLAM 시스템.
2. 혁신적인 3DGS SLAM 알고리즘:
   • 마이크로볼로미터 물리 모델을 고려한 렌더링.
   • 2 단계 IMU 손실 함수 및 B-스플라인 궤적 최적화.
   • 뷰 다양성을 고려한 불투명도 리셋 및 포즈 드리프트 보정 전략.
3. 지상 진실 포즈 불필요한 이미지 복원: SLAM 결과를 오프라인으로 정제하여, 정밀한 지상 진실 포즈가 필요했던 기존 방법 (TRNeRF) 과 경쟁 가능한 수준의 열화상 이미지 복원 성능 달성.

4. 실험 결과 (Results)

저자들은 TRNeRF 데이터셋 (실내/외부, 느림/중간/빠른 속도 조합) 을 사용하여 평가했습니다.

• SLAM 성능 (ATE):
  • 기존 시각/열화상 SLAM 방법들 (ORB-SLAM3, DROID-SLAM, MonoGS, ROTIO 등) 은 빠른 운동 (FO, FI) 이나 고노이즈 환경 (MI, FI) 에서 대부분 실패하거나 큰 오차를 보였습니다.
  • TRGS-SLAM은 모든 시퀀스에서 성공적으로 추적했으며, 특히 가장 어려운 FI (Fast Outdoor) 및 MI (Medium Indoor) 시퀀스에서 다른 모든 방법보다 우수한 오차 (RMSE ATE) 를 기록했습니다.
  • 예: FI 시퀀스에서 TRGS-SLAM 은 4.2cm 오차를 기록한 반면, 다른 방법들은 1 미터 이상 오차가 발생하거나 실패했습니다.
• 이미지 복원 성능:
  • 오프라인 정제를 거친 TRGS-SLAM 은 정밀한 지상 진실 포즈를 사용한 TRNeRF 와 비교하여 LPIPS 점수에서 유사하거나 일부 시퀀스 (FI) 에서 더 우수한 복원 품질을 보여주었습니다.
• 성능 및 메모리:
  • 추적 속도는 5-7Hz, 매핑은 키프레임당 1.3-1.6 초 소요 (실시간은 아니지만, 빠른 운동 환경에서 안정성 확보).
  • 메모리 사용량은 약 423 MiB 로 매우 효율적입니다.

5. 의의 및 결론 (Significance)

이 논문은 열화상 카메라의 고유한 물리적 결함 (블러, 롤링 셔터, 노이즈) 을 단순히 필터링하는 것이 아니라, 물리 모델을 SLAM 최적화 과정에 직접 통합하여 해결했다는 점에서 의의가 큽니다.

• 실용성: 구조적 안전, 화재 진압, 수색 구조 (SAR) 등 가시광선이 제한된 극한 환경에서 로봇의 자율 항법 능력을 획기적으로 향상시킵니다.
• 기술적 확장: 3DGS 와 IMU 융합의 새로운 패러다임을 제시하며, 열화상뿐만 아니라 일반적인 롤링 셔터 카메라가 있는 환경에서도 적용 가능한 확장성을 보여줍니다.
• 데이터셋 의존성 해소: 정밀한 지상 진실 포즈 없이도 고품질의 3D 지도와 선명한 이미지를 생성할 수 있음을 증명하여, 실제 로봇 응용 분야에서의 배포 가능성을 높였습니다.

요약하자면, TRGS-SLAM 은 열화상 카메라의 한계를 극복하고, 열화상 환경에서도 견고한 3D 매핑 및 위치 추정을 가능하게 하는 획기적인 시스템입니다.