LST-SLAM: A Stereo Thermal SLAM System for Kilometer-Scale Dynamic Environments

이 논문은 열화상 카메라의 특징 추출 불안정성과 동적 환경의 어려움을 해결하기 위해 자기지도 학습, 이중 레벨 모션 추적, 기하학적 제약 및 루프 클로저 최적화를 결합한 'LST-SLAM'을 제안하여, 수 킬로미터 규모의 복잡한 동적 환경에서 기존 SLAM 시스템보다 뛰어난 강건성과 정확도를 달성함을 보여줍니다.

핵심

LST-SLAM: 어둠과 안개 속에서도 길을 잃지 않는 '열화상 나침반' 이야기

이 논문은 로봇이나 자율주행차가 어두운 밤, 짙은 안개, 혹은 갑자기 빛이 변하는 상황에서도 길을 찾고 주변 지도를 그릴 수 있게 해주는 새로운 기술에 대해 설명합니다.

기존의 카메라 (RGB) 는 빛에 의존하기 때문에 어둠이 오면 눈이 가려져 길을 잃기 쉽습니다. 반면, 이 논문에서 제안한 LST-SLAM은 **'열화상 카메라 (Thermal Camera)'**를 사용합니다. 열화상 카메라는 빛이 아니라 물체에서 나오는 '열'을 보기 때문에, 밤이든 안개가 끼든 상관없이 선명하게 세상을 볼 수 있습니다.

하지만 열화상 카메라로 길을 찾는 것은 쉬운 일이 아닙니다. 마치 안개 낀 날에 흐릿한 그림자를 보고 길을 찾는 것처럼, 열화상 이미지에는 디테일이 부족하고 노이즈가 많아 로봇이 헷갈리기 쉽습니다.

이 문제를 해결하기 위해 연구진이 개발한 LST-SLAM의 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

---

1. "흐릿한 그림자를 읽는 눈"을 훈련시키다 (자기지도 학습)

기존의 인공지능은 밝은 사진 (RGB) 으로만 훈련되어, 열화상이라는 '흐릿한 그림자'를 보면 길을 잃었습니다.

• 비유: 마치 어둠 속에서 사람의 얼굴을 구별하는 법을 배우는 것과 같습니다.
• 해결책: 연구진은 인공지능 (STP 네트워크) 에게 "이건 사람이고, 저건 차야"라고 정답을 알려주지 않고, 이미지 자체의 기하학적 구조를 스스로 찾아보게 훈련시켰습니다. 마치 어둠 속에서 손으로 벽을 더듬어 방의 구조를 익히는 것처럼, AI 가 열화상 데이터의 특성을 스스로 파악하게 한 것입니다.

2. "움직이는 방해꾼"을 가려내다 (동적 객체 필터링)

도로 위에는 사람, 차, 버스 등 끊임없이 움직이는 것들이 있습니다. 로봇이 이 움직이는 것들을 고정된 지형으로 착각하면 지도가 엉망이 됩니다.

• 비유: 혼잡한 시장 한복판에서 친구를 찾는 상황을 상상해 보세요. 주변에 지나가는 사람 (동적 객체) 들이 많지만, 우리는 그들 사이에서 움직이지 않는 기둥이나 가게 (정적 객체) 를 기준으로 위치를 잡아야 합니다.
• 해결책: LST-SLAM 은 AI 를 이용해 "저건 움직이는 차야, 저건 고정된 건물이야"를 구분합니다. 움직이는 것들을 가상 마스크로 가려버리고, 오직 고정된 것들만 지도를 그리는 데 활용합니다.

3. "두 눈으로 보는 입체 시야" (스테레오 듀얼 레벨 추적)

한쪽 눈으로만 보면 거리 감지가 어렵습니다. LST-SLAM 은 좌우 두 개의 열화상 카메라를 사용합니다.

• 비유: 양손으로 물건을 잡는 것과 같습니다. 한 손 (저수준 광학 흐름) 으로 물체의 대략적인 위치를 빠르게 잡고, 다른 손 (고수준 특징 매칭) 으로 물체의 세부적인 질감을 확인하며 정확도를 높입니다.
• 해결책: 두 가지 방법을 동시에 사용하여, 로봇이 빠르게 움직일 때나 이미지가 흐릿할 때도 길을 잃지 않고 정확하게 움직임을 추적합니다.

4. "기억력 좋은 나침반" (순차적 루프 클로저)

로봇이 긴 거리를 이동하면 오차가 쌓여 (Drift) 결국 출발점으로 돌아와도 "여기가 어디지?"라고 헷갈릴 수 있습니다.

• 비유: 오래된 여행 일기를 생각해보세요. 길을 걷다가 "아, 이 나무는 처음 지나갈 때 봤던 나무네!"라고 기억해내면, "내가 지금 어디쯤 왔지?"를 바로 알 수 있습니다.
• 해결책: LST-SLAM 은 지나온 경로의 특징을 온라인으로 실시간 학습하는 '단어장 (Bag-of-Words)'을 만듭니다. 이전에 본 장소를 다시 만나면, 이 단어장을 통해 "여기서 왔구나!"라고 알아차리고, 쌓인 오차를 한 번에 수정해 줍니다.

---

🏆 실제 성과: "킬로미터 단위의 대장정"

연구진은 이 시스템을 실제 도로에서 **수 킬로미터 (약 7km 이상)**에 달하는 긴 거리를 주행하며 테스트했습니다. 결과는 놀라웠습니다.

• **기존 기술 (AirSLAM, DROID-SLAM 등)**은 열화상 환경에서 길을 잃거나 위치를 잘못 잡는 경우가 많았습니다.
• LST-SLAM은 기존 기술보다 위치 추정 오차를 60~75% 이상 줄였습니다.
• 마치 어둠 속에서도 길을 잃지 않는 최고의 나침반처럼, 안개, 밤, 복잡한 도시 환경에서도 로봇이 스스로 길을 찾고 정확한 지도를 그릴 수 있게 했습니다.

📝 요약

이 논문은 **"빛이 없어도 열로 세상을 보는 열화상 카메라"**에 **"AI 가 스스로 길을 배우는 눈"**과 "움직이는 방해꾼을 가리는 필터", 그리고 **"기억력 좋은 나침반"**을 결합하여, 로봇이 어떤 날씨와 시간대에서도 안전하게 이동할 수 있는 기술을 완성했다는 것을 보여줍니다.

이는 앞으로 야간 배송 로봇, 재난 현장 탐사 로봇, 안개 낀 날의 자율주행차 등에 혁신적인 변화를 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 가시광선 (RGB) 기반 시각 SLAM 은 저조도, 급격한 조명 변화, 안개, 먼지 등 열악한 환경에서 성능이 급격히 저하되는 한계가 있습니다. 열화상 (Thermal) 카메라는 이러한 환경에서도 물체에서 방출되는 적외선을 감지하여 안정적인 영상을 제공할 수 있는 잠재력이 있습니다. 그러나 열화상 SLAM 을 구현하는 데에는 다음과 같은 근본적인 어려움이 존재합니다.

• 불안정한 특징 추출: 열화상 영상은 낮은 대비 (low contrast), 약한 질감 (weak texture), 높은 노이즈를 가지며, 비균일성 보정 (NUC) 으로 인해 프레임 간 불일치가 발생합니다. 이로 인해 기존 RGB 용 특징 추출기 (SIFT, ORB 등) 나 학습 기반 방법 (SuperPoint) 을 직접 적용하면 특징 매칭이 불안정하고 추적 실패가 빈번합니다.
• 동적 환경의 영향: 대규모 야외 환경 (도로 등) 에서는 차량, 보행자 등 동적 객체가 많아 시각적 앨리어싱 (visual aliasing) 을 유발하며, 이는 위치 추정 오차와 맵의 불일치를 초래합니다.
• 대규모 환경에서의 드리프트: 키로미터 (km) 단위의 장거리 주행 시 누적 오차 (drift) 가 발생하며, 기존 열화상 SLAM 시스템은 이러한 대규모 동적 환경에서 견고한 성능을 입증하지 못했습니다.

2. 제안 방법론 (Methodology: LST-SLAM)

저자들은 위 문제들을 해결하기 위해 LST-SLAM을 제안했습니다. 이는 대규모 스테레오 열화상 SLAM 시스템으로, 다음과 같은 핵심 모듈로 구성됩니다.

가. 자기지도학습 기반 열화상 특징 학습 (Self-Supervised Thermal Feature Learning)

• STP 네트워크 (Self-supervised Thermal Point): 기존 SuperPoint 와 유사한 아키텍처를 사용하되, RGB 도메인에서 학습된 기하학적 지식을 열화상 도메인에 적응시키기 위해 열화상 호모그래피 (Thermal Homography) 훈련 손실을 도입했습니다.
• 학습 전략: 공유 인코더와 검출 헤드는 고정하고, 열화상 데이터에 특화된 기술자 헤더 (Descriptor Head) 만을 훈련합니다. 이를 통해 열화상 영상 특유의 낮은 질감과 노이즈 환경에서도 강건한 특징점과 기술자를 학습합니다.

나. 스테레오 듀얼 레벨 모션 추적 (Stereo Dual-level Motion Tracking)

• 저수준 광도 정합 (Low-level Photometric): 패치 기반의 광도 오차를 최소화하여 거친 상대적 포즈를 추정합니다.
• 고수준 기술자 매칭 (High-level Descriptor): 학습된 특징 기술자를 256 비트 이진 문자열로 변환하여 해밍 거리 (Hamming distance) 기반 매칭을 수행합니다.
• PnP-LM 정제: 매칭된 인라이어 (inlier) 를 기반으로 PnP-LM (Levenberg-Marquardt) 을 통해 정밀한 카메라 포즈를 추정합니다.

다. 동적 객체 필터링 (Dynamic Feature Filtering)

• 하이브리드 제약 조건: YOLOv8-Seg 를 활용하여 열화상 영상에서 동적 객체 (차량, 버스 등) 를 분할합니다.
• 기하학적 일관성 검증: 동적 영역 내의 특징점은 광유동 (Optical Flow) 추적과 함께 기본 행렬 (Fundamental Matrix) 기반의 에피폴라 거리 (epipolar distance) 를 계산하여, 기하학적 일관성이 낮은 (동적 객체에 속하는) 특징점을 제거합니다.

라. 인크리멘탈 BoW 및 루프 클로저 (Incremental BoW & Loop Closure)

• 온라인 이진 BoW (iBoW): 오프라인 훈련 없이 테스트 시퀀스 자체에서 사전 (Dictionary) 을 점진적으로 구축하는 방식을 채택했습니다. 이는 서로 다른 열화상 카메라 간의 특징 분포 불일치를 해결합니다.
• 글로벌 포즈 최적화: 루프 클로저가 감지되면 Sim(3) 공간에서 기하학적 검증을 수행한 후, 전역 바인들 조정 (Global Bundle Adjustment) 을 통해 누적 드리프트를 보정합니다.

3. 주요 기여 (Key Contributions)

1. LST-SLAM 시스템 제안: 대규모, 동적, 조도 변화가 심한 야외 환경에 특화된 최초의 스테레오 열화상 SLAM 시스템 중 하나입니다.
2. STP 네트워크 및 훈련 손실: RGB 도메인의 기하학적 지식을 열화상 도메인으로 전이 (Transfer) 하는 자기지도학습 기반 특징 추출기 (STP) 와 열화상 호모그래피 손실 함수를 개발했습니다.
3. 강건한 추적 및 필터링: 스테레오 듀얼 레벨 추적 전략과 시맨틱 - 기하학적 하이브리드 제약 조건을 결합하여 동적 환경에서의 특징 추적 안정성을 극대화했습니다.
4. 대규모 환경 검증: 기존 시스템들이 검증되지 않았던 키로미터 규모의 열화상 데이터셋에서 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MS2 데이터셋 (다양한 시간대와 조명 조건을 포함한 km 단위 스테레오 열화상 데이터) 을 사용하여 LST-SLAM 을 평가했습니다.

• 특징 추출 성능: 제안한 STP 네트워크는 SuperPoint, SIFT, ORB 등 기존 방법들보다 인라이어 (inlier) 매칭 수에서 35.8% ~ 48.4% 더 높은 성능을 보였습니다. 특히 프레임 간 시차가 커질수록 기존 방법들은 성능이 급격히 떨어지는 반면, STP 는 강건함을 유지했습니다.
• 정확도 및 강건성 비교:
  • 루프 클로저 없이: LST-SLAM 은 기존 VO (Visual Odometry) 방법들 (TartanVO, DytanVO 등) 보다 평균 21.4% 더 낮은 위치 오차 (tapm) 를 기록했습니다.
  • 루프 클로저 포함:
    • AirSLAM 대비 75.8% 더 낮은 위치 오차.
    • DROID-SLAM (딥러닝 기반) 대비 66.8% 더 낮은 위치 오차.
    • VINS-Fusion 대비 49.8% 더 낮은 위치 오차.
  • 모든 테스트 시퀀스에서 100% 의 정렬 성공률 (CR) 을 보이며, 다른 시스템들이 실패하거나 성능이 저하된 구간에서도 안정적인 궤적을 생성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 열화상 센서만으로도 키로미터 규모의 동적 야외 환경에서 고정밀 위치 추정 및 맵핑이 가능함을 입증했습니다.

• 기술적 의의: 열화상 영상의 물리적 한계 (낮은 대비, 노이즈) 를 딥러닝 기반 자기지도학습과 기하학적 최적화를 통해 극복하는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 자율주행 로봇, 드론, 서비스 로봇 등이 야간, 안개, 연기 등 가시광선 카메라가 작동하지 않는 극한 환경에서도 안정적으로 항법할 수 있는 기반 기술을 제공합니다.
• 향후 과제: 시스템 효율성 향상을 위한 경량화 특징 추출기 개발과 IMU 등 추가 센서 융합을 통한 더욱 견고한 시스템 구축이 계획되어 있습니다.

결론적으로, LST-SLAM 은 열화상 SLAM 분야의 새로운 벤치마크를 제시하며, 기존 RGB 기반 SLAM 의 한계를 극복하는 핵심 솔루션으로 평가됩니다.