기술 요약: AnyThermal 및 TartanRGBT

1. 문제 정의

열화상 이미지는 조명 조건이나 날씨에 대한 강건성을 제공하여 수색 및 구조, 자율 주행, 감시 분야에서 회복 탄력성 있는 자율성을 구현하는 데 매우 중요합니다. 그러나 RGB 데이터와 달리, 열화상 데이터는 대규모의 다양성을 갖춘 데이터셋이 심각하게 부족합니다. 기존의 열화상 특징 추출기들은 소규모 데이터를 사용한 특정 작업 중심의 학습에 의존하거나, 사전 학습된 RGB 백본을 적응시키는 방식에 의존합니다. 이러한 접근 방식은 모델이 특정 환경과 작업에 국한되는 결과를 초래합니다. 또한, 시각적 파운데이션 모델(예: DINOv2)로부터 열화상 도메인으로의 지식 증류(knowledge distillation)가 탐구되어 왔으나, 기존 연구들은 단일 환경 데이터셋에 의존하는 등 다양한 훈련 데이터의 부재로 인해 제약을 받아왔으며, 이는 결과적인 열화상 인코더의 일반화 능력을 제한합니다.

2. 방법론

A. AnyThermal: 작업 불가지론적(Task-Agnostic) 열화상 인코더

핵심 기여는 강건하고 작업 불가지론적인 특징을 포착하도록 설계된 열화상 백본인 AnyThermal입니다.

• 아키텍처: AnyThermal은 DINOv2 Vision Transformer (ViT-B/14)를 기반으로 합니다.
• 학습 전략 (지식 증류): 저자들은 교사-학생(teacher-student) 증류 프레임워크를 채택합니다.
  • 교사(Teacher): 사전 학습된 가중치로 초기화되어 RGB 이미지를 처리하는 고정된(frozen) DINOv2 네트워크입니다.
  • 학생(Student): 동일한 가중치로 초기화되어 열화상 이미지(그레이스케일에서 3채널로 변환됨)를 처리하는 학습 가능한 D포 DINOv2 네트워크(AnyThermal)입니다.
  • 손실 함수: 최종 레이어의 CLS 토큰 특징에 대비 학습 손실(contrastive loss)을 적용합니다. 이는 색상과 같은 저수준의 단서 없이도 대응하는 RGB-열화상 쌍의 전역적 의미론(global semantics)을 정렬합니다. 이 접근 방식은 완벽한 등록(registration)이나 동기화가 불가능한 데이터셋에서도 적합하도록 정밀한 이미지 정렬에 대한 제약을 완화합니다.
• 학습 데이터: 증류 과정에는 네 가지 서로 다른 환경(Urban: ViVID++, STheReO, Freiburg / Aerial: Boson Nighttime / Indoor / Off-road)을 아우르는 다섯 가지 데이터셋의 조합이 활용됩니다.

B. TartanRGBT 플랫폼 및 데이터셋

기존 RGB-열화상(RGB-T) 데이터의 다양성 격차를 해소하기 위해 저자들은 다음을 개발했습니다:

• TartanRGBT 플랫폼: 오픈 소스 하드웨어 동기화 데이터 수집 페이로드입니다. 이는 ZEDx 스테레오 RGB 카메라와 두 개의 FLIR Boson 640+ 스테레오 열화상 카메라를 통합하며, 캡처 카드의 트리거 펄스를 통해 모두 시간적으로 동기화됩니다. 시스템은 NVIDIA Jetson AGX Orin에서 실행되며, 능동 냉각 기능이 있는 커스텀 3D 프린팅 케이스에 담겨 있습니다.
• TartanRGBT 데이터셋: 주거/캠퍼스(urban), 실내(indoor), 오프로드(off-road), 트레일/공원(trails/parks)의 네 가지 환경에서 수집된 16,943개의 동기화된 RGB-T 쌍을 포함하는 다양하고 균형 잡힌 데이터셋입니다.
• 데이터 처리: 데이터셋은 스테레오 RGB, 스테레오 열화상 및 IMU 데이터를 포함합니다. 학습을 위해, 저자들은 RGB로부터 조밀한 깊이(dense depth)를 추정하기 위해 FoundationStereo를 사용하여 등록된 RGB-T 쌍을 생성하며, 이를 통해 열화상 픽셀을 역투영(back-project)하고 정렬합니다.

C. 다운스트림 작업 적응

AnyThermal은 작업별 헤드와 결합된 특징 추출기로 평가됩니다:

• 교차 모달 장소 인식 (VPR): Triplet margin loss로 학습된 SALAD 헤드를 사용합니다.
• 열화상 세그멘테이션: Dice loss로 학습된 2층 비선형 MLP 헤드를 사용합니다.
• 단안 열화상 깊이 추정: MiDaS 프레임워크를 적응시켜, EfficientNet 백본을 AnyThermal으로 교체하고 다중 스케일 패치 특징을 활용합니다.

3. 주요 기여

1. AnyThermal: 백본의 작업별 사전 학습 없이도 다양한 환경과 작업에서 최첨단 성능을 달성하는 작업 불가지론적 열화상 특징 추출기입니다.
2. TartanRGBT 플랫폼: 동기화된 스테레오 RGB 및 스테레오 열화상 이미지를 동시에 캡처할 수 있는 최초의 오픈 소스 데이터 수집 플랫폼입니다.
3. TartanRGBT 데이터셋: 열화상 연구를 위한 데이터 다양성 격차를 메우기 위해 설계된, 실내, 항공, 오프로드 및 도시 환경을 포괄하는 다양하고 균형 잡힌 데이터셋입니다.

4. 결과

저자들은 제로샷(zero-shot) 및 작업별 벤치마크에서 AnyThermal을 평가하여 기존 베이스라인 대비 유의미한 개선을 입증했습니다:

• 교차 모달 장소 인식: 다양한 제로샷 데이터셋(CART, MS2, OdomBeyondVision)에서 VPR 헤드를 탑재한 AnyThermal은 frozen DINOv2, ImageBind, SGM을 포함한 모든 베이스라인을 능가합니다. 특히, 특정 환경에서는 베이스라인 대비 Recall@1에서 최대 36%의 향상을 보였습니다. 이 결과는 고정된 RGB 추출기가 열화상 쿼리에 최적화되지 않았으며, 다양한 데이터에 대한 증류가 필수적임을 강조합니다.
• 열화상 세그멘테이션: MF-Net 데이터셋에서 AnyThermal은 **53.47%**의 최첨단 mIoU를 달성하여 이전 최고치(MCNET의 51.95%)를 넘어섰으며, NVIDIA ORIN AGX에서 3.6배 더 빠르게(6.79 FPS vs 1.88 FPS) 동작합니다.
• 단안 깊이 추정: MS2 데이터셋에서 AnyThermal은 EfficientNet-lite3 및 frozen DINOv2 백본과 비교하여 가장 낮은 오차 지표(AbsRel: 0.0883)를 달성했습니다.
• 데이터 다양성 vs 규모: 사전 학습 데이터 스케일링에 대한 절제 연구(ablation study) 결과, 유사한 도메인(예: 더 많은 도시 데이터)의 데이터를 단순히 추가하는 것은 한계 효용이 감소함을 보여주었습니다. 반면, 다양한 TartanRGBT 데이터셋을 추가하는 것은 모든 작업과 환경에서 일관되게 성능을 향상시켰으며, 이는 견고한 열화상 특징 추출기를 구축하는 데 있어 데이터의 규모보다 다양성이 더 중요하다는 점을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 AnyThermal이 풍부한 RGB 파운데이션 모델과 희소한 열화상 데이터 사이의 간극을 성공적으로 메웠다고 주장합니다. 다양한 환경에 걸친 지식 증류를 활용함으로써, 저자들은 단일 열화상 백본이 백본 자체의 작업별 학습 없이도 장소 인식, 세그멘테이션, 깊이 추정과 같은 작업에 효과적으로 일반화될 수 있음을 입증했습니다.

TartanRGBT 플랫폼 및 데이터셋의 도입은 고품질의 동기화된 RGB-T 데이터를 수집하기 위한 연구 커뮤니티의 진입 장벽을 낮추는 기초적인 단계로 제시됩니다. 저자들은 자신들의 연구가 좁은 환경 특정 모델에서 벗어나 보편적이고 강건한 표현으로 나아가는 새로운 열화상 인식의 표준을 세운다고 주장합니다. 결론적으로, 데이터 스케일링을 통한 성능 향상은 존재하지만, 일반화를 이끄는 주요 동력은 학습 환경의 다양성임을 밝히며, 이는 TartanRGBT를 포함한 다양한 데이터셋으로 학습된 모델의 우수한 성능을 통해 검증되었습니다.