RT-RMOT: A Dataset and Framework for RGB-Thermal Referring Multi-Object Tracking

이 논문은 저조도 및 열악한 환경에서의 성능 향상을 위해 RGB-열화상 데이터를 활용한 최초의 Referring Multi-Object Tracking 데이터셋 'RefRT'와 강화학습 기반의 최적화 전략을 적용한 프레임워크 'RTrack'을 제안합니다.

핵심

1. 문제점: "어두운 밤에는 눈이 안 보여요!"

기존의 '언어 기반 다중 객체 추적 (RMOT)' 기술은 사람이 "저기 있는 빨간 셔츠 입은 사람을 따라가줘"라고 말하면 그 사람을 찾아서 쫓아다닙니다. 하지만 밤이나 연기, 안개가 끼어 있으면 카메라 (RGB) 가 보는 게 너무 어둡거나 흐릿해서 사람을 제대로 못 찾습니다. 마치 어두운 방에서 손전등 없이 사람을 찾으려다 실패하는 상황과 비슷합니다.

2. 해결책: "눈 (RGB) 과 열감지기 (Thermal) 를 동시에 쓴다!"

저자들은 이 문제를 해결하기 위해 두 가지 눈을 동시에 쓰는 방법을 고안했습니다.

• RGB 눈 (일반 카메라): 낮에는 선명하게 사물의 색상과 디테일을 봅니다.
• 열감지기 눈 (Thermal): 밤이나 연기 속에서도 사람의 **체온 (열)**을 감지해 윤곽을 명확하게 보여줍니다.

이 두 눈을 하나로 합쳐서, **"밤에 횡단보도 근처를 걷는 사람들"**이라고 말하면, 일반 카메라로 횡단보도 (장소) 를 보고 열감지기로 사람 (체온) 을 찾아 정확히 추적하는 RT-RMOT라는 새로운 게임을 만들었습니다.

3. 새로운 도구: 'RefRT'라는 거대한 훈련장

이 기술을 가르치기 위해 세계 최초로 **RGB 영상과 열화상 영상이 완벽하게 겹쳐진 데이터셋 (RefRT)**을 만들었습니다.

• 비유: 마치 유아교육용 교재를 만드는 것과 같습니다.
  • 388 개의 다양한 지시문 (예: "나무 뒤에 숨은 사람", "자전거 타는 사람")
  • 1,250 개의 대상 (사람, 차 등)
  • 16 만 개 이상의 장면 (밤, 비, 눈, 연기 등)
  • 이 데이터를 통해 AI 가 "어두운 밤에도 사람을 찾아내는 법"을 배우게 했습니다.

4. 주인공: 'RTrack'이라는 똑똑한 AI

이 데이터를 바탕으로 RTrack이라는 AI 프레임워크를 개발했습니다. 이 AI 는 **거대 언어 모델 (MLLM)**을 기반으로 하는데, 마치 지능형 비서처럼 작동합니다.

• 세 가지 핵심 능력:
  1. 눈과 귀를 동시에 쓰는 능력: 영상 (RGB+열) 과 말 (텍스트) 을 동시에 이해합니다.
  2. 미래를 예측하는 능력: 과거의 움직임을 분석해 "다음에 어디로 갈까?"라고 미리 계산합니다.
  3. 실수하지 않는 능력: Reinforcement Learning (강화학습) 기술을 써서, AI 가 실수하면 "아, 이건 틀렸네"라고 스스로 교정하고, 잘하면 "좋아, 이거야!"라고 보상받으며 성장합니다.

5. 특별한 기술: "폭발하지 않는 학습법"

AI 를 가르칠 때, 너무 급하게 가르치면 뇌가 과부하가 걸려 (기울기 폭발) 망가질 수 있습니다. 저자들은 이를 막기 위해 **CAS(Clipped Advantage Scaling)**라는 기술을 썼습니다.

• 비유: 스피드 제한 장치를 달아놓은 것과 같습니다.
  • AI 가 너무 큰 실수를 하거나, 너무 큰 보상을 기대할 때, 그 충격을 적당히 줄여서 안정적으로 학습하게 만듭니다.
  • 또한, AI 가 "정답을 찾아야 한다"는 목표와 "새로운 것을 시도해봐야 한다"는 균형을 맞추기 위해 특별한 보상 시스템을 설계했습니다.

6. 결과: "기존 기술보다 압도적으로 잘해요!"

이 기술을 실험해 보니, 기존에 있던 어떤 방법보다도 밤이나 연기 속에서도 사람을 훨씬 정확하게 찾아내고 추적했습니다.

• HOTA 점수 (종합 점수): 기존 최고 기술보다 6.84% 더 높았습니다.
• 이는 마치 안개 낀 밤길에 운전할 때, 기존에는 앞이 안 보여서 멈춰 섰다면, 이제는 열화상 카메라로 앞차의 윤곽을 명확히 보고 안전하게 주행하는 것과 같습니다.

요약

이 논문은 **"어두운 밤이나 나쁜 날씨에도 언어로 지시받은 대상을 놓치지 않고 쫓아다니는 AI"**를 만들기 위해, **새로운 데이터 (RefRT)**와 **똑똑한 학습 방법 (RTrack)**을 개발했다는 내용입니다. 앞으로 자율주행, 보안 감시, 재난 구조 등 어떤 상황에서도 눈이 필요한 모든 분야에 큰 도움이 될 것으로 기대됩니다.

기술 요약

, 태그를 따르고 좌표 형식[x1, y1, x2, y2]`를 준수하도록 유도하여 출력의 형식과 길이를 정규화합니다.
* 종합 탐지 보상 (Comprehensive Detection Reward): 탐지의 **포괄성 (Exploration)**과 **정확성 (Exploitation)**을 균형 있게 조절합니다. IoU 기반 매칭 점수를 활용하여 가능한 많은 타겟을 탐지하도록 장려하면서도, 과도한 중복 탐지를 방지하고 정밀도를 높입니다.

3. 주요 기여 (Key Contributions)

1. RT-RMOT 태스크 제안: 언어 (고수준 의미), RGB (외관 특징), 열화상 (윤곽 및 위치 정보) 을 통합하여 저가시성 환경에서도全天候 지시형 다중 객체 추적이 가능한 새로운 태스크를 정의했습니다.
2. RefRT 데이터셋 구축: RT-RMOT 태스크를 위한 최초의 데이터셋인 RefRT를 공개했습니다.
   • 규모: 388 개의 언어 설명, 1,250 개의 추적 대상, 166,147 개의 언어-RGB-열화상 (L-RGB-T) 3 중항 (triplets) 으로 구성.
   • 특징: 캠퍼스, 도시, 야간, 비, 눈 등 다양한 시나리오를 포함하며, 픽셀 단위 정렬된 RGB-T 이미지를 제공합니다.
3. RTrack 프레임워크 개발: MLLM 을 활용한 통합 프레임워크를 제안하고, GSPO 기반의 강화 학습 전략 (CAS, 보상 함수 설계) 을 통해 모델의 성능을 극대화했습니다.

4. 실험 결과 (Results)

RefRT 데이터셋을 통한 광범위한 실험을 통해 제안된 방법의 우수성을 입증했습니다.

• 성능 비교: 기존 RMOT 방법 (TransRMOT, TempRMOT 등) 과 RGB-T 추적기 (DeformCAT 등) 를 결합한 방법들보다 압도적인 성능을 보였습니다.
• 주요 지표: HOTA(종합 정확도), DetA(탐지 정확도), AssA(연관 정확도) 등 5 가지 주요 평가 지표에서 SOTA(State-of-the-Art) 성능을 달성했습니다.
  • HOTA: 기존 최상위 방법 대비 6.84% 향상.
  • DetA: 9.8% 향상, DetRe: 17.1% 향상.
• Ablation Study:
  • 모달리티: RGB-T 입력이 단일 RGB 입력보다 성능이 월등히 높음 (HOTA 3.04% 향상).
  • 모델: 3B 파라미터의 Qwen2.5-VL 이 다른 대형 모델 (LLaVA 등) 보다 우수한 성능을 보임.
  • 학습 전략: CAS 전략, 구조화된 출력 보상, 종합 탐지 보상을 모두 적용했을 때 가장 높은 성능을 기록하여 각 구성 요소의 유효성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 저가시성 환경에서의 지시형 다중 객체 추적이라는 난제를 해결하기 위해 RGB 와 열화상 정보를 효과적으로 융합하는 새로운 패러다임을 제시했습니다.

• 실용성: 야간, 연기, 안개 등 기존 카메라만으로는 추적이 불가능했던 환경에서도 인간의 언어 지시를 통해 정확한 추적이 가능해짐으로써, 자율주행, 감시 시스템, 로봇 공학 등 다양한 분야에서의全天候 적용 가능성을 열었습니다.
• 연구 기반: RefRT 데이터셋과 RTrack 프레임워크는 향후 RGB-T 기반의 지시형 추적 연구에 강력한 벤치마크와 기준을 제공합니다.

요약하자면, 이 연구는 다중 모달 데이터 (RGB-T) 와 대형 언어 모델 (MLLM) 의 결합을 통해 기존 추적 기술의 한계를 극복하고, 강화 학습을 통해 모델의 안정성과 정확성을 동시에 향상시킨 획기적인 접근법입니다.