ReaMOT: A Benchmark and Framework for Reasoning-based Multi-Object Tracking

1. 문제 정의 (Problem Statement)

기존의 참조 다중 객체 추적(Referring Multi-Object Tracking, RMOT) 기술은 "오른쪽에 있는 빨간 차를 추적하라"와 같이 시각적으로 명시적인 속성(색상, 위치 등)을 기반으로 한 지시어에는 잘 대응합니다. 하지만, 다음과 같은 복잡한 논리적 추론이 필요한 상황에서는 한계를 보입니다.

• 암시적 제약 조건(Implicit Constraints): "팀워크가 더 좋은 팀의 선수들을 추적하라"와 같은 지시어는 단순한 시각적 매칭이 아니라, 경기 상황, 전술, 행동 패턴 등을 종합적으로 분석해야 합니다.
• 고차원적 의미 이해: 사회적 관계, 의도, 인과 관계, 문화적 맥락 등을 파악해야 하는 복잡한 지시어에 대해 기존 모델들은 일반화 능력이 부족합니다.

본 논문은 이러한 문제를 해결하기 위해 **추론 기반 다중 객체 추적(Reasoning-based Multi-Object Tracking, ReaMOT)**이라는 새로운 과업을 제안합니다.

2. 주요 기여 (Key Contributions)

1. ReaMOT Challenge 벤치마크 구축:
   • 대규모 데이터셋: 869개의 다양한 장면, 423,359개의 이미지-언어 쌍, 1,156개의 추론형 지시어를 포함합니다.
   • 계층적 추론 분류: 지시어를 고차원 추론(High-Level Reasoning)(사회적 규칙, 심리적 의도, 인과 논리 등)과 저차원 인지(Low-Level Perception)(색상, 모양, 단순 움직임 등)로 구분하여 정밀한 평가가 가능하게 했습니다.
   • 맞춤형 메트릭: 추론 정확도와 추적 견고성을 동시에 평가하기 위해 RHOTA, RIDF1, RMOTA, RRcll, RPrcn 등 새로운 지표 세트를 설계했습니다.
2. ReaTrack 프레임워크 제안: 별도의 학습이 필요 없는(Training-free) 프레임워크로, 사고 과정(Thinking)을 거치는 대규모 시각-언어 모델(LVLM)과 SAM2의 강력한 추적 능력을 결합했습니다.

3. 방법론 (Methodology: ReaTrack)

ReaTrack은 세 가지 핵심 모듈이 시너지를 내는 구조로 설계되었습니다.

1. Reasoning-Aware Detection (RAD):
   • Thinking-variant LVLM을 사용하여 복잡한 지시어를 해석합니다. 모델은 단순히 객체를 찾는 것이 아니라, 지시어의 암시적 의미를 풀기 위한 '사고 과정(Chain-of-Thought)'을 거쳐 정확한 타겟의 바운딩 박스(Bounding Box)를 생성합니다.
2. Mask-Based Temporal Propagation (MBTP):
   • **SAM2(Segment Anything Model 2)**를 활용합니다. 이전 프레임의 시각적 큐(Visual Cues)를 마스크 형태로 전파하여, 객체의 변형, 비선형 움직임, 짧은 폐쇄(Occlusion) 상황에서도 견고한 모션 프라이어(Motion Priors)를 생성합니다.
3. Reasoning-Motion Association (RMA):
   • LVLM이 생성한 **의미론적 탐지 결과(Semantic Detections)**와 SAM2가 예측한 **시간적 모션 프라이어(Temporal Predictions)**를 결합합니다.
   • Hungarian Matching을 통해 두 정보를 매칭하며, 이를 통해 교정(Rectification), 개시(Initiation), 외삽(Extrapolation), **종료(Termination)**의 4단계 상태 관리를 수행하여 궤적의 생명주기를 안정적으로 관리합니다.

4. 실험 결과 (Results)

• SOTA 달성: 제로샷(Zero-shot) 설정에서 기존 RMOT 방식(TransRMOT, TempRMOT)보다 압도적인 성능을 보였습니다.
• 추론 능력 입증: 특히 가장 어려운 High-Level Reasoning 서브셋에서 기존 최고 성능 모델 대비 RHOTA 기준 약 6배 이상의 성능 향상을 기록했습니다.
• 구성 요소 검증: Ablation Study를 통해 '사고하는 LVLM'이 복잡한 지시어 해석에 필수적이며, 'SAM2 기반의 전파'가 추적의 연속성을 보장하는 데 결정적임을 증명했습니다.

5. 의의 및 결론 (Significance)

본 연구는 컴퓨터 비전의 추적(Tracking) 과업을 단순한 시각적 매칭 단계에서 인간 수준의 논리적 추론 단계로 격상시켰다는 점에서 큰 의의가 있습니다.

• 기술적 의의: LVLM의 고차원 추론 능력과 SAM2의 정밀한 시공간 모델링을 결합하여, 학습 없이도 복잡한 명령을 수행할 수 있는 효율적인 프레임워크를 제시했습니다.
• 응용 가능성: 자율 주행(보행자의 의도 파악), 지능형 교통 시스템, 보안 감시(특정 행동을 하는 인물 추적) 등 실제 환경의 복잡한 시나리오에서 매우 유용하게 활용될 수 있습니다.