LLMTrack: Semantic Multi-Object Tracking with Multi-modal Large Language Models

이 논문은 대규모 오픈 월드 벤치마크 'Grand-SMOT'과 다중 모달 대형 언어 모델 (MLLM) 을 시맨틱 다중 객체 추적 (SMOT) 에 처음 통합한 'LLMTrack' 프레임워크를 제안하여, 기하학적 추적 성능을 유지하면서도 복잡한 시맨틱 추론 능력을 획기적으로 향상시켰음을 보여줍니다.

핵심

🎬 핵심 아이디어: "단순한 추적기를 넘어, 영화를 읽어주는 해설자로"

기존의 영상 분석 기술 (MOT) 은 **"누가 어디에 있나?"**라는 질문에만 답했습니다. 마치 스포츠 중계에서 "공이 저쪽으로 갔다"라고 위치만 알려주는 해설자 같았죠.

하지만 이 논문은 **"누가 무엇을 하고 있으며, 왜 그렇게 행동하는가?"**라는 더 깊은 질문을 던집니다. 예를 들어, "저 남자가 여자아이의 자전거를 잡고 가르쳐 주고 있다"처럼, 행동의 의미와 상황 (맥락) 을 이해하는 것이 목표입니다.

이를 위해 두 가지 큰 무기를 개발했습니다.

---

1. 📚 Grand-SMOT: "영화의 모든 장면을 설명해주는 거대한 도서관"

AI 가 똑똑해지려면 좋은 '교과서'가 필요합니다. 기존 데이터는 "사람 1 명, 차 1 대"처럼 너무 짧고 딱딱한 설명만 있었습니다.

• 비유: 기존 데이터가 간단한 메뉴판 ("햄버거 1 개") 이라면, Grand-SMOT은 요리사의 상세한 레시피와 맛 설명서입니다.
• 무엇이 특별한가요?
  • 두 가지 흐름 (Dual-Stream): 영상 전체의 분위기 (날씨, 장소, 조명) 와 각 사람/사물의 구체적인 행동 (옷차림, 움직임, 상호작용) 을 분리해서 아주 자세하게 설명합니다.
  • 실제 세계의 복잡함: 통제된 실험실 같은 곳이 아니라, 길거리의 혼잡한 상황, 예측 불가능한 사건들까지 포함하여 AI 가 실전에서도 잘 작동하도록 훈련시켰습니다.
  • 결과: AI 가 단순히 "사람이 있다"가 아니라, "비가 오는 날, 남자가 우산을 쓰며 급하게 걷고 있다"처럼 생생한 이야기를 만들 수 있게 되었습니다.

2. 🧠 LLMTrack: "눈 (시각) 과 뇌 (언어) 를 연결한 슈퍼 추적기"

이제 이 훌륭한 교과서로 AI 를 가르치는 방법입니다. 기존에는 영상 분석 (눈) 과 언어 이해 (뇌) 가 따로 놀아서, AI 가 "할리우드 영화"를 보면서도 "사람이 날아다니는" 등 엉뚱한 착각 (할루시네이션) 을 하곤 했습니다.

• 비유: 기존 방식은 눈이 좋은 사람이 말을 못 하는 상태라면, LLMTrack 은 눈이 좋고 말도 잘하는 해설자입니다.

• 핵심 기술 (마이크로 - 매크로 접근법):

  1. 먼저 큰 그림을 봅니다 (Macro-Understanding): "이건 학교 운동회인가, 아니면 시가 행진인가?"라는 전체적인 분위기를 먼저 파악합니다.
  2. 그다음 세부 사항을 봅니다 (Micro-Tracking): "저 남자가 빨간 셔츠를 입고 뛰고 있다"는 구체적인 행동을 파악합니다.
  3. 시간의 흐름을 잇습니다 (Spatio-Temporal Fusion): 과거의 기억과 현재의 장면을 자연스럽게 연결하여, "아, 저 사람이 방금 넘어졌구나"라고 시간의 흐름을 이해하게 합니다.

• 놀라운 발견: 연구진은 AI 에게 "사람 A 와 사람 B 가 서로 부딪혔다"라고 직접 가르치지 않아도, AI 가 "사람 A 가 뛰고 있고, 사람 B 가 서 있는데 갑자기 A 가 B 쪽으로 움직였다"는 사실만 설명해주면, AI 스스로 "아, 두 사람이 부딪혔구나!"라고 추론해낸다는 것을 발견했습니다. 즉, 복잡한 관계를 직접 외우게 하는 것보다, 상황을 설명해 주면 AI 가 스스로 추론하는 것이 훨씬 효과적입니다.

---

🏆 왜 이것이 중요한가요?

1. 정확한 추적: 단순히 위치를 잡는 것뿐만 아니라, 누가 누구와 상호작용하는지까지 정확히 파악하여 추적을 더 정교하게 만들었습니다.
2. 자연스러운 이해: AI 가 영상의 내용을 이야기 (스토리) 로 자연스럽게 풀어낼 수 있게 되었습니다.
3. 미래의 가능성: 이제 AI 는 단순히 영상을 '보고' 끝나는 것이 아니라, 영상을 '이해'하고 '예측'할 수 있는 단계로 나아갔습니다. 예를 들어, "저 사람이 넘어질 것 같다"라고 미리 경고하거나, 복잡한 사회적 관계를 분석하는 데 쓰일 수 있습니다.

📝 한 줄 요약

"이 기술은 AI 에게 영상의 위치만 알려주는 '지도'가 아니라, 영상의 모든 순간과 의미를 생생하게 설명해주는 '해설자'가 되게 했습니다."

이 논문은 AI 가 단순히 사물을 찾는 것을 넘어, 우리가 보는 세상을 진짜로 이해하고 이야기할 수 있는 첫걸음을 뗐다고 평가할 수 있습니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 다중 객체 추적 (MOT, Multi-Object Tracking) 기술은 주로 객체의 기하학적 위치 (좌표) 를 추적하는 데 초점을 맞추어 왔습니다. 그러나 인공지능의 발전과 함께 "무엇을 하고 있는가?", "어떻게 행동이 변화하는가?", "맥락상 무슨 일이 발생하는가?"와 같은 심층적인 의미 추론 (Semantic Reasoning) 이 요구되는 시점이 되었습니다.

이러한 요구를 충족시키기 위한 의미론적 다중 객체 추적 (SMOT, Semantic MOT) 분야가 등장했으나, 다음과 같은 두 가지 주요 장벽에 직면해 있습니다:

1. 데이터 부족 (Semantic Data Scarcity): 기존 데이터셋은 단순한 카테고리 태그나 얕은 문장으로 구성되어 있어, 대규모 멀티모달 언어 모델 (MLLM) 을 훈련시키기 위한 고밀도 (High-density) 의 서술적 데이터가 부족합니다.
2. 구조적 단절 (Architectural Disconnect): MLLM 은 정적 이미지 이해에는 뛰어나지만, 동적인 비디오의 시간적 논리 (Temporal Logic) 를 이해하는 데 한계가 있으며, 기존 추적 아키텍처와 MLLM 을 자연스럽게 통합하는 프레임워크가 부재합니다. 또한, 기존 연구들은 '상호작용 (Interaction)'을 미리 정의된 분류 문제로 다루어, 모델이 스스로 추론하는 능력을 저해했습니다.

2. 제안 방법 (Methodology)

저자들은 이 문제를 해결하기 위해 Grand-SMOT이라는 대규모 벤치마크와 LLMTrack이라는 새로운 프레임워크를 제안합니다.

A. Grand-SMOT: 대규모 의미론적 벤치마크

• 데이터 구성: 기존 BenSMOT 과 TAO 데이터셋을 통합하고 재구성하여 구축되었습니다.
• 이중 스트림 밀집 서술 (Dual-stream Dense Narratives):
  • Video-Level Caption: 전체 비디오의 분위기, 조명, 장면 맥락 등을 설명합니다.
  • Instance-Level Caption: 각 객체의 외형, 미세한 행동, 시간적 변화, 다른 객체와의 상호작용을 상세히 서술합니다.
• 생성 파이프라인: Qwen3-VL-32B 와 같은 강력한 오픈소스 MLLM 을 활용하여 기존 희소 (Sparse) 라벨을 풍부하고 일관된 자연어 서사로 확장 (Expansion) 하고 생성 (Generation) 합니다.
• 품질 관리: 자동 필터링 (CLIP/SigLIP 기반) 과 인간 검증 (Human-in-the-Loop) 을 결합하여 시간적 환각 (Temporal Hallucination) 을 제거하고 물리적 정확성을 보장합니다.

B. LLMTrack: MLLM 기반 추적 프레임워크

LLMTrack 은 Macro-Understanding-First (거시 이해 우선) 패러다임을 따르며, 다음과 같은 핵심 모듈로 구성됩니다:

1. 시각 프론트엔드 (Visual Frontend): Grounding DINO 를 사용하여 오픈 월드 (Open-world) 환경에서 객체를 탐지하고, ByteTrack 을 통해 객체 간 연관을 수행합니다.
2. 시공간 융합 모듈 (Spatio-Temporal Fusion Module):
   • Video Fusion: 과거의 환경 토큰과 현재 프레임을 크로스 어텐션 (Cross-Attention) 으로 결합하여 장기적인 장면 맥락을 압축합니다.
   • Instance Fusion: 객체의 과거 궤적과 현재 상태를 적응형 어텐션으로 융합하여 미세한 행동 변화를 포착합니다.
   • 이 모듈은 이산적인 기하학적 궤적을 MLLM 이 이해할 수 있는 연속적인 의미 특징으로 변환하여 시간적 환각을 억제합니다.
3. 재귀적 생성 (Recursive Generation): 이전 프레임의 의미적 상태 ($S_{t-1}$) 를 프롬프트에 포함시켜, 현재 프레임의 서술이 맥락과 일관성을 유지하도록 유도합니다.
4. 점진적 3 단계 훈련 (Progressive Three-Stage Training):
   • Stage 1: 기하학적 추적을 위한 워밍업 (MLLM 제외).
   • Stage 2: 융합 모듈과 MLLM 간의 의미 정렬 (Decoupled TBPTT 사용).
   • Stage 3: LoRA 를 활용한 MLLM 미세 조정.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 프레임워크: MLLM 을 SMOT 작업에 성공적으로 통합한 첫 번째 프레임워크인 LLMTrack을 제안했습니다. 이는 기하학적 추적과 의미 추론을 단일 파이프라인으로 연결합니다.
2. Grand-SMOT 벤치마크: 오픈 월드 환경과 고밀도 의미 서사를 제공하는 대규모 데이터셋을 공개했습니다. 이는 기존 데이터셋의 의미적 빈곤 문제를 해결하고, 복잡한 사회적 상호작용 추론을 가능하게 합니다.
3. 상호작용의 추론적 접근: 상호작용을 명시적인 시각 특징 융합 (Explicit Feature Fusion) 이나 분류 문제로 다루는 대신, 개체의 행동과 환경 맥락으로부터 자연스럽게 도출되는 논리적 추론 (Emergent Deduction) 으로 재정의했습니다. 실험을 통해 텍스트 기반 추론이 명시적 시각 모델링보다 더 효과적임을 입증했습니다.
4. 성능 입증: 기하학적 추적 성능 (HOTA) 과 의미 추론 능력 (CIDEr, GPT-Score) 모두에서 기존 SOTA 를 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

• 추적 성능 (Tracking Performance):
  • BenSMOT: HOTA 75.23% 를 기록하여 기존 최상위 모델 (OC-SORT, 71.74%) 을 능가했습니다.
  • TAO (Open-World): TETA 프로토콜에서 높은 성능을 보여주며, 오픈 월드 환경에서의 일반화 능력을 입증했습니다.
• 의미 이해 (Semantic Understanding):
  • Video Captioning: BenSMOT 에서 Video CIDEr 0.425, GPT-4o Semantic Score 3.8 을 기록하여 BERT 기반 모델 (SMOTer 등) 에 비해 압도적인 우위를 보였습니다.
  • 상호작용 추론: 명시적인 상호작용 분류 모듈을 사용하지 않고, 순수한 텍스트 기반 추론만으로도 기존 방법론보다 높은 F1 점수 (0.542 vs 0.368) 를 달성했습니다. 이는 복잡한 사회적 상호작용이 시각적 특징 매핑보다는 논리적 추론을 통해 더 잘 해결됨을 시사합니다.
• 확장성: 모델 크기 (0.5B vs 4B) 가 커질수록 성능이 지속적으로 향상되어, 대규모 모델의 스케일링 법칙을 따름을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 지각 (Perception) 과 인지 (Reasoning) 의 간극을 해소하는 중요한 이정표입니다.

• 패러다임 전환: 단순한 객체 위치 추적을 넘어, 비디오의 내용을 이해하고 서술하는 지능형 내러티브 생성으로 MOT 의 범위를 확장했습니다.
• 효율성: 복잡한 상호작용을 위한 별도의 시각 모델링 모듈을 제거하고, MLLM 의 내재된 추론 능력을 활용함으로써 아키텍처를 단순화하면서도 성능을 향상시켰습니다.
• 미래 전망: LLMTrack 은 단순한 설명자 (Descriptive Tracker) 를 넘어, 미래의 오픈 월드 에이전트를 위한 예측적 세계 모델 (Predictive World Model) 로 발전할 수 있는 기반을 마련했습니다.

요약하자면, LLMTrack은 데이터의 질적 향상 (Grand-SMOT) 과 아키텍처 혁신 (Macro-Understanding-First, Spatio-Temporal Fusion) 을 통해, 비디오 이해의 새로운 지평을 연 획기적인 연구입니다.