STORM: End-to-End Referring Multi-Object Tracking in Videos

1. 연구 배경 및 문제 정의 (Problem)

• 참조 다중 객체 추적 (RMOT, Referring Multi-Object Tracking): 비디오 내의 모든 객체 중, 사용자가 제시한 텍스트 질의 (참조 표현, Referring Expressions) 와 의미적으로 일치하는 객체들을 식별하고, 비디오 전체에 걸쳐 그 궤적을 추적하는 작업입니다.
• 기존 접근법의 한계:
  • 분리된 모듈: 기존 방법들은 객체 검출 (Grounding) 과 객체 추적 (Tracking) 을 별도의 모듈로 분리하여 처리했습니다. 이는 외부 검출기나 추적기에 의존하게 만듭니다.
  • 데이터 부족 및 애매함: RMOT 전용 학습 데이터가 부족하고, 주석 (Annotation) 이 모호하거나 도메인이 제한적입니다.
  • 추론 능력 부족: 기존 MLLM(멀티모달 대형 언어 모델) 기반 방법들은 정적 이미지에서는 잘 작동하지만, 비디오의 시간적 동역학 (Temporal Dynamics) 과 언어적 추론을 통합하여 인과 관계나 복잡한 관계 (예: "A 와 B 사이의 C") 를 이해하는 데 한계가 있습니다.
  • 엔드 - 투 - 엔드 부재: 현재까지 언어, 외관, 운동을 통합적으로 추론하며 외부 모듈 없이 RMOT 를 수행하는 엔드 - 투 - 엔드 (End-to-End) 모델은 존재하지 않았습니다.

2. 제안 방법론: STORM

저자들은 STORM (Spatial-Temporal Object Referential Model) 을 제안합니다. 이는 RMOT 작업을 위한 최초의 엔드 - 투 - 엔드 멀티모달 대형 언어 모델 (MLLM) 입니다.

2.1. 아키텍처

• 통합 프레임워크: 외부 검출기나 추적기 없이 단일 MLLM 프레임워크 내에서 검출과 추적을 동시에 수행합니다.
• 구조:
  • 시각 인코더: ViT(Vision Transformer) 기반 (NaViT 사용) 으로 프레임별 시각 토큰을 추출합니다.
  • 프로젝터: 시각 토큰을 텍스트 공간에 매핑하는 2 층 MLP.
  • LLM: LLaMA 기반의 언어 모델로, 시각 토큰과 텍스트 질의를 결합하여 시간적 동역학을 포착하고 크로스 - 모달 대응 관계를 추론합니다.
• 출력 형식: 구조화된 일반 텍스트 (Plain-text) 로 객체의 프레임별 바운딩 박스 좌표를 직접 생성합니다. (예: "Object 1: Frame 1: [x1, y1, x2, y2], ...")

2.2. 태스크 컴포지션 러닝 (Task-Composition Learning, TCL)

RMOT 데이터의 부족을 해결하기 위해 제안된 학습 전략입니다. 복잡한 RMOT 작업을 두 가지 기본 하위 작업으로 분해하여 학습합니다.

1. 1 단계 (Pretraining):
   • 대규모 이미지 검출 (Image Grounding) 데이터로 학습하여 텍스트와 시각 영역 간의 정렬 능력을 습득합니다.
   • 대규모 단일 객체 추적 (SOT) 데이터로 학습하여 시간적 일관성과 운동 표현을 학습합니다.
   • 참조 단일 객체 추적 (RSOT) 데이터로 학습하여 언어 기반의 단일 객체 추적을 통합합니다.
2. 2 단계 (Fine-tuning):
   • 제안된 STORM-Bench 데이터셋으로 미세 조정 (Fine-tuning) 합니다.
   • Chain-of-Thought (CoT) 전략을 사용하여 모델이 먼저 초기 프레임에서 객체를 검출하고, 그 후 시간 흐름에 따라 추적하는 논리적 추론 과정을 거치도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. STORM 모델: 외부 모듈 없이 언어, 외관, 운동을 통합적으로 추론하는 최초의 엔드 - 투 - 엔드 RMOT MLLM 프레임워크를 제안했습니다.
2. TCL 전략: 대규모 RMOT 데이터에 대한 의존도를 획기적으로 줄이는 효율적인 학습 전략을 제시했습니다. 하위 작업 (Grounding, SOT) 의 풍부한 데이터를 활용하여 복잡한 RMOT 작업으로 지식을 전이 (Transfer) 합니다.
3. STORM-Bench 데이터셋:
   • 기존 데이터셋의 모호함과 불완전성을 해결하기 위해 구축된 고품질 RMOT 데이터셋입니다.
   • 하향식 (Bottom-up) 주석 파이프라인: 객체 수준의 캡션을 생성하고 검증한 후, 이를 조합하여 다중 객체 참조 표현을 생성하는 방식을 채택했습니다.
   • 통계: 15,093 개의 훈련 영상, 714 개의 평가 영상, 20 만 개의 다양한 참조 표현, 73,700 개의 추적된 객체를 포함하며, 보행자/차량 중심이 아닌 다양한 일상 객체 (가구, 동물, 음식 등) 를 다룹니다.

4. 실험 결과 (Results)

STORM 은 이미지 검출, 단일 객체 추적, RMOT 등 다양한 벤치마크에서 State-of-the-Art (SOTA) 성능을 달성했습니다.

• 이미지 검출 (RefCOCO, RefCOCO+, RefCOCOg): 기존 MLLM 기반 모델들보다 우수한 성능을 보이며, 비디오 추적을 위해 학습된 모델이 이미지 검출 능력도 함께 향상되었음을 입증했습니다.
• 참조 단일 객체 추적 (RSOT, Elysium 데이터셋): TCL 전략을 통해 복잡한 질의에도 강건한 추적을 수행하며, 기존 모델 대비 AUC 및 정확도에서 개선을 보였습니다.
• RMOT (STORM-Bench):
  • 기존 방법들 (Grounding DINO, Qwen2.5-VL, VisionLLMv2, LaMOT 등) 을 압도하는 성능을 기록했습니다.
  • HOTA: 66.7 (기존 최고 46.7 대비 +21.2 향상).
  • IDF1: 78.3 (기존 최고 48.8 대비 +31.2 향상).
  • 외부 검출기나 추적기를 사용하지 않는 엔드 - 투 - 엔드 방식임에도 불구하고, 시간적 일관성과 복잡한 질의 이해도에서 월등한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: RMOT 작업을 분리된 모듈의 조합이 아닌, 언어 모델의 추론 능력을 활용한 통합된 엔드 - 투 - 엔드 작업으로 재정의했습니다.
• 데이터 효율성: TCL 전략을 통해 데이터가 부족한 분야에서도 고품질 모델을 학습할 수 있는 새로운 학습 패러다임을 제시했습니다.
• 실용성: 복잡한 자연어 질의 (예: "왼쪽에 있는 빨간 차와 그 뒤에 있는 사람") 를 이해하고 비디오 전체에서 정확하게 추적할 수 있어, 로봇 공학, 비디오 이해, 인간 - 객체 상호작용 분석 등 다양한 응용 분야에서 중요한 기여를 할 것으로 기대됩니다.
• 오픈 소스: STORM-Bench 데이터셋과 모델 코드를 공개하여 향후 연구의 기반을 마련했습니다.

이 논문은 멀티모달 AI 가 복잡한 시공간적 추론 과제를 수행하는 데 있어 언어 모델의 통합적 역할과 효율적인 학습 전략의 중요성을 강력하게 입증했습니다.