1. 문제 정의 (Problem Statement)

• 배경: 멀티모달 대규모 언어 모델 (MLLMs) 은 비전 - 언어 추론 분야에서 괄목할 만한 진전을 이루었으나, 비디오 내의 시간적으로 전개되는 서사 (Narrative) 를 이해하는 능력은 여전히 미흡합니다.
• 핵심 한계: 기존 벤치마크들은 주로 짧은 클립이나 장면 수준의 의미 (Semantic) 에 초점을 맞추거나, 단일 프레임으로 답할 수 있는 객체/행동 인식에 그칩니다. 이는 모델이 장면 전환이나 시간적 간격을 넘어 누가 (Who), 무엇을 (What), 언제 (When), 어디서 (Where) 하는지 일관되게 추적하는 '엔티티 중심의 추론 (Entity-centric Reasoning)' 능력을 평가하지 못한다는 것을 의미합니다.
• 필요성: 인간은 비디오를 볼 때 등장 인물의 정체성과 상태 변화를 시간의 흐름에 따라 연결하여 일관된 정신 모델을 구축합니다. 현재 MLLM 들은 이러한 시간적 연속성 (Temporal Continuity) 과 세밀한 지각 (Perceptual Grounding) 을 통합하는 데 실패하고 있습니다.

2. 방법론 (Methodology)

저자들은 NARRATIVETRACK이라는 새로운 벤치마크와 이를 구축하기 위한 자동화 파이프라인을 제안했습니다.

A. 자동화된 엔티티 중심 파이프라인 (Automated Entity-Centric Pipeline)

인간 개입 없이 원본 비디오에서 구조화된 엔티티 표현을 추출하는 3 단계 파이프라인을 개발했습니다.

1. 엔티티 탐지 (Entity Detection): Detectron2 와 Owlv2 모델을 앙상블하여 공간적 합의 (Spatial Consensus) 를 기반으로 프레임별 바운딩 박스를 정밀하게 탐지합니다.
2. 엔티티 추적 (Entity Tracking): ReID(Re-identification) 모델과 얼굴 인식 기술을 활용하여 주요 등장인물 (Main Characters) 을 식별하고, 시간적 일관성을 유지하는 궤적 (Trajectory) 을 생성합니다. 다수결 투표 (Majority Voting) 를 통해 잘못된 정체성 할당을 보정합니다.
3. 맥락 인식 (Contextual Recognition): Gemini-2.5-Pro 를 사용하여 각 시간 단계에서 엔티티의 행동 (Action), 의상 (Outfit), 장면 (Scene) 속성을 추출합니다. 이를 통해 시간적으로 정렬된 엔티티 표현 ($\tau_{e_i}$) 을 구성합니다.

B. 구성적 추론 진행 (Compositional Reasoning Progression, CRP)

서사 이해의 복잡성을 3 단계로 점진적으로 증가시키는 평가 프레임워크를 정의했습니다.

1. Lv.1 엔티티 존재 (Entity Existence): 시간적 연속성 평가. 등장, 소멸, 재등장을 추적하여 모델이 시간 간격을 넘어 동일한 개체를 유지하는지 확인합니다.
2. Lv.2 엔티티 변화 (Entity Changes): 시간적 지각과 상태 변화 평가.
   • 행동 변화: 동적 사건의 시간적 지각.
   • 의상 변화: 세밀한 시각적 변화 추적.
   • 장면 변화: 환경적 맥락과의 연결.
3. Lv.3 엔티티 모호성 (Entity Ambiguity): 시각적으로 유사한 개체가 등장할 때, 시간적 추론과 세밀한 지각을 결합하여 올바른 개체를 식별하는지 평가합니다.

C. 질문 생성 (QA Generation)

추출된 메타데이터를 기반으로 이진 (Binary), 객관식 (Multiple-choice), 순서 정렬 (Ordering) 형태의 질문을 자동 생성합니다. 실제 비디오 내 다른 엔티티를 활용한 '실제 오답 (Real Distractors)'과 다른 비디오의 데이터를 활용한 '합성 오답 (Synthetic Distractors)'을 포함하여 할루시네이션과 식별 능력을 동시에 테스트합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 서사 이해 벤치마크: 비디오 내 시간적 전개와 엔티티 중심 추론을 체계적으로 평가하는 최초의 벤치마크인 NARRATIVETRACK을 소개했습니다.
2. 자동화 데이터 구축: 수동 주석 없이 원본 비디오에서 고품질의 시간적 엔티티 표현을 추출하는 완전 자동화 파이프라인을 제안하여 확장성을 확보했습니다.
3. 구성적 평가 프레임워크 (CRP): 단순한 인식 수준을 넘어, 엔티티의 지속성, 상태 변화, 모호성 해결이라는 3 단계로 구성된 복잡한 추론 능력을 진단할 수 있는 구조를 마련했습니다.
4. 근본적인 트레이드오프 발견: MLLM 들의 성능 한계를 규명하고, '지각적 정밀성 (Perceptual Grounding)'과 '시간적 추론 (Temporal Reasoning)' 사이의 상충 관계를 발견했습니다.

4. 실험 결과 (Results)

저자들은 오픈소스 일반 목적 MLLM, 오픈소스 비디오 특화 MLLM, 그리고 독점 모델 (GPT-4o) 을 포함한 다양한 모델들을 평가했습니다.

• 성능 격차: GPT-4o 가 평균 72.27% 로 가장 높은 성능을 보였으나, 오픈소스 모델들은 30~50% 대의 낮은 성능을 기록했습니다.
• 모델 유형별 특징:
  • 일반 목적 MLLM (OGP-MLLMs): 정적인 시각적 단서 인식은 뛰어나지만, 시간적 일관성을 유지하는 데 실패합니다. (예: 등장인물이 사라진 후 다시 등장하는 것을 놓침)
  • 비디오 특화 MLLM (OVS-MLLMs): 시간적 맥락은 더 잘 포착하지만, 엔티티의 세부 사항 (의상, 행동) 에서 할루시네이션을 일으키거나 정체성을 혼동하는 경향이 있습니다.
• 시간적 방향성 편향 (Temporal Directional Bias): 모델들은 시간의 흐름에 따른 추론 (Forward) 은 비교적 잘 수행하지만, 거꾸로 추론 (Backward) 하거나 중간 지점에서 양방향 추론 (Agnostic) 을 할 때 성능이 급격히 떨어집니다. 이는 LLM 의 왼쪽에서 오른쪽으로의 디코딩 패러다임에서 기인한 것으로 보입니다.
• 프레임 밀도의 한계: 입력 프레임 수를 늘린다고 해서 성능이 선형적으로 향상되지 않으며, 오히려 20 프레임 이후에는 노이즈로 인해 성능이 저하되는 경우가 많았습니다. 이는 단순한 데이터 양 증가가 아닌, 시간적 일관성을 유지하는 아키텍처적 개선이 필요함을 시사합니다.

5. 의의 및 결론 (Significance)

• 진단 도구: NARRATIVETRACK 은 MLLM 이 서사 이해를 위해 필요한 시간적 지각과 엔티티 추적 능력을 진단하는 체계적인 프레임워크를 제공합니다.
• 연구 방향 제시: 현재 모델들이 '지각적 정밀성'과 '시간적 추론' 중 하나를 희생하는 트레이드오프 상황에 놓여 있음을 보여주었습니다. 향후 연구는 양방향 시간 모델링 (Bidirectional Temporal Modeling) 이나 엔티티 중심 학습 목표 (Entity-centric Training Objectives) 를 통해 이 두 가지를 통합하는 데 집중해야 함을 강조합니다.
• 미래 전망: 단순한 장면 인식이나 요약 수준을 넘어, 인간과 유사하게 시간의 흐름 속에서 사건과 인물을 연결하는 진정한 서사 이해 능력을 갖춘 멀티모달 모델 개발의 기초를 마련했습니다.