Narrative Aligned Long Form Video Question Answering

1. 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 의 발전으로 장편 비디오 추론을 위한 벤치마크가 증가하고 있으나, 기존 연구들은 다음과 같은 한계를 가지고 있습니다.

• 국소적 단서 의존성: 대부분의 벤치마크가 비디오 내의 국소적인 시각적 단서 (localized cues) 에만 의존하여, 영화 전체에 걸쳐 퍼져 있는 서사적 추론 (Narrative Reasoning) 능력을 평가하지 못합니다.
• 서사적 연결의 부재: 인간의 사고 방식처럼 의도 추적, 먼 거리의 사건 연결, 인과 관계 재구성 등 긴 시간대에 걸친 복잡한 인과 사슬을 파악하는 능력이 부족합니다.
• 기존 벤치마크의 한계: CinePile, CG-Bench 등의 기존 벤치마크는 짧은 비디오 (1 시간 이내) 에 집중하거나, 객관식 형식을 사용하여 모델이 콘텐츠 이해 없이 정답 패턴을 유추할 수 있게 합니다. 또한, 장편 영화 (2 시간 이상) 의 전 과정을 아우르는 다중 스텝 추론을 평가하는 데이터셋이 부재합니다.

2. 제안된 방법론 (Methodology)

A. NA-VQA 데이터셋 구축

이 논문의 핵심은 장편 비디오의 서사적 추론 능력을 평가하기 위한 새로운 벤치마크 NA-VQA를 제안하는 것입니다.

• 데이터 구성: LSMDC 데이터셋에서 추출한 88 개의 전체 영화 (장르 및 서사 스타일 다양) 를 기반으로 구성되었습니다. 총 4,442 개의 개방형 질문 - 답변 쌍 (QA pairs) 과 17,327 개의 증거 구간 (evidence spans) 을 포함합니다.
• 증거 거리 분류: 질문을 해결하는 데 필요한 증거가 비디오 타임라인에서 얼마나 멀리 떨어져 있는지에 따라 **Short(단거리), Medium(중거리), Far(장거리)**로 분류하여 장거리 의존성 (long-range dependencies) 을 평가합니다.
• 7 가지 추론 유형: 인과 (Causal), 서사 (Narrative), 캐릭터 중심 (Character-centric), 주제 (Thematic), 목표 기반 (Goal-based), 사회적 (Social), 가설적 (Hypothetical) 추론을 모두 아우르는 분류 체계를 도입했습니다.
• 품질 관리: 생성된 QA 쌍이 시각적 증거에 기반하는지, 캐릭터 이름 등 비시각적 단서에 의존하지 않는지 검증하기 위해 'QA Validator'와 'QA Refiner'를 포함한 자동화된 필터링 파이프라인을 적용했습니다.

B. Video-NaRA 프레임워크

기존 모델의 한계를 극복하기 위해 제안된 Video-NaRA는 서사 중심의 메모리 증강 아키텍처입니다.

1. 서사 메모리 구축 (Narrative Memory Construction):
   • 비디오를 단순한 프레임 시퀀스가 아닌, 등장인물, 목표, 맥락에 기반한 **이벤트 단위의 서사 체인 (Event-level chains)**으로 재구성합니다.
   • MLLM(Qwen-VL) 을 사용하여 클립을 분석하고, 일관된 서사 흐름을 가진 클립들을 '서사 슬롯 (Narrative Slots)'으로 그룹화하여 메모리에 저장합니다.
2. 시각적 특징 추출:
   • 노이즈가 많은 클립 임베딩 대신, 프레임 단위의 밀집 시각적 특징 (CLIP 기반) 을 추출한 후 이를 클립 수준으로 집계하여 안정적인 표현을 생성합니다.
3. 검색 모듈 (Retrieval Module):
   • 사용자 쿼리에 대해 개별 클립의 관련성뿐만 아니라, 해당 클립이 속한 서사 슬롯의 중요도를 함께 고려하여 점수를 산정합니다.
   • 이를 통해 시간적으로 멀리 떨어진 사건들 간의 인과 관계를 연결하는 데 필요한 핵심 증거 클립들을 정밀하게 검색합니다.
4. 추론 (Reasoning):
   • 검색된 관련 서사 체인만 추출하여 미세 조정된 추론 모델 (Qwen-VL) 에 전달하여 최종 답변을 생성합니다.

3. 주요 기여 (Key Contributions)

1. NA-VQA 벤치마크: 장편 비디오의 전 과정을 아우르는 7 가지 추론 유형과 시간적 거리 (Short/Medium/Far) 를 체계적으로 평가할 수 있는 최초의 포괄적인 데이터셋을 공개합니다.
2. Video-NaRA 아키텍처: 단순한 프레임 나열이 아닌, 서사 구조 (Narrative Structure) 를 메모리에 구축하고 이를 기반으로 검색 및 추론을 수행하는 새로운 프레임워크를 제안합니다.
3. 광범위한 벤치마킹: 기존 최첨단 MLLM(단기 및 장기 비디오 아키텍처 포함) 에 대한 체계적인 평가와 분석을 통해, 현재 모델들이 장거리 증거 (Far evidence) 가 필요한 질문에서 심각한 실패를 보임을 입증했습니다.
4. 오픈 소스: NA-VQA 데이터셋과 관련 코드를 공개하여 향후 연구의 기반을 마련합니다.

4. 실험 결과 (Results)

• 기존 모델의 한계: SOTA MLLM 들은 'Short' 거리 질문에서는 어느 정도 성과를 보이지만, 'Far' 거리 (시간적으로 멀리 떨어진 사건) 가 필요한 질문에서는 일관되게 실패합니다. 이는 모델이 인과 관계를 연결하거나 서사적 맥락을 유지하는 능력이 부족함을 시사합니다.
• Video-NaRA 의 성능:
  • Video-NaRA 는 베이스라인 모델 대비 최대 3% 향상된 성능을 기록했습니다.
  • 특히 **증거 검색 (Evidence Retrieval)**과 추론 깊이 (Reasoning Depth) 측면에서 기존 모델보다 우월한 성능을 보였으며, 장거리 (Far) 의존성이 필요한 질문에서 가장 큰 개선을 이루었습니다.
  • 7 가지 추론 유형 전반에 걸쳐 안정적이고 우수한 성능을 발휘했습니다.
• Ablation Study: 서사 메모리 (Narrative Memory) 와 검색 모듈을 제거할 경우 성능이 급격히 하락하여, 특히 장거리 추론에서 서사 구조의 중요성이 입증되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 장편 비디오 이해 분야에서 단순한 시각적 인식에서 서사적 추론 (Narrative Reasoning) 으로의 패러다임 전환을 요구합니다.

• 핵심 통찰: 장편 비디오 추론 실패의 주된 원인은 컨텍스트 길이가 아닌, 분산된 서사적 단서들을 통합하고 인과 사슬을 재구성하는 검색 및 기억 메커니즘의 부재임을 밝혔습니다.
• 미래 연구 방향: Video-NaRA 는 인간이 이야기를 이해하는 방식 (중요한 사건 식별 및 인과 사슬 구축) 을 모방한 메모리 증강 접근법의 유효성을 입증했습니다. 이는 향후 초장편 비디오 이해, 서사 모델링, 그리고 메모리 기반 멀티모달 시스템 연구에 중요한 토대를 제공합니다.

요약하자면, 이 연구는 장편 영화와 같은 복잡한 서사를 가진 비디오를 이해하기 위해서는 단순한 프레임 처리가 아니라, 구조화된 서사 메모리와 이를 활용한 정밀한 검색 메커니즘이 필수적임을 증명했습니다.