SVAgent: Storyline-Guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration

1. 문제 정의 (Problem Definition)

비디오 질문 답변 (VideoQA) 은 시공간적, 의미론적 정보를 통합하여 비디오 시퀀스의 복잡한 동역학을 이해해야 하는 어려운 작업입니다. 특히 장기 비디오 (Long Video) 이해의 경우 다음과 같은 주요 한계가 존재합니다.

• 시간적 단절 및 파편화: 기존 방법론 (자막 기반, 핵심 프레임 검색, 이벤트/그래프 기반) 은 종종 시간적 연속성을 잃거나 국소적인 정보에 의존하여 전체적인 이야기 흐름 (Storyline) 을 파악하지 못합니다.
• 신뢰할 수 있는 증거 부재: 국소적으로 선택된 프레임이나 이벤트는 중요한 맥락을 누락하여 신뢰성 있는 답변을 방해합니다.
• 검증 메커니즘의 부재: 모호하거나 일관성 없는 증거로 인한 오류를 명시적으로 검증하는 과정이 부족합니다.
• 컨텍스트 윈도우 제한: 장기 비디오의 방대한 시각 토큰 수는 현재 멀티모달 모델의 컨텍스트 윈도우를 초과하여 포괄적인 처리를 불가능하게 만듭니다.

인간은 비디오를 볼 때 고립된 관찰이 아닌 일관된 이야기 (Storyline) 를 통해 해석하고 추론합니다. SVAgent 는 이러한 인간의 추론 방식을 모방하여 위 문제들을 해결합니다.

2. 방법론 (Methodology)

SVAgent 는 크로스-모달 멀티-에이전트 (Cross-Modal Multi-Agent) 프레임워크로, 장기 비디오 이해를 4 가지 협력 하위 작업으로 분해합니다. 이 시스템은 스토리라인 에이전트를 중심으로 한 폐쇄 루프 (Closed-loop) 구조를 가집니다.

주요 구성 요소 (6 개 에이전트)

1. 스토리라인 에이전트 (Storyline Agent):

   • 샘플링된 프레임을 기반으로 쿼리 (질문) 에 초점을 맞춘 진화하는 이야기 (Evolving Storyline) 를 점진적으로 구축합니다.
   • 시간적 및 의미론적 의존성을 모델링하여 일관된 내러티브 스케폴드를 제공합니다.
   • 불완전한 서사 구간을 수정하고 새로운 증거가 들어오면 추상화를 업데이트합니다.

2. 가설 에이전트 (Hypothesis Agent) & DPP 기반 증거 선택:

   • 현재 스토리라인과 샘플링된 프레임을 기반으로 답변 가설을 생성하고 이를 지지하거나 반박하는 증거를 식별합니다.
   • DPP (Determinantal Point Processes) 를 활용하여 쿼리 기반 ($Q$) 과 증거 기반 ($E$) 으로 각각 핵심 프레임 집합을 선택합니다.
   • 두 집합의 교집합 비율이 임계값을 초과하면 가설이 타당하다고 판단하고 다음 단계로 진행합니다.

3. 크로스-모달 의사결정 에이전트 (Cross-Modal Decision Agents):

   • 텍스트 의사결정 에이전트: 스토리라인과 캡션을 기반으로 텍스트 모달리티로 답변을 예측합니다.
   • 비전 의사결정 에이전트: 스토리라인과 실제 프레임을 기반으로 시각 모달리티로 답변을 예측합니다.
   • 두 에이전트는 서로 다른 모달리티에서 독립적으로 추론하여 상호 보완적인 판단을 내립니다.

4. 메타 의사결정 에이전트 (Meta-Decision Agent):

   • 텍스트와 비전 에이전트의 예측 결과를 비교하여 크로스-모달 일관성을 검증합니다.
   • 두 결과가 일치하면 최종 답변을 확정하고, 불일치 시 증거의 신뢰도와 프레임 중요도를 고려하여 조정 (Reconciliation) 을 수행합니다.

5. 제안 에이전트 (Suggestion Agent):

   • 가설 검증이 실패하거나 증거가 불충분할 경우, 이전 실패 이력을 분석하여 추가적으로 탐색해야 할 정보성 높은 프레임을 제안합니다.
   • 이는 인간이 비디오를 다시 스킴하며 특정 구간을 재확인하는 과정과 유사합니다.

작동 흐름

1. 초기 균일 샘플링 $\rightarrow$ 스토리라인 생성.
2. 가설 생성 및 DPP 를 통한 증거 프레임 선택.
3. 교차 검증 (텍스트/비전) 및 메타 검증.
4. 검증 실패 시 제안 에이전트가 추가 프레임 요청 $\rightarrow$ 스토리라인 업데이트 및 반복.

3. 주요 기여 (Key Contributions)

1. SVAgent 프레임워크 제안: 쿼리 지향적 스토리라인을 구축하고 반복적으로 업데이트하는 멀티-에이전트 아키텍처를 통해 전역 시간적 구조를 보존합니다.
2. 검증 주도 추론 (Verification-Driven Reasoning): 증거 선택, 크로스-모달 일관성 검사, 타겟팅된 정제 (Refinement) 를 결합하여 장기 비디오 QA 의 신뢰성을 높였습니다.
3. 성능 및 해석 가능성 입증: 4 개의 장기 비디오 벤치마크에서 기존 방법 대비 5.5%~11.5% 의 일관된 성능 향상을 달성했으며, 인간과 유사한 스토리라인 추론을 통해 해석 가능성을 제공했습니다.

4. 실험 결과 (Results)

SVAgent 는 LongVideoBench, MLVU, LVBench, Video-MME 등 4 개의 주요 벤치마크에서 평가되었습니다.

• 성능 향상:
  • 다양한 모델 크기 (Qwen2.5-VL 3B8B, Qwen3-VL 4B8B) 에서 일관된 성능 향상을 보였습니다.
  • 특히 MLVU에서 Qwen3-VL-4B 기준 +11.5% (53.4 $\rightarrow$ 64.9), LongVideoBench에서 +6.7% (53.0 $\rightarrow$ 59.7) 의 큰 개선을 기록했습니다.
  • 긴 비디오일수록 시간적 추론이 필요한 작업에서 기존 모델의 시간적 편향 (Temporal Bias) 을 효과적으로 줄였습니다.
• Ablation Study:
  • 스토리라인 에이전트 제거 시 성능이 4~8 포인트 하락하여 시간적 스케폴드의 중요성을 입증했습니다.
  • 텍스트/비전 검증 및 메타 에이전트 추가가 교차 모달 일관성을 강화하고 최종 정확도를 높였습니다.
• 통계적 유의성:
  • 10 회 독립 실행 결과, SVAgent 는 평균 점수 (62.76 vs 54.68) 와 표준 편차 (0.31 vs 0.89) 모두에서 Raw 베이스라인보다 우월하며, 통계적으로 유의미한 개선 (p-value < 0.05) 을 보였습니다.
• 프레임 선택 효율성:
  • 균일 샘플링보다 SVAgent 가 훨씬 적은 프레임 수 (예: 8 프레임) 로도 높은 정확도를 달성하여, 정보성 있는 프레임 선택이 프레임 양 증가보다 중요함을 보여줍니다.

5. 의의 및 결론 (Significance)

SVAgent 는 장기 비디오 이해를 위한 새로운 패러다임을 제시합니다. 단순히 프레임을 검색하거나 요약하는 것을 넘어, 인간의 인지 과정 (스토리라인 구축, 가설 검증, 자기 반성적 추론) 을 구조화된 멀티-에이전트 시스템으로 구현했습니다.

• 시간적 일관성: 장기 비디오에 산재된 핵심 증거를 시간적 맥락에 맞게 재구성합니다.
• 신뢰성: 크로스-모달 검증과 반복적 정제를 통해 모호한 증거로 인한 오류를 줄입니다.
• 확장성: 다양한 오픈 소스 비디오 MLLM 을 백본으로 활용하여 유연하게 적용 가능합니다.

이 연구는 구조화되고, 쿼리 주도적이며, 반복적인 증거 수집이 장기 비디오 추론의 핵심 요소임을 입증하며, 향후 복잡한 비디오 이해 작업에 중요한 기반을 제공합니다.