1. 문제 정의 (Problem)

긴 형식의 비디오 이해 (Long-form Video Understanding, LVU) 는 스포츠 해설, 감시, 영화 분석 등 다양한 실용 분야에서 중요성이 커지고 있습니다. 그러나 기존 멀티모달 대규모 언어 모델 (MLLM) 기반 에이전트들은 다음과 같은 한계를 겪고 있습니다:

• 복잡한 추론의 한계: 단순한 작업 분해나 협업 메커니즘만으로는 긴 시간적 범위를 가진 복잡한 추론 작업 (Long-chain reasoning) 을 처리하기 어렵습니다.
• 정보 손실: 임베딩 기반 검색 (RAG) 을 통해 시간적 컨텍스트를 축소할 경우, 복잡한 문제의 핵심 정보를 놓치거나 중요한 맥락이 손실될 수 있습니다.
• Grounding(정합성) 부족: 기존 단일 에이전트 방식은 질문의 의도를 파악하고 비디오의 특정 구간을 정확하게 위치시키는 (Grounding) 데 어려움을 겪으며, 노이즈가 많은 데이터베이스에서 정확한 검색을 수행하지 못합니다.

2. 제안 방법론 (Methodology: Symphony)

저자들은 인간의 인지 패턴을 모방한 Symphony라는 중앙 집중형 멀티 에이전트 시스템 (Multi-Agent System, MAS) 을 제안합니다. 이 시스템은 복잡한 LVU 작업을 기능적 차원에서 세분화하고, 반성 (Reflection) 을 강화한 동적 협업 메커니즘을 통해 추론 능력을 극대화합니다.

2.1. 에이전트 구성 (Functional Decomposition)

인간의 인지 능력 (지각, 주의, 추론, 언어, 의사결정) 을 차원별로 분해하여 전문화된 에이전트들을 구성합니다:

1. Planning Agent (계획 에이전트): 전체 작업의 핵심 조정자입니다. 사용자의 질문을 분석하고 하위 작업 (Subtasks) 으로 분해하며, 다른 에이전트들을 지시하여 정보를 수집하고 최종 답변을 생성합니다.
2. Grounding Agent (정합성 에이전트): 질문의 복잡도에 따라 적응적으로 검색 도구를 선택합니다.
   • 단순한 질문: CLIP 기반 검색을 사용하여 관련 클립을 찾습니다.
   • 복잡한 질문: LLM 을 이용해 질문을 확장/해석하고, VLM(Vision-Language Model) 기반 점수 매김 도구를 사용하여 비디오 구간과 질문의 의미적 관련성을 심층적으로 평가합니다. 이를 통해 추상적 개념이나 암시적 의도를 가진 질문에도 정밀하게 대응합니다.
3. Subtitle Agent (자막 분석 에이전트): 비디오 자막을 분석하여 개체 인식, 감정 분석, 토픽 모델링 등을 수행하여 텍스트 기반 단서를 추출합니다.
4. Visual Perception Agent (시각 지각 에이전트): 프레임 검사 (Frame Inspector), 글로벌 요약 (Global Summary), 다중 구간 분석 (Multi-segment Analysis) 등의 도구를 호출하여 시각적 정보를 세밀하게 분석하고 비교합니다.
5. Reflection Agent (반성 에이전트): Actor-Critic 프레임워크에 영감을 받아, Planning Agent 가 생성한 추론 경로 (Trajectory) 와 답변을 검증합니다. 논리적 모순이나 증거 부족을 발견하면 비판 (Critique) 을 생성하여 Planning Agent 가 추론 과정을 수정하고 재탐색하도록 유도합니다.

2.2. 협업 메커니즘 (Collaboration Mechanism)

• 동적 추론 (Dynamic Reasoning): Planning Agent 는 현재 상태 (질문 + 과거 관찰 기록) 를 기반으로 다음 행동을 결정합니다.
• 반성 강화 (Reflection-Enhanced): 초기 답변이 도출되면 Reflection Agent 가 이를 평가합니다. 만약 검증이 실패하면, Planning Agent 는 새로운 정보를 수집하거나 추론 경로를 수정하여 다시 시도합니다. 이는 단일 에이전트의 과신 (Overconfidence) 을 줄이고 추론의 정확성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 인지 기반 멀티 에이전트 아키텍처: LVU 의 추론 병목 현상을 해결하기 위해 문제 해결을 기능적 차원 (Grounding, Perception, Subtitle 등) 으로 분해하는 새로운 MAS 를 제안했습니다.
2. 심층 Grounding 에이전트: LLM 의 추론 능력과 VLM 의 시각적 이해 능력을 결합하여, 복잡한 질문의 의도를 파악하고 비디오 구간을 정밀하게 위치시키는 새로운 Grounding 전략을 개발했습니다.
3. 성능 입증: 4 개의 주요 LVU 벤치마크 (LVBench, LongVideoBench, VideoMME, MLVU) 에서 SOTA(State-of-the-Art) 성능을 달성했습니다. 특히 가장 어려운 벤치마크인 LVBench 에서 기존 최상위 방법 대비 5.0% 향상된 성능을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • LVBench: 71.8% (이전 SOTA 인 DVD 대비 5.0% 향상).
  • LongVideoBench: 77.1%.
  • Video MME: 78.1%.
  • MLVU: 81.0%.
• Ablation Study (성분 분석):
  • Reflection Agent 제거 시: 성능이 2.5% 하락하여, 독립적인 검증 에이전트의 중요성을 입증했습니다.
  • Subtitle Agent 제거 시: Planning Agent 에 전체 자막을 입력하게 되어 컨텍스트가 과부하가 걸리고 성능이 1.4% 하락했습니다.
  • Grounding 전략: 복잡한 질문에는 VLM 기반 점수 매김이, 단순 질문에는 CLIP 기반 검색이 효율적임을 확인했습니다.
• 비용 효율성: OpenAI o3 와 같은 고비용 모델을 사용하는 기존 방법 대비, 오픈소스 모델 (DeepSeek R1 등) 을 활용하여 토큰 비용과 추론 시간을 크게 절감하면서도 높은 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

Symphony 는 긴 형식의 비디오 이해 작업에서 단일 모델의 한계를 극복하고, **작업 분해 (Task Decomposition)**와 **반성적 협업 (Reflective Collaboration)**을 통해 인간과 유사한 인지 과정을 구현했습니다. 특히, 복잡한 질문을 처리할 때 추상적 개념을 구체화하고 시간적 맥락을 정밀하게 파악하는 Grounding 능력의 혁신은 향후 긴 비디오 분석 및 멀티모달 에이전트 개발에 중요한 이정표가 될 것입니다. 이 연구는 단순한 정보 검색을 넘어, 논리적 추론과 증거 기반의 의사결정이 필요한 고난도 비디오 이해 작업에 새로운 패러다임을 제시합니다.