A Skill-augmented Agentic Framework and Benchmark for Multi-Video Understanding

1. 문제 정의 (Problem)

기존의 멀티모달 대규모 언어 모델 (MLLM) 은 단일 비디오 이해에서는 뛰어난 성능을 보이지만, 여러 개의 비디오를 동시에 이해하고 추론하는 능력 (Multi-Video Understanding) 은 여전히 제한적입니다.

• 기존 접근법의 한계:
  • 단일 입력 연결 (Concatenation): 여러 비디오를 하나의 긴 시퀀스로 연결하여 직접 추론하는 방식은 훈련 - 추론 불일치 (Training-Inference Mismatch) 를 초래합니다.
  • 정보 손실: 제한된 컨텍스트 예산으로 인해 프레임 압축이 과도하게 이루어져 중요한 시각적 정보가 손실됩니다.
  • 명시적 조정 부재: 여러 비디오 스트림 간의 정렬, 일관성 관리, 구조화된 추론을 위한 명시적인 메커니즘이 부족합니다.
• 벤치마크의 부재: 기존 벤치마크는 주로 '이벤트 수준 (Event-level)'의 비교나 매칭에 집중하여, '정체성 수준 (Identity-level)' 매칭, 세밀한 구별 (Fine-grained discrimination), 그리고 구조화된 다단계 추론 (Structured multi-step reasoning) 과 같은 복잡한 과제를 충분히 평가하지 못했습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해결하기 위해 MVX-Bench(새로운 벤치마크) 와 SAMA(새로운 에이전트 프레임워크) 를 제안했습니다.

A. MVX-Bench (Multi-Video Cross-Dimension Benchmark)

기존 컴퓨터 비전 작업을 다중 비디오 질문 응답 (QA) 프레임워크로 재정의한 종합적인 벤치마크입니다.

• 규모: 4,255 개의 비디오로 구성된 1,442 개의 질문.
• 11 가지 태스크: 저수준 지각 (Perception) 부터 고수준 추론 (Reasoning) 까지 3 단계로 분류됩니다.
  • 저수준: 카운팅 (Counting), 포렌식 탐지 (Forensic Detection), 비디오 유사도 (Video Similarity).
  • 중수준: 행동 매칭 (Action Matching), 재식별 (Re-Identification), 예술 스타일 (Art Style), 멀티뷰 추론 (Multi-View Reasoning).
  • 고수준: 반사실 추론 (Counterfactual Reasoning), 반증 가능 함축 (Defeasible Entailment), 시퀀스 추론 (Sequence Reasoning), 공간 관계 (Spatial Relation).
• 특징: 단순한 이벤트 비교를 넘어, 신원 불변성 유지, 조작된 콘텐츠 식별, 가설 수정이 필요한 논리적 추론 등을 포함합니다.

B. SAMA (Skill-Augmented Agentic Framework)

단일 비디오 추론에 국한된 기존 에이전트와 달리, 다중 비디오 시나리오에 특화된 기술 증강 에이전트 프레임워크입니다.

• 아키텍처:
  1. Agent Core (에이전트 코어):
     • Planner: 텍스트 전용 LLM(GPT-5.2) 을 사용하여 작업 분석, 도구 선택, 의사결정을 수행합니다.
     • Tools (8 가지): 비디오 리더, 시간적 그라운딩, 씬 그래프, 객체 추적, 시각적 유사도 계산, 자막 추출 등 다양한 시각 도구.
     • Skills (5 가지): 도구 호출 시점, 순서, 중단 기준을 정의하는 구조화된 행동 가이드 (예: '비디오 비교' 스킬은 시각적 유사도 도구를 우선 사용하도록 지시).
  2. External Verification Layer (외부 검증 계층):
     • Conflict Detection: 서로 다른 도구 (예: VLM 과 씬 그래프) 의 출력이 상충될 때 이를 감지합니다.
     • Adaptive Re-reading: 충돌이 감지되면 Planner 가 추가 검증을 위해 도구를 재호출하거나 시간 창을 좁혀 다시 읽는 과정을 수행합니다.
     • Evidence Aggregation: 검증된 정보를 구조화된 메모리에 축적하여 최종 답변을 도출합니다.

3. 주요 기여 (Key Contributions)

1. MVX-Bench 구축: 11 가지 고전적인 컴퓨터 비전 태스크를 다중 비디오 QA 형식으로 통합하여, 저수준 매칭부터 고수준 논리적 추론까지 포괄하는 최초의 벤치마크 중 하나를 제시했습니다.
2. SAMA 프레임워크 제안: 다중 비디오 이해를 위해 명시적으로 설계된 최초의 에이전트 프레임워크입니다. 다양한 시각 도구, 태스크별 스킬, 그리고 충돌 해결 메커니즘을 통합하여 구조화된 교차 비디오 추론을 가능하게 합니다.
3. 성능 입증 및 분석: 오픈소스 모델 및 GPT-4o 를 포함한 기존 모델들을 능가하는 성능을 보였으며, 스킬 설계와 충돌 감지 메커니즘의 유효성을 검증했습니다.

4. 실험 결과 (Results)

• 성능: SAMA 는 MVX-Bench 에서 **52.7%**의 정확도를 기록하여, GPT-4o(47.7%), GPT-5.2(50.9%), 그리고 InternVL3.5-38B(47.2%) 등 모든 평가된 베이스라인을 능가했습니다.
• 스케일링의 한계: 모델 크기 증가가 연관성 태스크 (예: 행동 매칭) 에는 도움이 되지만, 반사실 추론이나 공간 관계와 같은 복잡한 추론 태스크에서는 성능 향상이 미미했습니다. 이는 특정 추론 능력이 단순히 모델 크기 확대로 해결되지 않음을 시사합니다.
• 에이전트 프레임워크의 효과: 동일한 7B 규모의 비전 모델 (Qwen2.5-VL-7B) 을 사용할 때, 엔드투엔드 방식에서는 32.6% 의 정확도를 보였으나, SAMA 프레임워크를 적용한 후 **52.7%**로 20.1%p 향상되었습니다. 이는 구조화된 도구 오케스트레이션이 모델의 잠재력을 극대화함을 보여줍니다.
• Ablation Study:
  • 스킬 제거 (w/o-Skills): 정확도가 60.0% 에서 51.7% 로 하락하여, 스킬이 도구 오케스트레이션에 필수적임을 입증했습니다.
  • 충돌 감지 제거 (w/o-Conflict): 55.9% 로 하락하여, 도구 간 불일치를 해결하는 검증 계층의 중요성을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 비디오 이해 분야에서 다음과 같은 중요한 의의를 가집니다:

• 평가 패러다임의 전환: 단순한 이벤트 매칭을 넘어, 신원 식별, 포렌식, 반사실 추론 등 인간 수준의 복잡한 추론 능력을 평가할 수 있는 새로운 기준 (MVX-Bench) 을 제시했습니다.
• 에이전트 기반 접근의 필요성: 단순한 입력 연결 방식의 한계를 지적하고, 외부 도구와 스킬을 활용한 반복적이고 구조화된 추론 (Agentic Reasoning) 이 복잡한 다중 비디오 과제를 해결하는 핵심 열쇠임을 증명했습니다.
• 실용적 가치: SAMA 는 상대적으로 작은 규모의 비전 모델 (7B) 을 사용하면서도 상용 모델 (GPT-4o 등) 과 경쟁할 수 있는 성능을 달성하여, 비용 효율적이고 고성능인 다중 비디오 이해 시스템의 가능성을 열었습니다.

결론적으로, 이 연구는 다중 비디오 이해의 복잡성을 체계적으로 평가할 수 있는 벤치마크를 제공하고, 이를 해결하기 위한 새로운 에이전트 아키텍처를 제안함으로써 해당 분야의 발전에 중요한 이정표를 세웠습니다.