1. 문제 정의 (Problem)

기존의 비디오 대규모 언어 모델 (VideoLLM) 은 장편 비디오 이해 (Long-form Video Understanding) 에 있어 다음과 같은 근본적인 한계를 겪고 있습니다.

• 정보 손실 및 시간적 국소화 실패: 균일하게 샘플링된 프레임을 기반으로 정적 (Static) 인 추론을 수행하기 때문에, 긴 비디오에서 중요한 시각적 증거가 희소하거나 시간적으로 분산되어 있을 때 핵심 정보를 놓치거나 시간적 위치를 정확히 파악하지 못합니다.
• 계산 비용: 수백 개의 프레임을 모두 처리하는 것은 계산적으로 매우 비효율적입니다.
• 순환적 의존성 (Circular Dependency): 에이전트 도구 (검색, 줌 등) 를 활용한 비디오 이해 데이터를 구축하려면 이미 강력한 장편 비디오 이해 능력을 가진 모델이 필요한데, 이러한 능력을 얻기 위해서는 다시 고품질의 에이전트 데이터가 필요합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 VideoThinker를 제안했습니다. 이는 LLM 이 주도하는 도구 추론 (Tool Reasoning) 을 기반으로 합성된 상호작용 궤적 (Synthetic Tool-Interaction Trajectories) 로만 학습된 에이전트형 VideoLLM 입니다.

가. 핵심 아이디어: 캡션 공간에서의 도구 추론

• 합성 데이터 생성: 비디오를 풍부한 텍스트 캡션으로 변환한 후, 강력한 에이전트 LLM (예: Qwen3) 을 사용하여 이 캡션 공간에서 다단계 도구 사용 시퀀스를 생성합니다.
• 시각적 근거화 (Grounding): 생성된 추론 궤적에서 텍스트 캡션을 실제 비디오 프레임으로 교체하여, VideoLLM 이 직접 학습할 수 있는 대규모 인터리브드 (Interleaved) 비디오 - 도구 추론 데이터셋을 구축합니다. 이 과정은 VideoLLM 이 초기에 장편 비디오 이해 능력이 없어도 합성 데이터를 만들 수 있게 하여 순환적 의존성을 깨뜨립니다.

나. 도구 설계 (Tool Design)

효율적인 장편 비디오 탐색을 위해 두 가지 보완적인 에이전트 도구를 설계했습니다.

1. Temporal Retrieval (시간적 검색): 오디오 자막, 장면 설명, 자막 요약 등을 활용하여 관련 정보가 포함된 후보 시간 구간을 식별합니다.
   • Clip Retrieval, Subtitle Retrieval, Subtitle Summary
2. Temporal Zoom (시간적 줌): 식별된 구간에 대해 더 세밀한 분석을 수행합니다.
   • Frame Zoom: 특정 시간 구간의 원본 프레임을 추출하여 상세 분석.
   • Subtitle Zoom: 해당 구간의 자막 텍스트를 추출.
   • Caption Zoom: (데이터 생성 단계에서 사용) 프레임을 텍스트 캡션으로 변환하여 LLM 이 시각적 내용을 텍스트로 추론하도록 함.

다. 학습 및 적응형 추론 (Training & Adaptive Reasoning)

• 학습: 생성된 도구 상호작용 데이터 (CoT) 로 VideoLLM 을 미세 조정 (Fine-tuning) 하여, 모델이 비디오 프레임을 직접 인식하고 다단계 도구 사용을 통해 추론하는 능력을 습득하게 합니다.
• 적응형 추론 전략: 모델의 신뢰도 (Confidence) 를 제어 신호로 사용합니다.
  • 신뢰도가 높으면 (임계값 이상): 직접 추론으로 즉시 답변.
  • 신뢰도가 낮으면: 도구 기반 추론 (검색 및 줌) 을 활성화하여 답변을 정제합니다. 이는 효율성과 정확성 사이의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. 고품질 에이전트 비디오 - 도구 추론 데이터셋 구축: LLM 기반 도구 추론을 가이드로 하여, 장편 비디오 이해에 필수적인 다양한 시간적 추론 및 도구 사용 행동을 포착한 합성 데이터셋을 최초로 구축했습니다.
2. VideoThinker 아키텍처 제안: 'Temporal Retrieval'과 'Temporal Zoom' 도구를 결합하여 동적 추론, 적응형 시간 탐색, 다단계 도구 사용을 가능하게 하는 단일 엔드 - 투 - 엔드 VideoLLM 을 개발했습니다.
3. 성능 검증: 장편 비디오 벤치마크에서 기존 강력한 VideoLLM 과 LLM 에이전트 베이스라인을 모두 능가하는 성능을 입증하여, 도구 증강 합성 데이터와 적응형 검색 - 줌 추론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

MLVU, LVBench, VideoMME (Long), LongVideoBench 등 주요 장편 비디오 벤치마크에서 다음과 같은 성과를 보였습니다.

• 성능 향상:
  • MLVU: +6.8% 향상 (54.8%)
  • LVBench: +10.6% 향상 (48.9%)
  • VideoMME (Long): +3.7% 향상
  • LongVideoBench: +3.0% 향상
• 비교 대상:
  • 오픈소스 모델 (Qwen2.5-VL-7B, 72B 등) 과 폐쇄형 모델 (GPT-4o, Gemini-1.5 Pro) 을 능가하거나 동급의 성능을 기록했습니다.
  • 특히, VideoLLM 을 단순히 캡션 생성 도구로만 사용하는 기존 에이전트 방식 (Language Agent) 보다 약 3~4% 더 높은 성능을 보이며, 단일 7B 모델로도 복잡한 파이프라인을 대체할 수 있는 효율성을 입증했습니다.
• 영상 길이별 성능: 짧은 영상에서는 기존 모델과 비슷하지만, 영상 길이가 길어질수록 (15 분 이상) 성능 격차가 크게 벌어져 장편 비디오 이해에서의 우월성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: VideoLLM 을 수동적인 캡션 생성기가 아닌, 능동적으로 프레임을 검색하고 확대하여 추론하는 에이전트 (Agentic) 로 진화시켰습니다.
• 비용 효율성: 고가의 폐쇄형 모델 (Gemini-Pro 등) 이나 복잡한 데이터 엔지니어링 없이, 오픈소스 LLM 과 합성 데이터를 통해 고품질의 장편 비디오 추론 능력을 학습시킬 수 있는 경량화된 프레임워크를 제시했습니다.
• 실용성: "Thinking with Videos(비디오로 생각하기)" 능력을 통해, 장편 비디오에서 발생하는 정보 손실과 시간적 드리프트 문제를 해결하고, 실제 응용 분야에서 신뢰할 수 있는 비디오 이해를 가능하게 합니다.

이 논문은 장편 비디오 이해를 위한 새로운 표준을 제시하며, 멀티모달 에이전트 시스템의 발전에 중요한 기여를 하고 있습니다.