기술 요약: VideoSearcher

문제 정의

비디오 이해는 전통적으로 모든 필요한 정보가 입력 비디오 프레임 내에 존재한다고 가정하는 폐쇄형 증거 패러다임(closed-evidence paradigm) 하에서 작동해 왔습니다. 이러한 방식은 시공간적 인지에는 효과적이지만, 비디오가 시각적 앵커(예: 로고, 인물, 또는 랜드마크)만을 제공하고 최종 답변을 위해서는 오픈 웹 소스로부터 외부 지식을 검색해야 하는 실제 환경에서는 불충분합니다.

이러한 격차는 **비디오 딥 리서치(Video Deep Research, VDR)**라는 새로운 과제를 정의합니다. VDR은 에이전트에게 다음과 같은 능력을 요구합니다:

1. 진화하는 시간적 역학 관계 속에서 관련 순간과 세밀한 시각적 디테일을 **국소화(Localize)**하는 것.
2. 이러한 시각적 단서들을 **근거화(Ground)**하여 멀티모달 쿼리를 구축하는 것.
3. 오픈 웹 소스(텍스트, 이미지, 뉴스)로부터 증거를 **검색(Retrieve)**하는 것.
4. 비디오에 근거한 증거와 외부 지식을 통합하여 답변을 **합성(Synthesize)**하는 것.

기존의 멀티모달 검색 에이전트는 주로 정적인 이미지에 설계되었거나, 검색 과정에서 중요한 시각적 정보를 버리는 텍스트 중심의 검색에 의존합니다. 또한, 현재의 VDR 벤치마크는 오픈 월드 비디오 정보 근거화 및 멀티모달 검색 기반 추론에 대한 엄격한 평가가 부족합니다.

방법론: VideoSearcher

이러한 한계를 해결하기 위해 저자들은 VDR을 위한 멀티 도구 추론 능력을 갖춘 폐쇄 루프 에이전트 프레임워크인 VideoSearcher를 제안합니다.

1. 에이전트 프레임워크 및 도구 세트

VideoSearcher는 시간적 국소화, 공간적 집중, 그리고 멀티모달 검색을 단일 추론 궤적 내로 통합합니다. 에이전트는 다섯 가지 특정 도구로 작동합니다:

• choose_frames: 거친 시간적 구간을 선택합니다.
• find_frame: 특정 키 프레임을 국소화합니다.
• zoom_in: 프레임 내의 특정 영역(경계 상자)을 조사합니다.
• web_search: 텍스트 웹 증거를 검색합니다.
• image_search: 프레임 또는 크롭된 영역을 사용하여 시각적 검색을 수행합니다.

에이전트는 비디오 타임라인을 반복적으로 좁히고, 정보가 풍부한 영역에 집중하며, 멀티모달 증거를 검색하고, 최종 답변을 합성합니다.

2. 데이터 구축 파이프라인

저자들은 고품질 학습 데이터를 생성하기 위해 비디오 중심의 데이터 합성 파이프라인을 구축했습니다:

• 엔티티 주도 획득(Entity-driven Acquisition): 핵심 시각적 엔티티를 지식 집약적 이미지-텍스트 QA 데이터셋(예: FVQA, DeepEyes)에서 추출하고, 신뢰성을 보장하기 위해 대규모 모델(Qwen3.5, Kimi-K2.5)을 사용하여 교차 검증합니다. 이 엔티티들은 관련 비디오를 검색하기 위한 타겟 역할을 합니다.
• 정규화 및 정렬(Normalization & Alignment): 비디오는 프레임 마커와 함께 1 FPS로 재샘플링됩니다. 원래의 QA 쌍은 비디오 문맥에 맞게 재작성됩니다.
• 하드 샘플 마이닝(Hard Sample Mining): 베이스라인 모델이 지속적으로 해결하지 못하는 샘플을 유지하여 시간적 국소화와 외부 증거 획득을 강조합니다.
• 궤적 합성(Trajectory Synthesis): 계층적 접근 방식을 사용하여 멀티 도구 추론 궤적을 합성한 후, 환각, 끊어진 추론 체인, 유효하지 않은 도구 호출을 제거하기 위해 엄격한 필터링을 거칩니다.

3. 이중 분기 시퀀스 정책 최적화 (BiSPO)

장기 추론 궤적을 최적화하기 위해, 저자들은 GSPO를 기반으로 구축된 강화 학습(RL) 알고리즘인 BiSPO를 도입합니다.

• 디커플링된 최적화(Decoupled Optimization): BiSPO는 답변 정확도와 도구 호출 행동의 최적화를 분리합니다. 이는 모델이 도구를 비효식적으로 사용하면서 정답만 맞추려 하거나, 그 반대의 경우를 학습하는 것을 방지합니다.
• 이중 보상 분기(Dual Reward Branches):
  • 정확도 분기(Accuracy Branch): 답변의 정답 여부, 형식 준수, 도구 의존성 제약을 평가합니다.
  • 도구 행동 분기(Tool Behavior Branch): 정답이 있는 궤적에 대해서만 활성화됩니다. 이는 충분한 비디오 관찰과 외부 검색을 장려하는 동시에, 과도하거나 불필요한 도구 호출에 페널티를 주는 **종 모양 게이트 보상(bell-shaped gated reward)**을 채택합니다.
• 시퀀스 레벨 클리핑(Sequence-Level Clipping): 긴 궤적에서의 토큰 레벨 클리핑의 불안정성을 처리하기 위해, BiSPO는 시퀀스 레벨 중요도 샘플링 및 클리핑을 적용합니다.

4. 벤치마크: VideoSearch-QA (VSQA)

저자들은 오픈 월드 비디오 정보 근거화와 멀티모달 검색 기반 추론을 평가하기 위해 특별히 설계된 최초의 벤치마크인 VideoSearch-QA를 소개합니다. 이는 다양한 도메인(랜드마크, 지리, 문화, 스포츠)을 다루며, 에이전트가 동적인 비디오 내의 시각적 정보를 포착하여 오픈 웹 검색 및 증거 기반 추론을 수행할 것을 요구합니다.

주요 기여

1. VideoSearcher 프레임워크: 동적 비디오를 위해 시간적 국소화, 공간적 집중, 멀티모달 검색을 통합한 최초의 폐쇄 루프 에이전트 프레임워크입니다.
2. BiSPO 알고리즘: 답변 정확도와 도구 호출을 분리하여 지식 집약적 추론을 위한 안정적인 학습 신호를 제공하는 이중 분기 RL 알고리즘입니다.
3. VideoSearch-QA 벤치마크: 오픈 월드 시나리오에서 VDR 에이전트를 평가하기 위한 수동 주석 기반 벤치마크(278개 샘플)입니다.
4. 데이터 파이프라인: 기존 이미지-텍스트 QA 데이터셋으로부터 고품질의 멀티 도구 추론 궤적을 합성하는 엄격한 파이프라인입니다.

실험 결과

VideoDR, VideoSearch-QA 및 다양한 멀티모달 검색 및 비디오 이해 벤치마크에서 광범위한 실험이 수행되었습니다.

• 검색 지향 벤치마크: VideoSearcher는 이전의 오픈 소스 에이전트 베이스라인(Qwen3-VL, Webwatcher, MMSearch-R1 포함)을 크게 상회하며, VideoDR 및 VSQA에서 독점 모델(GPT-4o, Gemini-3-Pro)의 성능에 근접합니다. 특히, 주로 비디오 기반 데이터로 학습되었음에도 불구하고 일반적인 멀티모달 검색 벤치마크(MMSearch, HR-MMSearch)에서도 잘 일반화됩니다.
• 일반 비디오 이해: MMVU, TempCompass, VideoMMMU와 같은 벤치마크에서 VideoSearcher는 경쟁력 있는 추론 능력을 유지하며, 에이전트 학습이 일반적인 비디오 이해 능력을 저하시키지 않음을 입증합니다.
• 절제 연구(Ablation Studies):
  • RL 설계: 전체 종 모양 도구 보상을 사용하는 BiSPO는 단일 분기 변형(GRPO, GSPO) 및 단조적 도구 보상보다 우수한 성능을 보였으며, 이는 디커플링된 최적화와 종 모양 보상 설계의 필요성을 확인시켜 줍니다.
  • 도구의 필요성: 국소화 도구나 검색 도구 중 하나라도 제거하면 성능이 크게 하락하며, 이는 시각적 근거화와 외부 검색이 상호 보완적이며 필수적임을 증명합니다.

의의 및 주장

본 논문은 VideoSearcher가 비디오 이해의 패러다임을 **폐쇄형 문맥 인지(closed-context perception)**에서 **오픈 월드 증거 탐색(open-world evidence exploration)**으로 전환함을 주장합니다. VDR을 공식화하고 전용 벤치마크와 에이전트 프레임워크를 제공함으로써, 본 연구는 비디오가 광범위한 웹 환경에서 정보를 검색하고 검증하기 위한 진입점 역할을 하는 실제 애플리케이션에 VLM을 배포할 때 발생하는 핵심적인 병목 현상을 해결합니다.

저자들은 VideoSearcher를 글로벌 문맥 모델링과 미세한 시공간적 인지를 모두 요구하는 견고한 비디오 이해를 향한 단계로 정의하며, 이를 통해 에이전트가 복잡한 오픈 월드 시나리오에서 시각적 단서를 점진적으로 근거화하고, 관련 증거를 검색하며, 답변을 합성할 수 있게 합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 외부 도구 의존성: 답변의 품질은 이미지/웹 검색 API의 지연 시간, 커버리지 및 안정성에 의존합니다.
• 컴퓨팅 비용: 멀티 턴 도구 사용을 포함한 온라인 RL은 긴 문맥과 반복적인 롤아웃으로 인해 계산 비용이 많이 듭니다.
• 범위: 현재는 검색 지향적 시각/비디오 QA에 초점을 맞추고 있습니다. 이는 훈련에 사용된 1-fps 프레임 표현을 고려할 때, 밀도 높은 시간적 국소화, 오디오 이해, 임바디드 상호작용 또는 특수 도메인 지식을 요구하는 작업은 완전히 포괄하지 못할 수 있습니다.
• 평가: 개방형 평가는 LLM 판정관(judge)에 의존하며, 이는 모호한 답변에 대해 노이즈를 유발할 수 있습니다.