기술 요약: 장영역 비디오 핵심 프레임 검색을 위한 쿼리를 도구 호출로 분해

문제 정의

이 논문은 **검증 가능한 장영역 비디오 질문 응답 (QA)**의 과제를 다룹니다. 기존 시스템은 답변을 생성할 수 있지만, 신뢰할 수 있는 인간-AI 상호작용을 위해 그 답변을 검증할 시각적 증거 (핵심 프레임) 를 제공하는 것이 중요합니다. 핵심적인 어려움은 핵심 프레임 선택, 즉 쿼리에 필요한 증거를 포함하는 장영역 비디오 내의 특정 프레임을 찾는 데 있습니다.

기존 접근 방식은 두 가지 주요 한계를 겪고 있습니다:

1. 단일 쿼리 점수 매기기: 단일 연결된 쿼리 (예: 질문 + 선택지) 에 대해 모든 프레임을 점수 매기는 방법들은 종종 여러 가지 구별된 시각적 요소를 필요로 하는 복잡한 쿼리를 포착하지 못합니다.
2. 고정된 스키마 분해: 쿼리를 고정된 스키마 (예: 특정 객체 - 관계 튜플) 로 분해하는 방법들은 유연성이 부족하며 다양한 시각적 도구를 효과적으로 활용할 수 없습니다.

또한, 표준 벤치마크 (Video-MME 또는 LongVideoBench 등) 가 종종 비디오를 보지 않고도 답을 추측할 수 있거나, 증거가 여러 시간 간격에 걸쳐 모호한 질문들을 포함하는 경우가 많아, 검색 품질을 고립적으로 평가하는 것은 어렵습니다.

방법론: ToolMerge

저자들은 분해와 병합에 기반한 검색 프레임워크인 ToolMerge를 제안합니다. ToolMerge 는 단일 거대 쿼리에 대해 프레임을 점수 매기는 대신, 쿼리를 독립적인 하위 쿼리로 분해하고, 전문화된 경량 시각 도구를 사용하여 이를 실행한 후 결과를 병합합니다.

1. 플래너 기반 분해

LLM 기반 플래너(zero-shot 또는 RL 튜닝) 가 입력 질문과 답변 선택지를 분석합니다. 이는 질문에 답하는 것이 아니라 다음을 생성합니다:

• 도구 호출: 특정 시각 도구를 위한 독립적인 쿼리 집합.
• 불리언 논리: 이러한 호출들의 결과를 결합하는 방법 (AND 또는 OR 연산자 사용) 에 대한 지침.

2. 시각 도구

시스템은 비용이 많이 드는 프레임별 캡션 생성 대신 경량 비전 모델을 활용합니다:

• SigLIP-2: 장면 수준의 증거 (동작, 설정, 공간적 배치) 를 포착하기 위해 전체 프레임 이미지 - 텍스트 매칭을 수행합니다.
• T-REN: 특정 개체나 객체를 위치시키기 위해 텍스트 정렬 영역 특징 매칭을 수행합니다.
• OCR: 샘플링된 프레임에서 자동으로 실행되어 화면 내 텍스트를 감지하며, 관련성 평가를 위해 경량 LLM 판정기에 의해 결과가 필터링됩니다.

3. 병합 전략

서로 다른 도구들이 서로 다른 척도로 점수를 생성하므로, ToolMerge 는 원시 점수가 아닌 순위를 병합합니다:

• 각 프레임은 각 도구의 출력 내에서 순위 (1 = 최상) 를 부여받습니다.
• AND 연산자: 도구들 간의 최악(최대) 순위를 선택합니다. 이는 모든 필수 요소가 함께 나타날 때만 프레임이 높은 순위를 받도록 보장합니다.
• OR 연산자: 최상(최소) 순위를 선택합니다. 이는 서로 다른 도구들이 대체 가능한 유효한 증거를 찾을 수 있을 때 사용됩니다.
• OCR 통합: 검증 후 관련 텍스트가 포함된 프레임은 유사도 기반 매칭보다 모호성이 적으므로 순위 1(최우선) 에 삽입됩니다.

4. 최종 선택

탐욕적 Non-Maximum Suppression (NMS) 알고리즘이 병합된 순위를 기반으로 상위-k 프레임을 선택하며, 다양성을 보장하기 위해 최소 시간 간격 ($\tau$) 을 강제합니다. 그런 다음 이러한 프레임은 최종 응답을 생성하기 위해 비전 - 언어 모델 (VLM) "답변자"에게 전달됩니다.

벤치마크 구축: Molmo-2 Moments (M2M)

추론 실패의 노이즈 없이 검색을 엄격하게 평가하기 위해, 저자들은 **Molmo-2 Moments (M2M)**를 도입했습니다.

• 구축: annotators 가 특정 10~20 초 클립을 설명하는 Molmo-2 캡션 데이터셋에서 파생되었습니다.
• 앵커링: 모든 질문은 특정 캡션에서 생성되므로, 정답이 구조상 특정 시간 간격에 앵커링되도록 보장합니다.
• 필터링 파이프라인: 8 단계 자동화 및 인간 검증 파이프라인은 질문이 다음을 보장합니다:
  • 텍스트 전용 모델로는 답변할 수 없음 (블라인드 필터).
  • 균일 샘플링으로는 답변할 수 없음 (필요성 필터).
  • 표적 검색을 필요로 할 정도로 어려움 (난이도 필터).
  • 메타 언어 또는 오디오 전용 의존성이 없음.
• 평가 모드: M2M 은 질문 검색(HIT@K), 캡션 검색(원본 캡션에 대한 프레임 검색), 그리고 하류 QA 정확도를 지원합니다.

주요 기여

1. ToolMerge: 쿼리를 도구 호출로 분해하고 불리언 연산자를 사용하여 순위를 병합하는 훈련이 필요 없거나 (또는 RL 로 개선 가능) 한 방법으로, 다양한 시각 도구를 유연하게 사용할 수 있게 합니다.
2. Molmo-2 Moments (M2M): 모든 질문이 정답 시간 간격에 엄격하게 앵커링되어 검색 성능을 추론 능력과 분리하는 벤치마크입니다.
3. 종합 평가: 장영역 비디오 QA, 직접 질문 검색, 캡션 검색을 포괄하는 3 부분 평가 프레임워크로, 분해가 특히 복잡하고 다중 요소 쿼리에 효과적임을 입증합니다.

실험 결과

저자들은 LongVideoBench, Video-MME, M2M 에서 ToolMerge 를 베이스라인 (균일 샘플링, SigLIP-Q) 과 최첨단 핵심 프레임 선택기 (AKS, BOLT, LIF, WFS) 와 비교 평가했습니다.

• 장영역 비디오 QA: ToolMerge 는 LongVideoBench 와 Video-MME 모두에서 테스트된 모든 프레임 예산 (8 및 32 프레임) 과 답변자 모델 (Qwen3-VL, GPT-4o) 에서 가장 높은 정확도를 달성했습니다. 특히, 단순한 SigLIP-Q베이스라인 (단일 쿼리 top-k) 이 놀라울 정도로 경쟁력이 있어, LIF 와 같은 더 복잡한 분해 방법들을 종종 능가했습니다.
• M2M 검색: M2M 벤치마크에서 ToolMerge 와 SigLIP-Q 가 최상위 성능을 보였습니다. ToolMerge 는 캡션 검색에서 뚜렷한 우위를 보였으며, HIT@32 에서 SigLIP-Q 보다 5% 더 높은 성능을 기록했습니다. 이는 캡션과 같이 여러 공존하는 시각적 요소를 설명하는 쿼리의 경우, 다중 도구 분해 접근 방식이 단일 쿼리 방법들이 놓치는 증거를 포착함을 시사합니다.
• 플래너 개선: 정답 간격에 선택된 프레임이 포함되는지 확인하는 재현율 기반 보상을 사용하여 플래너에 GRPO(강화 학습) 를 적용하면 성능이 더욱 향상되었으며, 특히 검색 지표에서 두드러졌습니다.
• 효율성: 이 방법은 캡션 생성 기반 접근 방식보다 훨씬 효율적입니다. ToolMerge 로 10 분짜리 비디오를 처리하는 데는 전체 비디오에 대한 캡션을 생성하는 시간보다 약 3.4 배 적은 시간이 소요되었습니다.

중요성과 주장

이 논문은 분해와 병합이 특히 여러 시각적 요소의 동시 존재를 필요로 하는 쿼리에 대해 핵심 프레임 검색을 위한 강력한 프레임워크라고 주장합니다.

• 검색 대 추론: 질문을 특정 간격에 앵커링함으로써 M2M 은 추론 부담이 최소화될 때 검색 품질이 하류 QA 정확도와 강력하게 상관관계가 있음을 보여줍니다.
• 도구 다양성: 결과는 단순한 단일 쿼리 유사도 (SigLIP-Q) 가 강력한 베이스라인이지만, 객체를 위한 T-REN 과 장면을 위한 SigLIP 와 같은 전문화된 도구를 활용하기 위해 쿼리를 분해하는 것이 복잡하고 서술적인 쿼리 (캡션) 에 대해 측정 가능한 이점을 제공함을 나타냅니다.
• 검증 가능성: 이 시스템은 불투명한 텍스트 요약에 의존하는 대신 답변을 지지하는 특정 핵심 프레임을 사용자가 검사할 수 있도록 하는 검증 가능한 AI 로의 직접적인 경로를 제공합니다.

저자들은 오디오 이해를 제외한 고정된 도구 세트와 올바른 프레임이 발견된 후 답변자의 추론 능력에 대한 의존성과 같은 한계를 지적하며 겸손하게 입장을 표명합니다. 그들은 장영역 비디오 이해의 일반적 문제를 해결한다고 주장하기보다는 검색 구성 요소에 대한 구체적이고 효율적이며 검증 가능한 메커니즘을 제공합니다.