技術的概要：長動画のキーフレーム検索のためのクエリをツール呼び出しに分解すること

問題定義

本論文は、検証可能な長動画の質問応答（QA）という課題に取り組んでいる。既存のシステムは回答を生成できるが、その回答を検証するための視覚的証拠（キーフレーム）を提供することは、信頼性の高い人間と AI の相互作用において不可欠である。核心的な難しさはキーフレームの選択、すなわち、クエリに答えるために必要な証拠を含む長動画内の特定のフレームを見つけることにある。

既存のアプローチは、主に 2 つの限界に悩まされている：

1. 単一クエリによるスコアリング：単一の連結されたクエリ（例：質問＋選択肢）に対してすべてのフレームをスコアリングする手法は、複数の異なる視覚要素を必要とする複雑なクエリを捉えることができないことが多い。
2. 固定スキーマによる分解：クエリを固定されたスキーマ（例：特定の物体 - 関係タプル）に分解する手法は柔軟性に欠け、多様な視覚ツールを効果的に活用できない。

さらに、標準的なベンチマーク（Video-MME や LongVideoBench など）には、動画を見なくても答えを推測できる質問や、複数の時間区間にわたって証拠が曖昧な質問が含まれることが多く、検索の質を孤立して評価することは困難である。

手法：ToolMerge

著者は、分解と結合に基づく検索フレームワークToolMergeを提案する。ToolMerge は、単一の巨大なクエリに対してフレームをスコアリングする代わりに、クエリを独立したサブクエリに分解し、専用の軽量視覚ツールを用いて実行し、結果を結合する。

1. プランナーに基づく分解

LLM ベースのプランナー（ゼロショットまたは RL 微調整済み）が入力された質問と選択肢を分析する。これは質問に答えるのではなく、以下のものを生成する：

• ツール呼び出し：特定の視覚ツールに対する独立したクエリのセット。
• ブール論理：これらの呼び出しの結果を組み合わせる方法に関する指示（AND または OR 演算子を使用）。

2. 視覚ツール

システムは、高価なフレームごとのキャプション生成ではなく、軽量なビジョンモデルを利用する：

• SigLIP-2：シーンレベルの証拠（動作、設定、空間的レイアウト）を捉えるために、全体フレームの画像 - テキストマッチングを実行する。
• T-REN：特定のエンティティや物体を特定するために、テキスト整合型領域特徴マッチングを実行する。
• OCR：サンプリングされたフレーム上で自動的に実行され、画面上のテキストを検出する。結果は、関連性に応じて軽量な LLM ジャッジによってフィルタリングされる。

3. 結合戦略

異なるツールは異なるスケールでスコアを生成するため、ToolMerge は生スコアではなくランクを結合する：

• 各フレームは、各ツールの出力内でランク（1 が最良）が割り当てられる。
• AND 演算子：ツール間で最悪（最大）のランクを選択する。これにより、すべての必要な要素が同時に現れた場合のみ、フレームが高くランク付けされることを保証する。
• OR 演算子：最良（最小）のランクを選択する。これは、異なるツールが代替の有効な証拠を見つける可能性がある場合に使用される。
• OCR の統合：関連するテキストを含むフレームは、検証後にランク 1（最優先）に挿入される。これは、類似度ベースのマッチングよりも曖昧さが少ないためである。

4. 最終選択

貪欲なノンマキシマム抑制（NMS）アルゴリズムが、結合されたランクに基づいて上位 k 個のフレームを選択し、多様性を確保するために最小時間間隔（$\tau$）を強制する。これらのフレームは、最終的な応答を生成するためにビジョン - ランゲージモデル（VLM）の「回答者」に渡される。

ベンチマーク構築：Molmo-2 Moments (M2M)

推論の失敗によるノイズなしで検索を厳密に評価するために、著者は**Molmo-2 Moments (M2M)**を導入する。

• 構築：アノテーターが特定の 10〜20 秒のクリップを記述する Molmo-2 キャプションデータセットから派生している。
• アンカリング：すべての質問は特定のキャプションから生成されるため、構築上、真の答えが特定の時間間隔にアンカリングされていることが保証される。
• フィルタリングパイプライン：8 段階の自動化および人間による検証パイプラインにより、質問が以下の条件を満たすことを保証する：
  • テキストのみのモデルでは回答不可能（ブラインドフィルタ）。
  • 均一サンプリングでは回答不可能（必要性フィルタ）。
  • 対象とした検索を必要とするほど困難（難易度フィルタ）。
  • メタ言語や音声のみの依存関係がない。
• 評価モード：M2M は、質問検索（HIT@K）、キャプション検索（ソースキャプションに対するフレームの検索）、およびダウンストリームのQA 精度をサポートする。

主要な貢献

1. ToolMerge：トレーニング不要（または RL による改善可能）な手法であり、クエリをツール呼び出しに分解し、ブール演算子を使用してランクを結合することで、異なる視覚ツールの柔軟な利用を可能にする。
2. Molmo-2 Moments (M2M)：すべての質問が厳密に真の時間間隔にアンカリングされたベンチマークであり、検索性能を推論能力から分離する。
3. 包括的な評価：長動画 QA、直接の質問検索、キャプション検索を網羅する 3 部構成の評価フレームワークであり、分解が特に複雑で多要素のクエリに対して効果的であることを示している。

実験結果

著者は、LongVideoBench、Video-MME、および M2M において、ToolMerge をベースライン（Uniform Sampling、SigLIP-Q）および最先端のキーフレーム選択器（AKS、BOLT、LIF、WFS）と比較評価した。

• 長動画 QA：ToolMerge は、LongVideoBench と Video-MME の両方で、テストされたすべてのフレーム予算（8 フレームおよび 32 フレーム）および回答者モデル（Qwen3-VL、GPT-4o）において最高精度を達成した。特に、単純なSigLIP-Qベースライン（単一クエリトップ k）は驚くほど競争力があり、LIF のようなより複雑な分解手法をしばしば凌駕した。
• M2M 検索：M2M ベンチマークでは、ToolMerge と SigLIP-Q がトップパフォーマンスを示した。ToolMerge はキャプション検索において明確な優位性を示し、HIT@32 で SigLIP-Q より**5%**上回った。これは、キャプションのように複数の共起する視覚要素を記述するクエリの場合、マルチツールの分解アプローチが単一クエリ手法が見逃す証拠を捉えることを示唆している。
• プランナーの改善：選択されたフレームが真の時間間隔に含まれるかどうかを確認するリコールベースの報酬を使用して、プランナーにGRPO（強化学習）を適用すると、特に検索指標においてパフォーマンスがさらに向上した。
• 効率性：この手法は、キャプション生成ベースのアプローチよりもはるかに効率的である。ToolMerge で 10 分間の動画を処理する時間は、動画全体にキャプションを生成する時間と比較して、およそ3.4 倍短い。

意義と主張

本論文は、分解と結合が、特に複数の視覚要素の同時存在を必要とするクエリに対して、キーフレーム検索のための堅牢なフレームワークであると主張する。

• 検索対推論：質問を特定の間隔にアンカリングすることで、M2M は、推論の負担を最小化した場合、検索の質がダウンストリームの QA 精度と強く相関することを示している。
• ツールの多様性：結果は、単純な単一クエリ類似度（SigLIP-Q）が強力なベースラインである一方で、クエリを分解して専門的なツール（物体のための T-REN やシーン用の SigLIP など）を活用することは、複雑で記述的なクエリ（キャプション）に対して測定可能な利点を提供することを示している。
• 検証可能性：このシステムは、不透明なテキストの要約に依存するのではなく、ユーザーが回答を支持する特定のキーフレームを検査できる、検証可能な AI への直接的な道を提供する。

著者は、音声理解を除外した固定されたツールセットや、正しいフレームが見つかった後の回答者の推論能力への依存など、限界を指摘し、謙虚である。彼らは長動画理解の一般的な問題を解決するとは主張せず、むしろ検索コンポーネントのための具体的で効率的かつ検証可能なメカニズムを提供するものである。