技術的サマリー：GridProbe

問題定義

ビジョン・ランゲージモデル（VLM）における長動画理解は、現在、単一のモノリシックなフォワードパスで数千フレームを処理する際の計算コストによってボトルネックとなっています。このアプローチは、シーケンス長に対して二次的なアテンションコスト（$O(N^2)$）を発生させます。既存の緩和策には、推論前に有益なフレームのサブセット（$M \ll N$）を選択する手法が含まれますが、現在の「エンコーダ空間選択」手法（例：MDP3、CLIP-matching）は、補助的なビジョン・テキストエンコーダに依存しています。これらの手法は、事前学習の表現能力によって制限されており、否定、フレーム間カウント、包括的な要約など、推論を要するクエリでは失敗することが多いです。さらに、既存の手法は通常、静的なフレーム予算（$M$）を強制するため、局所的な質問では計算リソースが浪費され、包括的な質問では不足するというトレードオフが生じます。

手法：GridProbe

GridProbe は、エンコーダ空間から VLM 自身の回答空間へとフレーム選択を移行させる、トレーニング不要の事後プロービング推論パラダイムを導入します。この手法は 2 段階で動作します。

1. グリッド定式化と重要度マッピング

個々のフレームや外部エンコーダを用いてスコアリングする代わりに、GridProbe は候補フレームプール（$K^2$ フレーム）を概念的な $K \times K$ グリッドとして扱います。

• プローブパス: フリーズされた VLM が $2K$ 回の軽量パスを実行します。$K$ 回の行パス（局所的な時間的カバレッジ）と $K$ 回の列パス（ストライド付き、全球的なカバレッジ）です。各パスは $K$ フレームのみを処理します。
• 事後スコアリング: 各行 $r$ と各列 $c$ について、モデルはサブセット $S$ とクエリ $q$ が与えられたときの回答空間 $Y$ におけるピーク事後確率として定義される「プローブ信頼度」$c(S, q)$ を計算します。
• 重要度マップ: 行と列の信頼度の外積を通じて、クエリ条件付きの重要度マップ $M$ が生成されます：$M[r, c] = c_{row}^r \cdot c_{col}^c$。このマップは VLM の内部的な証拠収集を反映し、その完全な推論能力を継承します。

2. 形状適応型選択

固定されたフレーム予算を使用するのではなく、GridProbe は重要度マップの統計的形状に基づき、質問ごとの有効フレーム数（$M_{eff}$）を導出します。

• 分布形状統計: この手法は、重要度マップ分布の絶対歪度と過剰尖度を組み合わせた統計量 $\sigma(M)$ を計算します。
  • 正の歪度（スパースなピーク）: 決定的な少数のフレームが答えを含んでいることを示します。
  • 負の歪度（冗長性）: 多くのフレームが有益ですが重複しており、小さなサブセットで十分であることを示します。
  • ほぼ一様: 証拠が希薄で分散しており、完全なカバレッジが必要であることを示します。
• 適応ルール: 閉形式のルールが $\sigma(M)$ を $M_{eff}$ にマッピングします。これにより、システムは真の答えを一度も観測することなく、本質的に困難な質問（一様マップ）にはより多くの計算リソースを割り当て、容易または冗長な質問には少ないリソースを割り当てることができます。

3. 2 段階推論パイプライン

1. ステージ 1（プローブ）: 重要度マップを生成し $M_{eff}$ を計算するために $2K$ 回のパスを実行します。
2. ステージ 2（焦点化パス）: マップから上位 $M_{eff}$ フレームを選択し、最終的な回答を生成するために単一のフル解像度フォワードパスを実行します。

主要な貢献

1. 事後プロービングパラダイム: GridProbe は、標準的なワンショットフォワードパスを、回答空間で動作する自己プロービング機構に置き換えます。これにより、選択信号は VLM のネイティブな推論能力を活用でき、エンコーダ空間手法が見逃す複雑なクエリ（否定、カウント）を処理できます。
2. 解釈可能な重要度マップ: この手法は、フレームレベルでクエリ条件付きの重要度マップを生成し、モデルの証拠収集プロセスを露わにすることで、フレームレベルでの解釈可能性を提供します。
3. 形状駆動型適応計算: 分布形状統計（歪度と尖度）を活用することで、GridProbe は静的なフレーム予算を、質問の難易度に応じて適応する動的な $M_{eff}$ に置き換え、最小限の精度低下で二次未満のアテンションコスト（$O(N^{1.5})$）を達成します。
4. 選択器と QA の分離: このフレームワークでは、選択器（プローブ）と回答器（QA）を分離できます。小型で効率的な選択器（例：2B）を強力な QA モデル（例：4B または 8B）と組み合わせることで、再トレーニングなしでモノリシックなベースラインに対して厳密なパレート改善が得られます。

実験結果

Qwen3-VL バックボーン（2B、4B、8B）を使用して Video-MME-v2 と LongVideoBench で評価されました。

• 単一モデル効率: Video-MME-v2 において、GridProbe（2B）は平均精度でモノリシックな 2B ベースラインを 1.6 パーセントポイント（pp）以内で追従しつつ、TFLOPs を 3.36 倍 削減しました。LongVideoBench では、ベースラインをパレート支配し、計算コストを 0.35 倍 に抑えながら精度を +0.9 pp 向上させました。
• クロスモデルパレート支配: 2B 選択器と 8B QA モデルの組み合わせは、2B モノリシックベースラインと比較して、Video-MME-v2 で +3.56 pp、LongVideoBench で +3.30 pp の精度向上を達成し、計算コストは削減されました。
• 選択器の優位性: 固定フレーム予算（$M=8$）において、GridProbe は強力なトレーニング不要選択器である MDP3 を上回り、特に LongVideoBench で +3.6 pp の差をつけ、推論を要するタスクにおけるエンコーダ空間信号の失敗を実証しました。
• 適応計算: 適応型 $M_{eff}$ は、本質的な質問の難易度を正常に追跡しました。「一様」領域（より困難）の質問はほぼ完全なカバレッジを受け、「歪度」領域（より容易）の質問は大幅に少ないフレームを受け取りました。計算割り当ての変動係数は、固定入力ベースラインと比較して 44 倍高くなりました。

意義と主張

本論文は、GridProbe が以下の点で長動画推論に構造的な転換をもたらすと主張しています。

• 再トレーニングの不要化: 適応計算とフレーム選択を達成するために再トレーニングを不要にすること。
• ギャップの埋め合わせ: フレーム選択と推論の間のギャップを埋め、選択信号がモデル自身のクエリ回答能力に基づいていることを保証すること。
• 非反復的・固定スケジュール機構の提供: 多段階エージェントベースの推論システムのオーケストレーションオーバーヘッドを回避する、適応型テスト時計算のための非反復的かつ固定スケジュールの機構を提供すること。
• 「証拠の形状」の実証: 証拠の「形状」（重要度の分布）が質問の難易度に対する信頼できる代理指標であることを実証し、動的リソース割り当てのための閉形式解を可能にすること。

著者は、プローブ信頼度の定義における有限な回答空間（多肢選択）への依存と、選択器と QA モデルを分離する際のホストメモリ要件の増加といった限界を指摘しています。今後の課題として、オープンエンド型 QA への一般化と、異なる動画密度に対する形状統計の精緻化が提案されています。