技術要約：長尺ビデオ理解のための階層的プログラマティック・プロービング（HPP）

1. 問題提起

長尺ビデオの理解は、現在の視覚言語モデル（VLM）にとって根本的な課題となっている。支配的なパラダイムは、ビデオフレームをLLMの埋め込み空間に投影し、単一のフォワードパス内で知覚と推論を共同で行うというものである。著者らは、この「モノリシック（単一的）」な定式化は、以下の2つの主要なボトルネックにより、長尺ビデオに対して構造的なミスマッチが生じると主張している。

1. 潜在的推論の限界： LLMは、特に長期的な時間依存関係を解決する際、その潜在表現の中で多段階の計画戦略を発見し実行することに苦慮する。
2. トークン膨張： 長尺ビデオは膨大な数の視覚トークン（例：1時間のビデオで108万トークン）を生成し、これが計算コストとKVキャッシュの要件を増大させ、コンテキストウィンドウ内での関連信号を希薄化させる。

既存のエージェントベースのフレームワークは、高密度なキャプショニングや硬直した探索ワークフローを通じてこれを緩和しようと試みているが、これらのアプローチは多くの場合、適応的な探索を制約する手動設計のヒューリスティックに依存しており、現代のコーディング能力を持つLLMの反復的かつ動的な問題解決能力を十分に活用できていない。

2. 手法：階層的プログラミック・プロービング（HPP）

提案されているHPPフレームワークは、意味的な知覚と高次の時間的推論を分離する。単一パスの推デンスではなく、HPPは長尺ビデオの理解を、インタラクティブなコーディング環境内における、階層的にセグメント化されたビデオの反復的なプログラマティック探索として再定式化する。

コア・アーキテクチャ

システムは、Read-Evaluate-Print Loop（REPL）内で相互作用する3つの主要コンポーネントで構成される。

1. コーディング能力を持つLLM： 「推論エージェント」として機能する。最小限のコンテキスト（システムプロンプト、メタデータ、クエリ）で初期化され、戦略の策定、計画、関係推論、およびコード実行の責任を負う。これは生のピクセルを直接処理しない。
2. 軽量VLM： 「知覚モジュール」として機能する。特定のフレームまたは短いセグメントに対して標的を絞った時空間理解を実行するために、LLMによってオンデマンドで呼び出される。
3. 構造化プロービング環境： ビデオを効率的な関数群を介してLLMに公開する、PythonベースのREPL。これにより、ナイーブなフレームレベルの処理を防ぐ。

主要な技術コンポーネント

長尺ビデオにおいてプログラマティック・プロービングを扱いやすくするため、HPPは4つの特定のモジュールを導入している。

• 情報密度を考慮した階層的セグメンテーション：

  • 一様なサンプリングの代わりに、システムは圧縮ビデオ・ビットストリーム情報（Iフレーム、動きベクトル、残差）を利用して、生のフレームを**ショット（shot）**に分割する。
  • 動きと残差ベクトルに基づいて「ショット・エネルギー」を計算し、情報の密度を特定する。
  • ショットはさらに、軽量な蒸留ビジュアルエンコーダを使用して、シーン（scene）（時間的に一貫したもの）およびクラスター（cluster）（グローバルに意味的に一貫したもの）へとグループ化される。これにより、粗から密へのナビゲーションのためのマルチスケール構造（Shots $\to$ Scenes $\to$ Clusters）が構築される。

• 動きに適応した後期相互作用セマンティック検索：

  • クエリに関連するセグメントを特定するために、システムは一様なフレームサンプリングを避ける検索モジュールを採用する。
  • ショットの動きのエネルギーに比例してフレームをサンプリングする。
  • 類似度の計算には、**ハイブリッド後期相互作用（hybrid late-interaction）**アプローチを用いる。これは、グローバルなショットレベルの埋め込みと、微細なトークン・フレーム間の相互作用（MaxSim）を組み合わせることで、静的な空間コンテキストと動きによるアクションの手がかりの両方を捉える。

• 構造化プロービング関数：

  • LLMは、REPL内のコスト格付けされたAPIを介してビデオと相互作用する。
    • 安価（Cheap）： 構造クエリ（get_shots, get_scenes）、字幕検索。
    • 中程度（Moderate）： セマンティック検索（search_in_shots）、フレーム抽出。
    • 高価（Expensive）： VLMクエリ（vlm_query）。
  • このコスト構造により、LLMが粗から密への戦略を採用することを促す。すなわち、安価な信号で方向性を定め、時間領域を絞り込み、ターゲットを絞ったセグメントに対してのみ知覚を呼び出す。

• 反復的推論ループ：

  • LLMは、クエリをサブゴールに分解し、並列検索を実行し、候補をVLMで検証し、結果を反復的に洗練させる（例：検索結果の重複排除、クエリの言い換え）ためのPythonコードを記述・実行する。

3. 主な貢献

1. 知覚と推論の分離： 本論文は、コーディング能力を持つLLMが高レベルの計画と戦略実行を担い、軽量なVLMは標的を絞った知覚抽出に限定されるという、パラダイムシフトを提案している。これにより、推論と知覚の各コンポーネントを独立してスケーリングすることが可能になる。
2. プログラマティックなビデオナビゲーション： HPPはビデオ理解をコード実行タスクとして扱い、明示的な指示なしに、LLMが適応的な戦略（例：パラフレーズされたクエリによる並列検索、時間的非最大値抑制）を自律的に発見することを可能にする。
3. 効率的な階層構造化： ビデオコーデックのメタデータ（Iフレーム、動きベクトル）を活用することで、高価なオプティカルフローの計算を回避しながら、時間的な冗長性と情報密度を効果的に捉える。
4. 創発的戦略： 本フレームワークは、LLMが、パラフレーズされたクエリを用いた並列検索や、結果を統合・重複排除するためのコードの使用など、複雑な推論パターンを自発的に展開できることを示している。これらは固定されたワークフローでは達成が困難なものである。

4. 実験結果

著者らは、4つの主要な長尺ビデオベンチマーク（LongVideoBench (LVB)、EgoSchema、VideoMME、MLVU）を用いてHPPを評価した。

• LongVideoBenchにおける性能： HPPは、特に長時間のビデオ（600秒～3600秒）および関係推論タスク（L2）において、モノリシックなVLMを大幅に上回る性能を示した。例えば、3600秒のサブセットにおいて、HPPは同様のビジョンエンコーダサイズを持つベースラインVLMの精度57.4%に対し、70.5%の精度を達成した。
• スケーリング則：
  • 知覚のスケーリング： HPPフレームワーク内において、ビジョンエンコーダのサイズを向上させる（0.3Bから6Bへ）ことは、モノリシックなベースラインに対して一貫した利得（それぞれ+10.9%および+7.8%）をもたらした。
  • 推論のスケーリング： より強力なコーディングLLM（例：Claude Opus 4.6 vs. MiniMax-M2.5）を使用することは、ビデオ理解性能の向上（59.2% $\to$ 76.3%）に直結しており、本フレームワークがLLMのコーディング能力を効果的に活用していることを裏付けている。
• 一般的なベンチマーク： HPPは、EgoSchema、VideoMME、MLVUにおいて、より大きなパラメータ数を持つモデル（例：72B–78Bモデル）や、GPT-4oやGemini 1.5 Proのような商用システムと比較して、競争力のある、あるいは優れた結果を達成した。
• 効率性： HPPは、プロービングのオーバーヘッドにより非常に短いビデオではトークン使用量が増加する場合があるが、より長いビデオにおいては大幅に効率的になる。最長タスクにおいて、HPPは冗長なフレームの処理を回避することで、標準的なフレームサンプリング手法よりも最大16倍少ないトークンで済んだ。

5. 重要性と主張

本論文は、**「意味的な知覚を高次の時間的推論から分離すること」**が、長尺ビデオ理解における重要な一歩であると主張している。適応的でコード駆動のプロービングプロセスへと推論を外部化することにより、HPPは以下を実現する。

• 標準的なVLMにおける潜在的な多段階推論の「深度の天井」を克服する。
• 複雑で長期的なタスクにおいて性能を損なうことなく、より小さく効率的なVLMの使用を可能にする。
• 構造化されたインターフェースをビデオデータに備えた現代のLLMが、時間的な局在化と証拠の集約のために、洗練された戦略を自律的に展開できることを実証する。

著者らは限界についても認めており、性能は基礎となるLLMのコーディング能力に依存すること、およびエージェントの自律的な性質により、早期終了やコンテキストのドリフトといった失敗モードが発生する場合があることを指摘している。しかし、結果は、プログラマティック・プロービングが、現在のモノリシックなVLMパラダイムに対するスケーラブルで効果的な代替案となり得ることを示唆している。