技術サマリー：AdaFocus

問題定義

長動画の理解は、現在、硬直的な「ワンショット」パラダイムに制約されています。既存の手法は根本的なトレードオフに直面しています。すなわち、動画全体を高密度にエンコードすると、莫大なメモリとレイテンシコストが発生するか、あるいはスパースなフレームセットへ過剰に圧縮すると、下流の推論に必要な微細な視覚証拠が不可逆的に失われるかの二者択一です。その結果、現在のモデルは、時間的カバレッジ、視覚詳細の保持、計算効率を同時にバランスさせることに苦慮しています。さらに、「熟考型の振り返り」を試みる手法は、しばしば重厚な強化学習（RL）トレーニングやメモリ内高密度キャッシングに依存しており、スケーラビリティが制限されています。

手法

著者らは、長動画の理解を単一パスエンコーディングではなく、漸進的証拠収集として再定義する効率的なフレームワークAdaFocusを提案します。このシステムは、ゼロキャッシュのディスクからGPUへのI/O設計に基づいて動作し、完全な動画シーケンスがディスク上に保持され、RAMまたはVRAMに事前キャッシュされることを防ぎます。

このフレームワークは、3 つの密接に結合したコンポーネントで構成されます。

1. クエリ認識型適応的関連性 - 多様性（AdaRD）サンプラー:

   • このモジュールは、凍結された CLIP エンコーダを用いて、1 fps の候補プールからコンパクトで情報量の多い動画プレビューを生成します。
   • 関連性（テキストクエリとのコサイン類似度）と時間的多様性（時間的に隣接する選択へのペナルティ）のバランスを取ることで、フレームのサブセットを最適化します。
   • 最大活性化ルーティング: 強力な局所的な視覚的アンカーを欠くグローバルクエリ（最大関連性スコアが低い場合）に対して、システムは「時間的クラスタリングモード」に切り替わります。これは、K-Means クラスタの重心に最も近いフレームを選択することでマクロな時間的カバレッジを優先し、プレビューが動画の全体的な構造を捉えることを保証します。

2. 内生的不確実性ゲート:

   • 外部のジャッジに依存するのではなく、基幹となる大規模視覚言語モデル（LVLM）が自身の不確実性を監視します。
   • 生成された回答の長さ正規化された対数尤度を計算します。この信頼度スコアが長さ較正された閾値を下回る場合、エージェント型の振り返りがトリガーされます。この決定は、基幹モデルの生成プロセスに内生しています。

3. ゼロキャッシュ時間的洗練:

   • トリガーされると、システムは完全なシーケンスを事前読み込みすることなく、高解像度の証拠をディスクから直接取得します。
   • タイムスタンプグラウンディング: モデルは不確実なタイムスタンプを引用するようプロンプトされます。正規表現パースが失敗した場合、クロスアテンションフォールバック機構が層とヘッド全体にわたるアテンション質量を集約し、最も注目されたフレームを特定します。
   • ウィンドウ型取得: 単一のフレームを取得するのではなく、システムは対象タイムスタンプ周辺の短い時間ウィンドウ（デフォルト 1.5 秒）をデコードします。
   • この取得された証拠は初期プレビューと融合され、モデルは回答を再生成します。このループは、信頼度が満たされるか、最大反復回数（3 ラウンド）に達するまで続行されます。

トレーニング戦略: 基幹モデル（Qwen2.5-VL-7B）は、連鎖思考推論のためにモデルを調整する軽量な単一ステージのグループ相対方策最適化（GRPO）パス（約 64 A100-GPU 時間）を経ます。重要なのは、すべての推論時モジュール（AdaRD、信頼度ゲート、検索）が凍結されたパラメータで動作し、タスクごとの微調整を必要としないことです。

主な貢献

• AdaFocus フレームワーク: 軽量な RL 基幹調整と、長動画理解のためのモジュール化されたトレーニングフリー推論コンポーネントを組み合わせる共同設計システム。
• ゼロキャッシュオンデマンド検索: 完全な高密度シーケンスの事前キャッシュなしに洗練を可能にする新規設計。ウィンドウ型時間的グラウンディングとクロスアテンションフォールバックを活用し、高解像度の証拠をディスクから直接取得することで、失われた視覚詳細を回復可能な証拠へと変換します。
• 体系的評価: VideoMME、MVBench、Charades-STA など 7 つのベンチマークにおける広範な実験と体系的なアブレーション研究。これらの研究は、クエリ認識型プレビューと標的型グラウンディングが独立して寄与し、特定の失敗モードを特定することを示しています。

実験結果

7 つの標準ベンチマークで評価したところ、AdaFocus は強力なベースラインと比較して、優れた効率 - 精度のトレードオフを示しました。

• 性能向上: 従来の高密度エンコーディングと単一パス推論と比較して、AdaFocus はVideoMME で精度が +2.59、Charades-STA で mIoU が +8.39向上するなど、顕著な改善を達成しました。VideoAuto-R1 や VideoChat-R1.5 などの同時進行手法を上回ります。
• トークン効率: AdaFocus は、高密度オラクル（1 FPS エンコーディング、最大 512 フレーム）と比較して、視覚トークンの消費を約33 倍削減しながらこれらの成果を達成しています。これにより、7B スケールのモデルが、そうでなければコンテキスト長制限を超える長動画を処理できるようになります。
• コンポーネント分析:
  • AdaRD とエージェント: 適応的サンプラーとエージェントルーティングモジュールの両方が相補的な向上をもたらします。
  • 標的型対ランダム: 追加フレームのランダムな取得は modest な改善をもたらしますが、標的型グラウンディング（正規表現またはクロスアテンション経由）ははるかに大きな向上をもたらしており、精密な証拠取得の価値を確認しています。
  • 基幹モデルの汎化: 推論コンポーネントは、事前学習済み（RL 未適用）の基幹モデルでも性能を向上させますが、RL 調整と AdaFocus の組み合わせが最良の結果をもたらすため、両者は相加的であることが示されています。
• レイテンシ: システムは、平均して単一パスベースラインの約2 倍のウォールクロック時間を要します（ディスク I/O ではなく LVLM のフォワードパスが支配的であり）、最悪の場合のオーバーヘッドは約 4.4 倍です。

意義と主張

本論文は、漸進的プレビューとゼロキャッシュ証拠洗練の組み合わせが、スケーラブルなマルチメディア推論のための極めて効果的なパラダイムであると主張しています。硬直的なメモリ内キャッシングパラダイムを破ることで、AdaFocus は、VRAM オーバーヘッドを過度に増やすことなく、視覚詳細を不可逆的な損失からオンデマンドで回復可能な証拠へと変換します。

著者らは、アプローチのモジュール性を強調しています。適応的サンプリング、信頼度ゲート、ゼロキャッシュ I/O コンポーネントが基幹モデルの内部重みとは独立して動作するため、このフレームワークは本質的にスケーラブルであり、新興のより大規模な LVLM や拡張コンテキストを持つアーキテクチャとシームレスに統合できます。この研究は、現在の 7B スケールモデルにとって、ブルートフォースなフレーム取り込みよりも、適応的クエリ認識サンプリングが限られたアテンション予算のより効果的な活用であることを示唆しています。