技術的サマリー：LDDR（ビデオ MLLM 向けの線形 DPP ベースの動的解像度フレームサンプリング）

1. 問題定義

マルチモーダル大規模言語モデル（MLLM）は、ビデオ理解において重大なボトルネックに直面しています。それは、厳格な計算制約下で、数千枚のビデオフレームを限られた視覚トークンに圧縮する課題です。既存のアプローチには、主に 2 つの限界があります。

• 非効率性と冗長性: 標準的な一様サンプリングはクエリの関連性を無視するため、冗長なフレームの含まれ方や、重要な証拠の潜在的な見落としを招きます。
• 計算オーバーヘッド: 能動的探索や学習済みセレクターなどの高度なクエリ駆動型手法は、多大なトレーニングおよび推論コストをもたらします。さらに、MDP3 のような決定性点過程（DPP）に基づく既存のトレーニング不要な手法は、カーネル空間推論に依存しており、ビデオ長に対して二次的に（$O(T^2)$）スケーリングするため、長編ビデオには適用が困難です。加えて、これらの手法は通常、選択されたすべてのフレームに一様なトークン予算を割り当てており、個々のフレームの情報の多様性や視覚的複雑さの違いを考慮していません。

2. 手法：LDDR

著者らは、フレーム選択とフレームごとのトークン割り当てを同時に最適化する、トレーニング不要でプラグ＆プレイ可能なフレームワークであるLDDR（線形 DPP ベースの動的解像度）を提案します。

A. 線形特徴空間 DPP 選択

標準的な DPP の二次的な複雑さを解決するため、LDDR はカーネル空間ではなく特徴空間で直接的に貪欲な最大事後確率（MAP）推論を実行します。

• メカニズム: 密な $T \times T$ カーネル行列 $L$ を構築する代わりに、LDDR はクエリ重み付き特徴行列 $\Phi = \text{diag}(\tilde{r})\hat{F}$ を利用します。ここで、$\hat{F}$ は正規化されたフレーム埋め込みを含み、$\tilde{r}$ はクエリ関連性を符号化します。カーネルは $L = \Phi\Phi^\top$ として暗黙的に定義されます。
• アルゴリズム: この手法は、選択されたフレームの正規直交基底を維持し、残りのフレームの残差利得を更新する貪欲な選択プロセスを採用します。これにより、計算複雑さは $O(T^2d + TK^2)$ から **$O(KTd)$** の時間および$O(Td)$のメモリに削減されます。ここで、$T$はフレーム数、$K$は予算、$d$ は特徴次元です。
• 結果: これにより、時間的チャンキングを必要とせずに、長編ビデオ全体にわたるグローバルなフレーム選択が可能となり、冗長性を最小化しながら長距離依存関係を効果的に捉えることができます。

B. グループ DPP（GD）重要度と動的解像度

多様な候補セットが選択された後、LDDR は適応的なトークン割り当てを導くためのグループ DPP（GD）重要度メトリックを導入します。

• GD 重要度スコア: 選択されたフレーム $t$ について、その重要度 $I_t$ は、グループグラム行列の行列式に対するその周辺寄与として定義されます：$I_t = \exp(\log \det(G_S) - \log \det(G_{S \setminus \{t\}}))$. 幾何学的には、これは他の選択されたフレームの張る空間にフレームを射影した後の残差ノルムの二乗を測定し、その「残差の一意性」を定量化します。
• 密度感知スコアリング: クエリとの整合性が弱い幾何学的な外れ値を過剰に強調することを防ぐため、スコアはフレームの特徴量に基づいた密度事前分布によって調整されます：$\tilde{I}_t = I_t \cdot \rho_t^\tau$.
• 動的割り当て: フレームは、密度感知 GD スコアでソートされます。二分探索により、総予算 $C_{total}$ の範囲内で、最適な部分集合サイズ $k^*$ と各フレームのトークン割り当て $w_t$ が決定されます。情報量が多く冗長性の低いフレームは高い解像度（より多くのトークン）を受け取り、有用性の低いフレームは縮小または剪定されます。これらはすべて、グローバルな予算制約（$w_{min} \le w_t \le w_{max}$）を遵守しながら行われます。

3. 主な貢献

1. 線形 DPP 選択: 著者らは、特徴空間で DPP 推論を実行することで、ビデオ長に対して線形な複雑さを持つグローバルでクエリ感知型のフレーム選択が可能になり、高価なカーネル構築や時間的チャンキングの必要性が排除されることを実証しました。
2. GD 誘導型動的解像度: 本論文は、フレームの周辺寄与を定量化するグループ DPP 重要度スコアを導入し、これを用いて固定予算下で情報密度を最大化するトレーニング不要な適応的トークン割り当て戦略を駆動します。
3. 包括的な実証的検証: LDDR は、4 つのベンチマーク（Video-MME, LongVideoBench, LVBench, MLVU）および複数の MLLM バックボーン（Qwen2.5-VL, Qwen3-VL, LLaVA-OneVision, InternVL, GPT-5-mini を含む）で評価されました。
4. 効率性とスケーラビリティ: この手法は、標準的な DPP ベースラインに対して 3 倍のランタイム高速化を達成しながら、精度を維持または向上させ、オープンソースおよびクローズドソースのモデルの両方に適しています。

4. 実験結果

• 性能向上: 予算制約下では、LDDR は次点のベースラインに対して平均 +2.5 ポイントの改善を達成しました。高予算シナリオにおいても、+1.6 ポイントの利益をもたらします。
• 長編ビデオにおける優位性: 改善は、長編ビデオ（例：3600 秒のサブセット）で最も顕著です。ここで、グローバル選択はチャンク化された手法が見逃す依存関係を効果的に捉えます。例えば、LongVideoBench において、LDDR は一様サンプリングやチャンク化された DPP と比較して、3600 秒サブセットのスコアを大幅に向上させました。
• モデル非依存性: このフレームワークは、内部モデルパラメータへのアクセスや追加トレーニングを必要とせず、GPT-5-mini などのクローズドソースモデルを含む多様なバックボーンで性能を向上させることに成功しました。
• アブレーション研究:
  • グローバル対チャンク化: グローバル選択は、特に長編ビデオにおいてチャンク化された選択を上回ります。これは、ローカル予算が低情報セグメントにリソースを浪費しうることを確認しています。
  • 動的解像度: 動的解像度割り当ては、固定解像度バリアントに対して一貫して約 1.2 ポイントの改善を加え、フレーム予算が厳しい場合に最大の利益が観察されました。
  • コンポーネント: DPP カーネルの関連性コンポーネントまたは多様性コンポーネントのいずれかを除去すると、性能が著しく低下し、両者のバランスの必要性が検証されました。

5. 意義と主張

本論文は、LDDR を、ビデオ MLLM における効率的なフレームサンプリングのアーキテクチャ的必要性に対処する、実用的なトレーニング不要の入力構築戦略として位置づけています。著者らは、一様またはポイントごとの選択から、グローバルで多様性を維持し、予算を考慮したフレームワークへの移行によって、LDDR がオーバーヘッドとなるエージェントループや再トレーニングを伴わずに、MLLM が長編ビデオをより効果的に推論することを可能にすると主張しています。

その意義は、以下の点にあります。

• 選択とトレーニングの分離: 動的解像度入力をサポートする任意の MLLM と互換性のあるプラグ＆プレイ型の前処理モジュールとして機能します。
• 「トークン予算」の最適化: 視覚トークン割り当てを結合最適化問題として扱い、計算リソースを最も情報豊富で一意な視覚的証拠に集中させることを保証します。
• 長編ビデオへのスケーリング: DPP の複雑さを線形時間まで削減することで、数千フレームのビデオに対するグローバルな多様性感知選択を実用的にし、これまでに二次的な計算コストによって制限されていたタスクを可能にします。

著者らは、LDDR が多様なモデルアーキテクチャおよびビデオ長にわたって一貫した利益を提供しつつ、高い推論効率を維持しながら、効率的な長編ビデオ理解に向けた堅牢な一歩を表すと結論付けています。