技術概要：ST-SimDiff

問題提起

マルチモーダル大規模言語モデル（MLLM）は、長編動画を処理する際に、計算およびストレージのボトルネックに直面している。標準的なパラダイムでは、動画をフレームの系列としてサンプリングし、各フレームを数百から数千の視覚トークンに変換する。動画の持続時間と解像度が増加するにつれて、トークン数は爆発的に増加し、自己注意機構の二次的な複雑さ（$O(N^2)$）に起因する計算コストが許容不可能なレベルに達する。

既存のトークン圧縮手法は、一般的に以下の 2 つのカテゴリに分類される：

1. 重要度に基づく剪定：低い注意スコアを持つトークンを削除する（例：FastV, FasterVLM）。
2. 類似性に基づくマージ/選択：フレーム内または隣接フレーム間での高い類似性に基づいてトークンを結合または選択する（例：FrameFusion, VisionZip）。

著者らは、現在の手法には 2 つの決定的な限界を特定している：

• 結合された時空間モデルの欠如：既存の手法は、空間的および時間的な相関を個別に扱うことが多く、両方の次元の相互作用に依存する複雑な動的イベントを捉え損ねている。
• 「差異」の軽視：現在の手法は冗長性を削減するために、情報の共通点（類似性と重要度）に重点を置いている。しかし、重要な変化、転換点、動的なシフトを見逃しがちである。動画の物語はしばしばこれらのイベントによって駆動されるため、類似性のみを求めるモデルは、突然の動作を滑らかにしてしまい、誤解を招くリスクがある。

手法：ST-SimDiff

本論文は、冗長性の特定（時空間類似性）と主要イベントの捕捉（時間的差異）のバランスを取る、トレーニング不要なフレームワークであるST-SimDiffを提案する。この手法は、視覚トークンから構築された時空間グラフ上で動作し、並列の二重選択戦略を採用する。

1. 時空間グラフの構築

視覚トークン $T = \{t_1, \dots, t_N\}$ をグラフ $G=(V, E)$ の頂点としてモデル化する。辺集合 $E$ は以下の和集合である：

• 空間的辺（$E_S$）：同じフレーム内で空間的に隣接するトークンを接続する。
• 時間的辺（$E_T$）：隣接するフレーム間で同じ空間位置にあるトークンを接続する。
  辺の重みは、接続されたトークンの特徴ベクトルのコサイン類似度によって定義される。

2. 二重選択戦略

このフレームワークは、2 つの並列選択プロセスを実行する：

A. 類似性に基づく代表トークン選択（SRTS）

• 目的：静的で冗長な内容を圧縮する。
• プロセス：
  1. 類似度閾値 $\tau_{sim}$ 以上の重みを持つ辺のみを保持するようにグラフを閾値処理する。
  2. 非常に類似したトークンのクラスターを特定するために、コミュニティ検出アルゴリズム（実装では連結成分）を適用する。
  3. 各コミュニティ内で、各トークンのクラスター内の他のトークンとの平均類似度に基づいて中心性スコアを計算する。
  4. 各コミュニティから中心性スコアが最も高い上位トークンを保持し、集合 $T_{rep}$ を形成する。

B. 差異に基づくイベントトークン選択（DETS）

• 目的：主要な動的シフトと転換点を捉えるトークンを保持する。
• プロセス：
  1. グラフ内の時間的辺（$E_T$）を分析する。
  2. 類似度が急激に低下する（つまり、重みが差異閾値 $\tau_{diff}$ 以下になる）時間的に隣接するトークンのペアを特定する。
  3. そのようなペアの後続トークンを重要なイベントトークンとしてマークし、集合 $T_{trans}$ を形成する。

3. 最終削減

最終的なトークン部分集合は、代表トークンとイベントトークンの和集合（$T_{candidate} = T_{rep} \cup T_{trans}$）である。この集合のサイズが目標予算（圧縮率 $r$ によって決定される）を超えている場合、最終的な剪定ステップで浅い LLM レイヤーに基づく最低の注意スコアを持つトークンを削除し、トークン数の制約を厳密に満たす。

主な貢献

1. 新たな視点：著者らは、動画トークン圧縮において類似性と差異に同等の重要性を与えるべきであると提案し、類似性は冗長性を特定し、差異は重要な瞬間を捉えることを論じている。
2. 時空間グラフフレームワーク：複雑な時空間関係のための統一モデルであり、代表トークンと枢要なイベントトークンの同時スクリーニングを可能にする。
3. 二重選択戦略：静的圧縮のためのコミュニティ検出と、動的保持のための時間的差異分析を組み合わせた新しいメカニズム。
4. トレーニング不要の効率性：この手法は追加のトレーニングを必要とせず、パフォーマンスを維持または向上させながら、大幅な計算節約を実現する。

実験結果

この手法は、VideoMME、LongVideoBench、EgoSchemaの 3 つの長編動画理解ベンチマークで評価され、ベースモデルとしてLLaVA-Video-7BおよびNVILA-8Bが使用された。

• パフォーマンス：ST-SimDiff は、すべての設定において、FastV、PruMerge、FasterVLM、VisionZip、FrameFusionを含む最先端のベースラインを一貫して上回った。特に、50% のトークン保持率において、ST-SimDiff のいくつかのベンチマークでのパフォーマンスは、元の圧縮されていないモデル（100% トークン）と同等かそれ以上であった。
• アブレーション研究：
  • 類似性モジュールの追加（+Sim）は、ベースラインに対してパフォーマンスを向上させた。
  • 時空間結合モデルは、空間モデルまたは時間モデルの単独使用よりも効果的であった。
  • 差異モジュールの追加（++Diff）は、特に高い圧縮率（30%）において大幅なパフォーマンスの飛躍をもたらした。これは、物語に不可欠なイベントを保持するための安全網としての役割を確認するものである。
• 計算効率：
  • 推論時間：128 フレームの動画において、ST-SimDiff はベースラインと比較して推論時間を最大 30.2% 削減した。
  • メモリ使用量：128 フレームの動画において、ピーク GPU メモリ使用量は 31.7% 削減され、メモリが限られたハードウェアでのより長い動画の処理を可能にした。
  • 複雑性：このフレームワークは線形複雑さ $O(Nd)$ で動作し、自己注意機構の二次的な複雑さよりも著しく低い。

意義

本論文は、ST-SimDiff が既存の動画理解研究における重要な盲点に対処していると主張している。それは、動画の物語を駆動する「差異」を軽視しながら、類似性を優先する傾向である。時空間グラフを構築し、二重選択戦略を採用することで、この手法は冗長な静的情報の圧縮と本質的な動的イベントの保持の間に堅牢なバランスを達成する。このアプローチは、効率的な動画理解のための原理的かつ適応的な解決策を提供し、劇的に削減されたトークン予算でも高品質な動画理解を維持できることを実証している。