技術概要：Video LLMs 向け ST-GridPool

問題提起

近年のマルチモーダル大規模言語モデル（MLLM）は動画理解を進展させたが、重要なボトルネックに直面している。すなわち、複雑な時空間相互作用を保持しつつ、視覚トークンを効率的に圧縮することである。LLaVA ファミリーなどの既存の Video LLM は、通常、自己注意メカニズムの二次的な複雑さを低減するために、単純な 2 次元プーリングまたは補間を利用している。しかし、これらの手法はすべての空間的および時間的トークンを均等に扱い、動画コンテンツの不均質な性質を見落としている。その結果、高情報領域（例えば、注目すべき物体）の喪失や、急速な微細運動から漸進的なシーンの変化に至るまで、多段階の時間的ダイナミクスを捉えられないという問題が生じる。さらに、既存のトークン圧縮戦略のほとんどは、高コストな再学習や特定のアーキテクチャ変更を必要とし、プラグアンドプレイのソリューションとしての適用性を制限している。

手法：ST-GridPool

これらの限界に対処するため、著者は Video LLM 向けに設計された、新しいトレーニング不要の視覚トークン強化手法「ST-GridPool」を提案する。このアプローチは、モデルパラメータを変更したり再学習を必要としたりすることなく、時間的および空間的次元にわたって視覚トークンを洗練させる、2 つの相乗的なコンポーネントで構成される。

1. ピラミッド時間グリッド化（PTG）

PTG は、階層的なグリッド化戦略を導入することで、均一な時間サンプリングの限界に対処する。

• メカニズム: 動画シーケンスは複数の層に分割され、各層は長さの異なるセグメント（$K_l = K \cdot 2^{l-1}$）に対応する。
• プロセス: 各セグメントに対して、フレームのサブセットが均一にサンプリングされ、空間的に連結されて中間トークングリッドを形成する。このグリッドは、二重線形補間を通じて元の解像度にリサイズされ、「要約トークン」を生成する。
• 更新: 各セグメントの最後のフレームは、この要約トークンで更新される。
• 利点: これにより、モデルは微細な（短期的）および粗い（長期的）時間的ダイナミクスを同時に捉えることが可能となり、追加の学習可能パラメータなしに時間表現を豊かにする。

2. ノルムベース空間プーリング（NSP）

NSP は、トークンノルムと意味的豊かさの相関を利用することで、均一な空間ダウンサンプリングの問題に対処する。

• 観察: HKU-IS データセットにおける実験により、視覚トークンの L2 ノルムと注目すべき物体の存在との間に強い正の相関があることが明らかになった。背景領域は通常、低いノルムを示すのに対し、高情報領域は高いノルムを示す。
• メカニズム: NSP は、動的な 2 次元重み付きプーリングアプローチを採用する。スライディングウィンドウ内で、各トークンの L2 ノルムを計算し、softmax 関数を用いて正規化することで、適応的重み（$\alpha_{m,n}$）を生成する。
• プロセス: プーリングされたトークンは、ウィンドウ内の視覚特徴の重み付き和として計算され、重みはトークンのノルムによって決定される。
• 利点: この戦略は、意味的に豊かな領域（高ノルムトークン）を選択的に増幅し、低情報の背景を抑制することで、圧縮中に重要な視覚詳細が保持されることを保証する。

主要な貢献

本論文は、3 つの主要な貢献を概説している。

1. 初のトレーニング不要の動画専用強化: 著者は、再学習なしで動作する、Video LLM 向けに特別に設計された初の視覚トークン強化手法を提案する。これは、計算効率を維持しながらパフォーマンスを向上させるために圧縮プロセスを最適化する。
2. 新しいアーキテクチャコンポーネント:
   • ピラミッド時間グリッド化: 異なる時間長にわたる多段階の時空間相互作用を捉えるための階層的戦略を導入する。
   • ノルムベース空間プーリング: トークンノルムと意味的重要性の間の正の相関を利用し、圧縮中に高価値な視覚情報を効果的に保持する。
3. 実証的検証: 6 つの動画理解データセットにわたる広範な実験により、複数の最先端モデル（LLaVA-Video、LLaVA-OneVision）および多様なタスクにおいて、一貫したパフォーマンス向上が実証された。

実験結果

この手法は、長動画理解（VideoMME、LongVideoBench、EgoSchema）および一般動画理解（NexT-QA、TempCompass、MVBench）のベンチマークにおいて、広く採用されている Video LLM（LLaVA-OneVision-7B および LLaVA-Video-7B）で評価された。

• パフォーマンス向上: ST-GridPool は、すべてのデータセットで一貫した改善を達成した。例えば、LLaVA-Video-7B において、VideoMME で +0.9%、LongVideoBench で +1.9%、MVBench で +1.2% のスコア向上を記録した。
• トークン削減効率: 厳格なトークン予算（30% および 50%）下での主要なトークン削減手法との比較において、ST-GridPool は FastV、PruMerge、FrameFusion などのベースラインを上回った。特に、より厳格な 30% の予算下では、3 つの長動画ベンチマークすべてで最高スコアを達成した。
• 計算効率: この手法は、ベースラインと比較して推論時間とピーク GPU メモリ使用量の両方を大幅に削減する二重の最適化を示し、入力フレーム数が増加するにつれて節約効果はより顕著になった。
• アブレーション研究: PTG または NSP のいずれかを除去するとパフォーマンスが低下し、両方のコンポーネントが必要かつ相補的であることを確認した。最適なハイパーパラメータは、温度 $\beta=1$ および L2 ノルム（$p=2$）であった。

意義と主張

本論文は、ST-GridPool を、効率的なトークン圧縮と複雑な時空間相互作用の保持の間のギャップを埋める、スケーラブルな「プラグアンドプレイ」ソリューションとして位置づけている。著者は、この手法が、高コストなアーキテクチャ変更や再学習を必要とせずに視覚トークン表現を強化するための強力なパラダイムを提供すると主張している。ノルムベースの重み付けと階層的な時間モデリングを通じて意味的に意味のある詳細の保持を最大化することで、ST-GridPool は既存の Video LLM が、特に長距離依存関係や動的な活動の分析を必要とするシナリオにおいて、より頑健で正確な動画理解を達成することを可能にする。コードは公開され、さらなる研究と採用を促進する。