技術概要：OTT-Vid

問題定義

ビデオ大規模言語モデル（Video-LLM）がより長く複雑なビデオを処理するようにスケールするにつれ、それらは重要な推論ボトルネックに直面しています：フレーム全体にわたる視覚トークンの蓄積が、シーケンス長と計算コストを劇的に増加させることです。トレーニングフリーのトークン圧縮は実用的な解決策を提供しますが、既存の時間的圧縮手法は主に 2 つの限界に苦しんでいます：

1. 類似性への過剰依存：現在の手法は、主にフレーム間トークンの類似性やセグメンテーションヒューリスティックに依存しています。それらは、無情報な背景の反復と、意味的に重要なコンテンツ（静止物体など）の持続性を区別することに失敗します。その結果、高い類似性は、時間的証拠の積極的な圧縮につながり、時間的グラウンディングなど、持続時間、連続性、イベント境界の検出を必要とするタスクのパフォーマンスを低下させます。
2. 静的な予算配分：既存のアプローチは、圧縮を配分問題として明示的に扱いません。それらは、異なるフレームペアの可圧縮性の変化に適応しない、均一な圧縮閾値またはハード境界を適用します。これにより、非常に冗長な領域の圧縮不足と、重要な時間的証拠を含むフレームの過剰圧縮が生じます。

手法：OTT-Vid

著者は、OTT-Vidを提案します。これは、適応的な予算配分を伴う**最適輸送（OT）**問題として時間的トークン圧縮を定式化するトレーニングフリーのフレームワークです。この手法は、2 つの結合された段階で動作します：

1. 空間的プルーニングと質量割り当て

時間的圧縮の前に、各フレームはフレーム内の冗長性を除去するために独立した空間的プルーニングを受けます。

• 選択：注目度重み付けされたカバレッジ目的関数が、代表的なトークンを貪欲に選択します。これは、トークンの冗長なクラスターへの崩壊を防ぐために、意味的重要性（注目度）と代表性（カバレッジ）のバランスを取ります。
• 質量割り当て：「1 つ除外（leave-one-out）」戦略が、保持された各トークンの代替不可能な貢献度を定量化します。トークンを除去することが元のフレームの表現を著しく劣化させる場合、それは重要であるとみなされます。
• 逆質量：重要なのは、輸送質量 $m_t$ がトークンの重要性に逆に割り当てられることです。意味的に重要なトークンはより小さな質量（圧縮への抵抗）を受け取り、情報が少ないトークンはより大きな質量（転送の促進）を受け取ります。これにより、保存の優先順位が直接 OT の周辺制約に符号化されます。

2. 時間的圧縮のための最適輸送

隣接するフレーム（$t$ と $t+1$）間の時間的圧縮は、エントロピー正則化された OT 問題として解かれます。

• コスト関数：輸送コストは、意味的 dissimilarity（コサイン距離）と空間的距離を組み合わせます。混合係数 $\alpha_t$ はシーン運動に基づいて動的に適応します：静的シーンでは、視覚的に類似しているが空間的に遠い物体のマッチングを防ぐために、空間的局所性がより高く重み付けられます。動的シーンでは、より大きな変位を越えたマッチングを可能にするために、意味的 dissimilarity が支配的になります。
• 輸送計画：OT 問題を解くことで、トークンの対応関係をランク付けする結合行列 $P_t$ が得られます。高い結合値は、圧縮（マージまたはプルーニング）の候補を示します。
• 輸送の難易度：輸送計画の総コスト（$W_t$）は、フレームペアの「可圧縮性」の指標として機能します。低い $W_t$ は高い冗長性（圧縮しやすい）を意味し、高い $W_t$ はユニークな時間的証拠の存在を意味します。

3. 適応的予算配分

このフレームワークは、$W_t$ に基づいて、すべての隣接フレームペアにわたってグローバルな圧縮予算を不均一に分配します。

• 逆配分：負の softmax を使用して、輸送難易度が低い（冗長性が高い）ペアはより大きな圧縮予算を受け取り、難易度が高い（冗長性が低い）ペアはより小さな予算を受け取ります。
• 実行：圧縮は並列して実行されます。選択されたソーストークンは、コストが閾値 $\tau_c$ 未満であれば宛先とマージされるか、またはプルーニングされます。連続するフレームにわたるマージの連鎖は、グローバルな一貫性を確保するために union-find アルゴリズムを通じて解決されます。

主要な貢献

1. 重要性を考慮した時間的圧縮：以前の類似性駆動型手法とは異なり、OTT-Vid はフレーム内トークンの重要性を時間的圧縮プロセスに統合します。重要なトークンに逆質量を割り当てることで、類似性ベースの手法が通常破棄する持続時間と連続性の証拠を保持します。
2. 輸送に由来する予算配分：本論文は、輸送難易度（$W_t$）を介して各フレームペアの可圧縮性を推定する原理的な手法を導入します。これにより、ビデオコンテンツの特定の冗長性特性に適応する、動的で不均一な予算配分が可能になります。
3. 統合フレームワーク：OTT-Vid は、輸送計画を介したトークンレベルの圧縮決定と、輸送難易度を介したペアレベルの予算配分を、単一の最適輸送定式化の中で統合します。

実験結果

著者は、OTT-Vid を 6 つのベンチマークで評価しました：4 つのビデオ質問応答（VQA）データセット（MVBench, VideoMME, LongVideoBench, MLVU）と 2 つのビデオ時間的グラウンディング（VTG）データセット（Charades-STA, TimeLens アノテーション付きの ActivityNet-Captions）。

• パフォーマンスの保持：Qwen2.5-VL-7B バックボーンにおいて、OTT-Vid は元のトークンの**10%のみを保持しながら、圧縮されていない VQA パフォーマンスの95.8%と VTG パフォーマンスの73.9%**を保持します。
• 比較：これは、最先端のトレーニングフリーのベースライン（HoliTom, FastVID, FlashVID, UniComp）を一貫して上回ります。パフォーマンスの差は、時間的証拠の喪失により類似性駆動型手法が深刻な劣化（約 50-60% の保持率への低下）を被る VTG タスクで最も顕著です。
• 汎用性：この手法は、異なる Video-LLM バックボーン（LLaVA-OneVision, LLaVA-Video）およびさまざまなトークン保持率において頑健性を示します。
• 効率性：OTT-Vid は、ピークメモリ使用量が他の効率的な手法と同等である一方で、Time-to-First-Token（TTFT）で 2.0 倍の高速化を達成し、圧縮オーバーヘッドが推論の利益を相殺しないことを確認しました。

意義と主張

本論文は、OTT-Vid の主な意義が、意味的持続性と視覚的類似性を分離する能力にあると主張しています。重要性を考慮した質量を伴う輸送問題として時間的圧縮を扱うことで、この手法は、以前の類似性ベースのヒューリスティックが失敗した複雑な時間的推論タスクに必要な「証拠」を成功裏に保持します。

著者は、彼らのアプローチがトレーニングフリーであることを強調しており、再トレーニングの必要性なく既存の事前学習済み Video-LLM と互換性があることを保証しています。彼らは、現在の手法が初期の空間的にプルーニングされたセットから並列に輸送計画を計算し（早期の圧縮によって引き起こされる表現の変化を無視している）と指摘していますが、この設計選択は低オーバーヘッドと単一パスの効率性を優先しています。将来の研究では、輸送計画を洗練するために逐次実行を検討する可能性がありますが、これには計算コストの増加が伴います。

要約すると、OTT-Vid は、トークンの重要性とフレーム間冗長性のバランスを取る理論的に裏付けられた適応メカニズムを提供することで、長ビデオ推論の重要なボトルネックに対処し、積極的な圧縮下での時間的忠実度を保持する点で既存の手法を大幅に上回ります。