技術サマリー：OmniDrop

問題提起

Omni-modal 大規模言語モデル（Omni-LLMs）は、テキスト、音声、動画を統合したホリスティックなマルチモーダル理解において大きな可能性を示しています。しかし、リアルタイムアプリケーションや長文脈推論における決定的なボトルネックは、高解像度の時間的データによって引き起こされる「トークンの爆発」です。音声および動画信号はテキストに比べてはるかに多くのトークンを生成します（例えば、1 分間の動画クリップは 1 万を超えるトークンに投影され得る）ため、計算コストとメモリオーバーヘッドが二次関数的に増大します。

既存の Omni-LLM 向けトークン圧縮手法は、通常入力埋め込みレベルでプルーニングを実行します。これらのアプローチは、音声・動画トークンが共有表現空間または時間的共起性を通じて意味的に整合していると仮定しています。しかし、著者らはこれらの仮定が以下の 2 つの主要な理由から信頼性に欠けると主張しています：

1. LLM 前段階での弱い整合性（Weak Pre-LLM Alignment）： 音声および動画の埋め込みは、処理前の LLM 埋め込み空間内で明確に異なる部分空間を占めており、クロスモーダルなコサイン類似度が低く、意味的な関係性を特定する上で失敗します。
2. 信頼性の低い時間的共起性（Unreliable Temporal Co-occurrence）： 同時発生する音声と視覚的イベントが、必ずしも意味的な対応を意味するわけではありません（例：背景音楽や画面外のナレーションは、視覚的なコンテンツと整合しない場合があります）。

その結果、埋め込み距離や共起性に基づく入力レベルのプルーニングは、しばしば重要なモダリティ固有の証拠を破棄し、サブオプティマルなトークン選択を招きます。

手法：OmniDrop

これらの限界に対処するため、著者らはOmniDropを提案します。これはトレーニング不要の、層ごとのトークンプルーニングフレームワークです。先行手法とは異なり、OmniDrop は入力段階ではなく、LLM のデコーダ層内でトークンを漸進的にプルーニングし、以下の 3 つの中核メカニズムを利用します：

1. 漸進的層別トークンプルーニング（Progressive Layer-wise Token Pruning, PLP）

Omni-modal 情報の融合がデコーダ層を通じて漸進的に起こるという観察に動機づけられ、OmniDrop は動的なプルーニングスケジュールを採用します。

• 初期層： 音声と動画ストリーム間の十分な Omni-modal 情報の融合と統合を可能にするため、プルーニングは慎重（低い比率）に行われます。
• 深層： モデルが明確なクエリ関連トークンの選好を形成した後、プルーニングは積極的（高い比率）に行われます。
• 実装： 層 $l$ に対するプルーニング比率 $p_l$ はシグモイド関数に従います：
  $$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$$
  これにより、浅い層では統合のためにトークンを保持し、情報的なトークンがより識別可能になる深い層ではトークンを除去することが保証されます。

2. クエリ導出トークン重要度

音声トークンと動画トークンを直接比較するのではなく、OmniDrop はテキストクエリを意味的媒介として使用します。

• メカニズム： 音声および動画トークンの重要度スコア $S$ は、テキストトークンから音声・動画トークンへの平均アテンションスコアに基づいて計算されます：
  $$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$$
• 適応性： これにより、モデルはタスク要件に基づいてトークン予算を動的に割り当てることができます。音声中心のタスクではより多くの音声トークンを保持し、動画中心のタスクではより多くの動画トークンを保持します。これにより、特定のクエリに対する情報損失を最小限に抑えます。

3. 時間的多様性スコア（Temporal Diversity Score, TDS）

主要なアテンションピークから時間的に離れたトークンの過剰なプルーニング（これによりグローバルコンテキストの喪失につながる可能性）を防ぐため、OmniDrop は多様性メトリックを導入します。

• プロセス：
  1. 最も高い重要度スコアを持つトークンを含む「キーチャンク」$c_{max}$ を特定します。
  2. 最低スコアのトークンの候補バッファを選択します。
  3. $c_{max}$ からの正規化された時間的距離 $D$ を計算します。
  4. 最終スコアを補強します：$S_{TDS} = S + \lambda_{div} \cdot D$。
• 効果： 主要なアテンションピークから時間的に遠いトークンはスコアブーストを受け、シーケンス全体でのバランスの取れたトークンの生存を促し、グローバルな時間的コンテキストを保持します。

4. モダリティ内プルーニング

トークンを LLM に投入する前に、OmniDrop は冗長性を除去するために独立したモダリティ内プルーニングを実行します：

• 音声： 音声エンコーダの最終層からの最も高いアテンションスコアを持つトークンを保持します。
• 動画： コサイン類似度に基づいて連続する冗長な視覚トークンをフィルタリングするために、Temporal Token Merging（TTM）を使用します。
• 結果： この前処理により、層別プルーニングが開始される前に初期トークン数が約 45% に削減されます。

主な貢献

1. 入力レベルの限界の分析： 本論文は、LLM 前段階の埋め込みにおける不十分な整合性と、意味的関連性の代理としての時間的共起性の信頼性の低さにより、入力レベルの音声・動画類似性がトークンプルーニングにとって弱いシグナルを提供することを示しています。
2. OmniDrop フレームワーク： テキストクエリを活用してモダリティ非依存かつタスク適応的なトークン選択を行う、新規のトレーニング不要な層別プルーニングフレームワークです。漸進的プルーニングスケジュールと時間的多様性スコアを採用し、効率性とコンテキスト保持のバランスを図っています。
3. 実証的検証： 多様なベンチマーク（VideoMME, WorldSense, AVUT）における広範な実験により、OmniDrop が既存の SOTA トレーニング不要手法（OmniZip, DASH）を上回る性能を発揮し、同時にレイテンシとメモリ使用量を大幅に削減することが示されました。

実験結果

Qwen2.5-Omni（7B および 3B モデル）で評価した結果、OmniDrop は以下を達成しました：

• 性能向上： すべてのベースラインを最大3.58 ポイント上回りました（特に 7B モデルにおける AVUT ベンチマークで）。注目すべきは、30% のトークン保持率において、OmniDrop が VideoMME において 100% フルトークンベースラインを上回ったことです。
• ロバスト性： 極端な圧縮（20% 保持）下でも、OmniDrop は 1.0 ポイント以上低下したベースラインと比較して、最小限の性能低下（平均 0.18–0.47 ポイントの低下）を示しました。
• 効率性： フルトークン推論と比較して、プレフィルレイテンシを最大40%、GPU メモリ使用量を最大**14.7%**削減し、競争力のある性能を維持しました。
• タスク適応性： 分析により、クエリ導出メカニズムが特定のタスクのニーズにトークン保持率を成功裏に適応していることが確認されました（例：音声認識タスクではより多くの音声を、シーン認識タスクではより多くの動画を保持する）。

意義と主張

本論文は、OmniDrop が、トークンプルーニングを入力レベルからデコーダ層へと根本的にシフトさせることで、スケーラブルで応答性の高い Omni-LLM に対する実用的な解決策を提供すると主張しています。テキストクエリをガイダンスシグナルとして活用し、Omni-modal 融合の漸進的な性質を認識することで、この手法はモデルの再トレーニングやアーキテクチャの変更を必要とせず、優れた効率と性能のトレードオフを達成します。

著者らは限界を認めており、この手法が現在、トークン選択のためにテキストプロンプトに依存しているため、音声/動画のみの入力シナリオでの使用が制限されていることを指摘しています。さらに、トレーニング不要のフレームワークであるため、ハイパーパラメータ（プルーニングスケジュールなど）は学習されるのではなく、経験的に決定されます。今後の研究では、テキストガイダンスなしで意味的関係を捉える方法や、較正データを通じてプルーニング決定を最適化する手法の探求を目指しています。