OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

技術要約: OmniFocus

問題提起
Omni-modal 大規模言語モデル（OmniLLMs）は、音声とビデオを共同で処理する能力を示しており、音声・視覚的理解、共感的推論、キャプション生成などのタスクを可能にしています。しかし、音声・視覚入力は膨大なトークンシーケンスを生成するため、推論コストが大幅に増大し、長尺の設定やリソース制約のある環境での適用を制限しています。トークン圧縮は、単一モードまたは視覚言語モデルにおける推論コストを削減するための標準的な解決策ですが、OmniLLMに適用する場合、特有の課題が生じます。すなわち、その手法は音声のエビデンス、視覚のエビデンス、およびクロスモーダルな整合性を同時に保持しなければなりません。

OmniZipなどの既存の音声・視覚トークン圧縮手法は、通常、単一モードによるガイダンス（例：両方のモダリティの圧縮をガイドするために音声アテンションを使用する）に依存しています。著者らは、このアプローチにおける2つの決定的な限界を特定しています。

1. 時間的局所性の無視: 単一モードによるガイダンス手法は、クエリに関連するエビデンスの時間的局所性を考慮できないことが多く、情報の密度がモダリティ間で一様に分布しているか、あるいは整列していると仮定してしまいます。
2. モダリティ・バイアス: 単一のモダリティをガイドとして使用することで、これらの手法は、ガイドとなるモダリティの情報密度の分布がもう一方のモダリティにも適用されるということを暗黙のうちに仮定しています。これにより、ガイドとなるモダリティへの過学習を招き、共同的な音声・視覚推論や、非ガイド側のモダリティを必要とするタスクにおける性能を低下させます。

手法: OmniFocus
著者らは、モダリティ対称的な圧縮を実現するために設計された、トレーニングフリーのクエリ誘導型トークン圧縮手法であるOmniFocusを提案しています。一方のモダリティを用いて他方をガイドする従来のアプローチとは異なり、OmniFocusはテキストクエリに基づいて、ビデオと音声に対して独立した重要度推定を行います。この手法は、トークンがLLMバックボーンに消費される前の3つのステージで動作します。

1. クエリ認識型モダリティ・スコアリング:

   • 音声およびビデオのトークンと同じ入力空間を共有することを確実にするため、LLMの埋め込み層からクエリ・トークンを抽出します。
   • 各時間チャンクについて、クエリ表現とチャンク内のトークンとの間の最大コサイン類似度を測定することにより、ビデオと音声の関連度スコアを独立して算出します。
   • この「最大類似度（max-similarity）」アプローチは、関連する情報が均一に分布しているのではなく、特定のトークンに集中している可能性があることを考慮し、疎なクエリ一致エビデンスを効果的に捉えます。

2. チャンク単位の予算配分:

   • 関連度スコアは圧縮スコア（関連度が高いほど圧縮率が低くなる）に変換されます。
   • これらのスコアは、モダリティ固有のグローバルな予算制約の下で、各チャンクのローカルなドロップ比率へとマッピングされます。
   • キャリブレーション工程により、合計保持トークン数が目標とするグローバル保持率（例：25%または35%）と一致するようにしつつ、異なる時間チャンクやモダリティが適応的なローカル予算を受け取れるようにします。

3. デュアル・スコア・トークン選択:

   • 各チャンクおよび各モダリティ内において、クロスモーダルな整合性とモダリティ固有の顕著性の両方を保持するために、2つの補完的な基準に基づいてトークンを選択します。
     • 相互モダリティ関連性 (Inter-modal Association): 同一チャンク内の他方のモダリティの平均表現に対する類似度によってトークンをスコアリングします。これにより、音声・視覚の対応関係を保持します。
     • 単一モダリティ内ピーク (Intra-modal Peak): 自身のモダリティの平均に対する特異性によってトークンをスコアリングします。これにより、クロスモーダルな整合性だけでは見落とされる可能性のある、特定のモダリティに固有のエビデンスを保持します。
   • 最終的な選択では、保持されるトークンを、最も高い関連度スコアを持つものと、最も高いピークスコアを持つものに等分に分割します。

主な貢献

1. モダリティ・バイアスの特定: 本論文は、OmniLLMにおける単一モダリティ誘導型の圧縮がモダリティ・バイアスを引き起こし、非ガイド側のモダリティや共同推論を必要とするタスクの性能を低下させることを実証的に検証しました。
2. OmniFocusフレームワーク: 対称的な圧縮を実行する、トレーニングフリーのクエリ誘導型手法を導入しました。これは音声とビデオに対して個別にクエリ関連性を推定することで、バイアスを軽減しつつ、相互モダリティの関連性と単一モダリティ内のピークを保持します。
3. 実証的検証: 4つの音声・視覚ベンチマーク（DailyOmni, WorldSense, OmniVideoBench, VideoMME）にわたる広範な実験を通じて、OmniFocusが良好な精度と効率のトレードオフを実現することを証明しました。

結果
実験はQwen2.5-Omni-3BおよびQwen2.5-Omni-7Bモデルファミリーを用いて行われました。

• 性能: 25%のトークン保持率において、OmniFocusはいくつかの主要なベンチマーク・スコアで既存のベースライン（OmniZip, DyCoke, Random）を上回りました。
  • DailyOmni (Qwen2.5-Omni-7B) では、OmniFocusは59.40%の精度を達成し、OmniZipの57.73%、DyCokeの54.37%を上回りました。
  • WorldSenseでは、OmniFocusはすべてのモデル・予算設定において最高の圧縮結果を達成し、3BモデルにおいてOmniZipを最大1.04ポイント上回りました。
  • VideoMMEでは、4つの設定すべてにおいて最高の圧縮平均スコアを達成しました。
• 効率: OmniFocusは大幅なスピードアップを実現しました。DailyOmniの7Bモデル（25%保持）において、フルトークン・ベースラインと比較して、1.38倍のプリフィル（prefill）高速化および1.32倍のエンドツーエンド高速化を提供しつつ、他の圧縮手法よりも高い精度を維持しました。
• アブレーション研究: 著者らは以下を確認しました：
  • 最大類似度スコアリングは、平均類似度よりも優れている。
  • スコアベースの適応的配分は、ランダムまたは一様配分よりも優れている。
  • ハイブリッドな相互モダリティおよび単一モダリティのトークン選択戦略は極めて重要であり、片方にのみ依存すると性能低下を招く。
  • モダリティ・バランス・スコアリング（両方の音声とビデオを考慮する）は、単一モダリティ・スコアリングよりも堅牢である。

意義と主張
本論文は、クエリ誘導型のモダリティ対称的な圧縮が、単一モダリティ誘導型のトークン予算管理よりも、長尺の音声・視覚理解において信頼できる設計選択であることを主張しています。OmniFocusの意義は、モデルの再学習を必要とせずに、従来の非対称な圧縮戦略に内在するモダリティ・バイアスを軽減できる点にあります。クロスモーダルな対応関係とモダリティ固有の顕著なエビデンスの両方を保持することで、OmniFocusは、高い忠実度で音声・視覚的推論を実行しながら、リソース制約のある環境でOmniLLMを効率的に動作させることを可能にします。著者らは、本手法が効果的である一方で、凍結された入力埋め込みに依存しているため、初期のトークン埋め込みがクエリの意図を完全には捉えきれないような微細なイベントに対しては精度が低くなる可能性があること、また、Qwen2.5-Omniファミリー以外のアーキテクチャへの汎用性についてはさらなる評価が必要であると述べています。