💻 computer science

OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

OmniSelect は、OmniLLM におけるマルチモーダルトークンシーケンスを性能を維持しつつ効率的に削減するために、クロスモーダル関連性に基づいて圧縮戦略を動的に選択・適用する、トレーニング不要かつモーダリティ適応型のトークンプルーニングフレームワークである。

原著者： Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、OmniSelect 論文の解説を、創造的な比喩を用いた平易な言葉で翻訳したものです。

大きな問題：「情報過多」による渋滞

超知的なロボットアシスタント（Omni-LLM）が、同時に動画と音声を処理できると想像してください。このロボットが動画を理解する際、単に「車」を見るだけでなく、動画を「トークン」と呼ばれる数千の小さなデジタルパズルのピースに分解します。音声も同様に行います。

もし、このロボットに長い動画と音声を同時に与えると、圧倒されてしまいます。1,000 ページの本を読みながら、10 時間のポッドキャストを同時に聴いているようなものです。ロボットはデータの「渋滞」に陥り、メモリをすべて使い果たし、単純な質問（例：「トラックの色は何だった？」）に答えるのに永遠にかかってしまいます。

これを解決するため、研究者たちは通常、作業を速くするためにパズルのピース（トークン）のいくつかを捨てようとします。しかし、ここが落とし穴です。既存の多くの方法は、不器用な掃除屋のようです。 彼らはピースをランダムに捨てたり、「万能なルール」を使ったりします。例えば、退屈な音と同時に発生した車事故の最も重要なフレームを捨てたり、背景音楽がうるさいだけで、無音で空っぽの部屋を保持したりする可能性があります。

解決策：OmniSelect（賢い編集者）

著者たちは、OmniSelectと呼ばれる新しい手法を提案しています。OmniSelect を掃除屋ではなく、切断を開始する前に視聴者が何を求めているかを正確に知っている、賢く適応的な映画編集者だと考えてください。

OmniSelect は「トレーニング不要」です。つまり、この作業を学ぶために学校に通う必要はありません。その場で何を保持し、何をカットするかを判断するための、巧妙なルールセットを使用します。

仕組み：3 段階のプロセス

1. 「関連性チェック」（誰が主役か？）

何かをカットする前に、OmniSelect は単純な質問を投げかけます。「この特定の質問に対する答えは、動画の中に隠れているのか、それとも音声の中に隠れているのか？」

軽量なツール（AudioCLIP）を使用して、質問と動画・音声をスキャンします。

シナリオ A: 「天気はどうですか？」と尋ねる場合。ツールは動画が主役だと判断します。OmniSelect は動画中心になります。動画フレームを保持し、音声をカットします。
シナリオ B: 「何の曲が流れていますか？」と尋ねる場合。ツールは音声が主役だと判断します。OmniSelect は音声中心になります。音声を保持し、動画をカットします。
シナリオ C: 「全体のシーンを説明してください」と尋ねる場合。両方が重要です。OmniSelect は均等な剪定を選択し、両方を同様にカットします。

比喩: 旅行のためにスーツケースをパッキングしている場面を想像してください。ビーチに行くなら、水着とサングラス（動画中心）をパッキングします。コンサートに行くなら、チケットと耳栓（音声中心）をパッキングします。OmniSelect はパッキングを始める前に目的地を特定するため、間違ったアイテムでスペースを無駄にしません。

2. 「動的予算」（スペースの割り当て）

どちらの「主役」（動画か音声か）がより重要かを知ると、ランダムにカットするわけではありません。動的な予算を作成します。

動画が主役の場合、「よし、予算は厳しい。動画フレームの 90% を保持し、音声は 30% のみ保持する」と言います。音声の方が主役なら、その逆を行います。動画や音声の中で最も情報量の多い部分が、ロボットのメモリで最も多くの「スペース」を確保できるようにします。

3. 「微細なカット」（Bottom-K 戦略）

各時間区間（5 秒のクリップなど）の中で、OmniSelect はどの特定のパズルピースを捨てるかを決めなければなりません。

古い方法（Top-K）: 一部の手法は、「最も大きな音」や「最も活動的な」ピースを保持します。これは、ノイズであっても、写真の中で最も鮮やかなピクセルを保持するようなものです。
OmniSelect の方法（Bottom-K）: これが論文の巧妙な捻りです。「最も大きな音」のピースを保持するのではなく、互いに最も似ていないピースを保持します。
- 比喩: 皆が話している部屋を想像してください。もし全員が全く同じことを言っているなら、一人の話を聞くだけで十分です。OmniSelect は「エコー」（冗長なトークン）を特定して沈黙させ、新しい情報を加える唯一無二の声だけを保持します。これにより、ロボットは単に最も大きな音の部分だけでなく、全体像を見ることができます。

結果：高速、軽量、そして賢明

この論文は、3B と 7B のパラメータを持つ 2 つの異なるサイズのロボット（モデル）で、実世界の動画および音声ベンチマークを用いてテストを行いました。

速度: OmniSelect はロボットを1.19 倍から 1.33 倍高速化しました。自転車からスクーターに乗り換えるようなものです。
メモリ: 約2.6GB から 2.8GBのメモリを節約しました。これは、ロボットがより重要なものを収められるように、ゴミのクローゼット全体を片付けるようなものです。
精度: データの 70% を捨てたにもかかわらず、ロボットは動画全体を読んだ場合と比較して、94% から 99%の答えを正しく導き出しました。場合によっては、「ノイズ」（冗長データ）を除去することで、すべてのデータを持っている時よりも質問に答える能力が向上しました。

まとめ

OmniSelectは、すべての動画および音声データを同等に扱うのをやめる賢いシステムです。代わりに、探偵のように行動します。

答えが目（動画）にあるのか、耳（音声）にあるのかを特定します。
それに応じてメモリ予算を割り当てます。
退屈で反復的な部分を容赦なくカットし、ユニークで重要な詳細を保持します。

その結果、再トレーニングを必要とすることなく、長い動画や複雑な音を理解しながらも、行き詰まることがない、超効率的な AI が実現します。

技術的概要：OmniSelect

問題定義

オムニモーダル大規模言語モデル（OmniLLM）は、単一の自己回帰アーキテクチャ内で音声、動画、テキストの理解を統合するために登場しました。しかし、高忠実度の動画および音声ストリームの処理は膨大な数のトークンを生成し、アテンション機構における二次的な複雑さをもたらすとともに、推論中に計算およびメモリ上の重大なボトルネックを生み出します。

単一モーダルタスク（画像、動画、音声）ではトークン圧縮が検討されてきましたが、OmniLLM に対する既存の解決策は、固定的でモーダル固有のガイダンスに依存しています。例えば、OmniZip などの手法は動画の剪定をガイドするために音声アンカーを使用する一方、他の手法は視覚的手がかりのみに依存しています。著者らは、これらの「万能型」戦略が不十分であると主張しています。なぜなら、視覚情報と聴覚情報の相対的な重要性は、クエリによって大きく異なるからです。論文に示されているように、ある質問は視覚に強く依存し、他の質問は音声を重視し、さらに一部の質問はバランスの取れた統合を必要とします。不適切なモーダルを用いて圧縮をガイドすると、重要な情報が削除され、モデルの応答が誤る可能性があります。

手法：OmniSelect

これらの限界に対処するため、著者らは**トレーニング不要でモーダル適応型のトークン剪定フレームワーク「OmniSelect」**を提案します。この手法は、固定されたガイダンス機構を回避し、特定のクエリに基づいてマルチモーダル入力に対する適切な圧縮戦略を動的に選択します。このフレームワークは、2 段階の戦略によって動作します。

1. モーダル認識型動的比率割り当て

第一段階では、グローバルな剪定戦略を決定し、各時間グループに対する剪定比率を割り当てます。

関連性推定: システムは軽量なAudioCLIPモデルを用いて、クロスモーダル関連性を推定します。テキストクエリと視覚および音声の埋め込みとの間の類似性スコアを計算します。計算コストを削減するため、動画フレームは時間的にダウンサンプリングされ、テキストは名詞と形容詞のみを保持するようにフィルタリングされます。
戦略分類: 平均類似性スコア（動画用 $\bar{s}^{(v)}$ $\overset{s}{ˉ}^{(v)}$ 、音声用 $\bar{s}^{(a)}$ $\overset{s}{ˉ}^{(a)}$ ）と閾値 $\theta$ $θ$ に基づき、システムは入力を以下の 3 つの剪定レジームのいずれかに分類します。
- 均等剪定: $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$ の場合、両方のモーダルは同等に重要であるとみなされます。
- 動画中心剪定: $\bar{s}^{(v)} > \bar{s}^{(a)}$ の場合、この戦略は動画トークンを優先します。
- 音声中心剪定: $\bar{s}^{(a)} > \bar{s}^{(v)}$ の場合、この戦略は音声トークンを優先します。
適応的割り当て: 選択されたレジーム内において、システムは各時間グループに剪定比率（ $\rho$ ）を動的に割り当てます。これは、類似性スコアが平均からの偏差に基づいたシグモイドマッピングを用いることで、クエリとの関連性が高いグループがより多くのトークンを保持しつつ、グローバルな剪定予算を満たすことを保証します。

2. 時間グループ剪定パイプライン（TGP2）

戦略と比率が決定されると、システムは各時間グループ内で微細なトークン剪定を実行します。

音声剪定: 音声エンコーダの最終層から導出されたアテンション行列に基づき、Top-K選択を用いて顕著な音声トークンが選択されます。
動画剪定: 視覚埋め込みのコサイン類似行列に基づき、Bottom-K選択を用いて顕著な動画トークンが選択されます。著者らは、アテンションシンクバイアスを回避し、計算オーバーヘッドを削減するため、アテンションベースの手法ではなく Bottom-K（他のトークンとの類似性が最も低いトークンを選択する）を選択しています。これは、冗長で相関の高いコンテンツを効果的に除去しつつ、特徴的な視覚的手がかりを保持すると主張しています。

主要な貢献

論文は、3 つの主要な貢献を概説しています。

固定ガイダンスの限界の分析: 著者らは、静的なモーダル固有のガイダンスに依存する既存の手法が、異なるクエリにおけるモーダルの重要性の変動を考慮できておらず、結果として最適化されていない圧縮につながっていることを実証しています。
OmniSelect フレームワーク: 彼らは、均等、動画中心、音声中心の剪定戦略間を動的に選択する、トレーニング不要でモーダル適応型のフレームワークを提案しています。さらに、時間グループ内で微細なトークン剪定を実行し、情報豊富なトークンを保持するために比率を適応的に割り当てます。
実証的検証: 音声・視覚ベンチマークにおける広範な実験により、OmniSelect が推論を加速し、GPU メモリオーバーヘッドを削減しながら高パフォーマンスを維持すること、およびトレーニング不要のトークン圧縮手法間で競争力のある結果を達成することが示されました。

実験結果

著者らは、Qwen2.5-Omniモデル（3B および 7B パラメータ）をWorldSense、DailyOmni、VideoMME、OmniVideoBenchの 4 つのベンチマークで評価しました。

性能維持: OmniSelect は、元のフルトークン精度の**94% から 99%**を維持します。いくつかのケース（OmniVideoBench および VideoMME の特定の設定など）では、この手法はフルトークン推論のパフォーマンスさえも上回り、冗長なトークンを除去することが予測精度の向上につながり得ることを示唆しています。
効率性の向上:
- 推論速度向上: 1.19 倍から 1.33 倍の速度向上を達成しました。
- メモリ削減: GPU メモリ消費を2.58GB から 2.77GB削減しました。
- プレフィリング時間: 70% のトークン圧縮下で、プレフィリング時間を3.53 倍から 3.62 倍削減しました。
比較: OmniSelect は、さまざまなフレーム予算および圧縮比率において、OmniZip（音声ガイド）やDyCoke（時間的マージ）などのベースラインを一貫して上回りました。この優位性は、長動画のシナリオおよび 3B モデルにおいて特に顕著で、より有利な効率と性能のトレードオフを示しました。
アブレーション研究: 実験により、剪定戦略の動的選択（動画中心、音声中心、均等間を切り替えること）が、いかなる単一の固定戦略に依存することよりも優れていることが確認されました。

意義と主張

この論文は、OmniSelect を OmniLLM 最適化における必要な進化として位置づけています。著者らは、彼らの研究の主な意義が、静的なモーダル固有のガイダンスから動的なクエリ認識型戦略選択への移行にあると主張しています。モーダル選好を明示的にモデル化し、モデルがクエリの特定の意味論的ニーズに合わせて圧縮戦略を適応させることを可能にすることで、OmniSelect は均等圧縮の落とし穴を効果的に回避します。

著者らは、彼らの手法がトレーニング不要であることを強調しており、再トレーニングや微調整を必要とせずに既存の OmniLLM に即座に適用可能であると述べています。彼らは結論として、現在の閾値ベースの選択メカニズムは効果的である一方、最適な戦略は彼らが提案する分類体系の内部に存在することが多く、主な限界は剪定そのものの表現能力ではなく、戦略選択の精度にあると述べています。今後の研究として、モーダル重要性推定のためのより堅牢なモデルの探索が提案されています。