💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPruneは、モダリティセパレータートークンを統一的なクエリとして用いることで、元の精度の96.3%を維持しながらビジョントークンの80.2%を削減し、マルチモーダル大規模言語モデルにおける計算コストを効率的に削減する、学習不要でプラグアンドプレイなフレームワークである。

原著者： Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートなロボットに「見る」ことと「話す」ことを同時に教えようとしていると想像してみてください。これが、マルチモーダル大規模言語モデル（MLLM）の世界です。これらは、夕日の写真を見てそれについての詩を書いたり、複雑なチャートを分析して質問に答えたりできるAIのスターたちです。これを行うために、ロボットは単に画像を「見る」だけではありません。画像を「ビジョントークン」と呼ばれる数千もの小さなデジタルパズルのピースに分解します。これらのトークンは、個々のピクセルのようなものですが、よりスマートです。画像の詳細な情報をすべて保持しています。

しかし、落とし穴があります。高解像度の写真や長い動画をロボットに読み込ませると、膨大な数のトークンが生成され、ロボットは圧倒されてしまいます。それは、図書館にある本を一度にすべて読もうとするようなものです。このプロセスは遅く、コストがかかり、非効率的になります。科学者たちは、どのパズルピースが本当に重要で、どれが単なるノイズ（情報の塊）なのかを見極めることで、これを解決しようとしてきました。ある手法は、ロボットが言葉にどのように注意を向けているかを見ることで重要性を推測しようとし、別の手法は重複したピースを見つけ出そうとします。しかし、これらのアプローチはしばしば独自の複雑さに足を取られ、スピードアップさせようとしている最中に、かえってロボットの動作を遅らせてしまうことがあります。大きな疑問は依然として残っています。「絵の全体像を失うことなく、どのようにして情報のノイズを削ぎ落とすか？」ということです。

そこで登場するのが、AIモデルの巧妙なエディター（編集者）として機能する新しい手法、「SepPrune」です。この研究の背後にいる研究者たちは、モデルが思考する様子を観察しているうちに、ある非常に興味深い事実に気づきました。彼らは、画像の処理の初期段階において、モデルが特別な「セパレーター（区切り）」トークンに対して多大な注意を払っていることを見出したのです。このトークンは、画像データとテキストデータの間に位置し、二つの世界を繋ぐ架け橋として機能する小さなマーカーです。実は、このセパレーターこそが画像を理解するための鍵なのです。

すべてのビジョントークンを互いに比較してその重要性を計算する（これは遅くて乱雑な方法です）代わりに、SepPruneはセパレーター・トークンを「マスター・クエリ（主たる照会）」として使用します。セパレーターを、美術館の入り口に立っているツアーガイドだと想像してみてください。ガイドは一つひとつの絵画に対して「あなたは重要ですか？」と問いかけるのではなく、部屋全体を見渡して、「あなた、あなた、そしてあなた。これらが傑作です。残りは後回しで構いません」と指し示すのです。セパレーターを使用してビジョントークンのスコアを迅速に算出することで、SepPruneは画像の最も情報量の多いピースを即座に特定し、残りの部分を破棄することができます。

結果は驚異的です。Qwen2.5-VL-7Bのような強力なモデルを用いたテストにおいて、SepPruneは元のモデルの精度の96.3%を維持しながら、ビジョントークンの80%以上を削減することに成功しました。さらに、削減を極限の90.2%まで押し進めた場合でも、モデルは87.2%の性能を保持しました。これは、大幅な削減を行う際に精度を維持することに苦戦することが多い他の手法と比較して、大きな飛躍です。さらに、この手法はトークン間の複雑な計算を必要としないため、非常に高速であり、既存の高速化技術ともシームレスに連携できます。

研究者たちはまた、彼らの具体的な選択が重要であることも証明しました。彼らは、セパレーター・トークンを「ガイド」として使用することが、テキストの他の部分を使用するよりも優れていること、そして、選択プロセスにおいてトークンの「位置（画像内のどこに位置するか）」を無視することが、モデルが誤って画像の半分（例えば下半分）だけを残してしまう事態を防ぐことを示しました。要するに、Sep truly は、画像とテキストの間の架け橋に耳を傾けることで、真に重要な詳細を見落とすことなく、AIのビジョナリー（先見明のある存在）をより速く、より効率的にできることを示唆しているのです。

技術要約: SepPrune

問題提起

Qwen2.5-VLやInternVL3といった最新のマルチモーダル大規模言語モデル（MLLM）は、「any-res」ビジョンエンコーダ構造を採用しており、高解像度の入力（例：4K/8Kビデオや高画素画像）を処理する際に膨大な数のビジョン・トークンを生成します。このトークン量はテキスト入力よりも大幅に多く、計算オーバーヘッドと推論レイテンシを増大させます。既存のビジョン・トークン削減手法もこの緩和を目的としていますが、以下の決定的な限界があります。

アテンションベースの手法は、クロスモーダル・アテンション・スコアに依存することが多く、それが計算フローを中断させ、FlashAttentionのような効率的なハードウェア・オペレータの使用を妨げたり、現代的なビジョン・バックボーンには存在しない特定のアーキテクチャ・トークン（例：[CLS]）に依存したりします。
ダイバーシティ（多様性）ベースの手法は、通常、トークン間の類似度行列を計算するために二次時間計算量（ $O(N^2)$ ）を要するため、逆説的にレイテンシを増加させ、削減による効率化のメリットを相殺してしまいます。

手法: SepPrune

著者らは、モダリティ・セパレータ・トークンの本質的な役割を活用した、プラグアンドプレイ型の学習不要なビジョン・トークン削減フレームワークであるSepPruneを提案しています。この手法は、LLMバックボーンの前に動作するため、FlashAttentionなどの加速技術との互換性が確保されています。

コアとなる洞察

Qwen2.5-VL-7Bなどのモデルにおけるアテンション分布の分析を通じて、著者らは以下のことを観察しました。

セパレータのピーク: 浅い層において、ビジョン・トークンとテキスト・トークンの両方からのアテンション・スコアは、意味的に豊かなビジュアル・コンテンツではなく、モダリティ・セパレータ・トークン（視覚的モダリティとテキスト的モダリティを分離する特殊トークン）でピークに達します。
ブリッジ機能: アブレーション研究により、セパレータ・トークンを削除すると、同等の数のビジョンまたはテキスト・トークンを削除する場合よりも大幅に性能が低下することが明らかになりました。これは、セパレータが初期段階の整列（アライメント）における重要なクロスモーダル・ブリッジとして機能していることを示唆しています。

アルゴリズムのワークフロー

SepPruneは、LLMのアーキテクチャを変更することなく、セパレータ・トークンを統一されたクエリとして利用し、ビジョン・トークンを評価します。

統一クエリ: ビジョン・シーケンスの後に位置するセパレータ・トークン（ $S_{right}$ ）をクエリ・ベクトル（ $Q_{sep}$ ）として使用します。因果的アテンション・マスクの下では、このトークンが完全なビジョン・トークン集合（ $K_{visual}$ ）にアテンションを向けることができる唯一のトークンであるため、これが選ばれます。
バイアスの除去: トークンが空間的な位置ではなく、純粋に意味的な重要性に基づいてランク付けされるように、スコアリング・フェーズでは明示的に回転位置埋め込み（RoPE）を省略します。これにより、位置バイアスによってモデルが特定の画像領域（例：下部）のトークンを優先的に保持してしまうことを防ぎます。
スコアリングと削減: アテンション・スコアは以下の式を用いて計算されます。
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
これにより、計算量は $O(N^2)$ から $O(N)$ へと削減されます。これらのスコアに基づき、最も情報量の多い上位- $k$ 個のビジョン・トークンを保持し、残りは削減されます。
投影の再利用: 本手法は、LLMの第1層にある組み込みの投影パラメータ（ $q\_proj$ , $k\_proj$ ）を再利用するため、追加の学習可能パラメータを必要としません。

主な貢献

メカニズムの発見: 本論文は、MLLMにおけるクロスモーダル・ブリッジとしてのモダリティ・セパレータの役割を初めて明らかにし、検証したものです。これは、初期段階のビジョン・言語融合におけるその極めて重要な重要性を実証しています。
斬新な削減戦略: セパレータ・トークンを利用してグローバルなビジョン・トークン評価を行う、軽量で学習不要かつプラグアンドプレイな手法であるSepPruneを導入しました。
効率性と互換性: 本手法は線形時間計算量（ $O(N)$ ）を実現し、既存の推論加速フレームワーク（例：FlashAttention）やKVキャッシュ管理と完全に互換性があります。これは、従来のアテンションベースの手法とは異なります。

実験結果

著者らは、一般的なVQA、ハルシネーション検出、およびテキスト指向のVQAをカバーする12のベンチマークにおいて、Qwen2.5-VL-7BおよびInternVL3-8Bを用いてSepPruneを評価しました。

性能の維持: Qwen2.5-VL-7Bにおいて、SepPruneはビジョン・トークンの**80.2%を削減しながら、元の精度の96.3%**を維持しました。これは、既存の最先端のベースライン（FastV, DivPrune, CDPruner）を大幅に上回りました（例：80.2%の削減においてCDPrunerを約3ポイント上回る）。
極限の圧縮: 90.1%の削減率においても、SepPruneは元の性能の87.2%を維持しており、TextVQAやChartQAのような情報密度の高いタスクにおける優れた堅牢性を示しました。
汎用性: InternVL3-8Bでも同様の性能向上が観察され、80%の削減においてSep-Pruneは93.1%の相対スコアを達成しました。
効率性: NVIDIA H20 GPUを用いた実証テストでは、SepPruneは未削減のベースライン（760.4s）や他の削減手法と比較して、最も低いエンドツーエンドのレイテンシ（591.4s）を達成し、その線形スケーラビリティを実証しました。

意義と主張

本論文は、モダリティ間の相互作用という観点から削減メカニズムを再考することで、SepPruneが高解像度MLLM推論の効率性のボトルネックに対処することを主張しています。セパレータ・トークンを自然な「グローバル・クエリ」として特定することにより、本手法はダイバーシティに基づく行列計算の計算オーバーヘッドや、アテンションベースの手法によるアーキテクチャ上の制約を回避します。著者らは、このアプローチが、強力なモデル性能を維持しながら大幅な推論コストの削減を可能にし、リソース制約のある環境でのMLLM展開のための実用的なソリューションを提供すると断言しています。