💻 computer science

Decoupled Similarity for Task-Aware Token Pruning in Large Vision-Language Models

本論文は、デカップリングされた類似性を利用してきめ細かなクロスモーダルな関連性を捉えることで、高い性能を維持しつつ計算コストを大幅に削減するタスク適応型のプルーニングを可能にする、大規模視覚言語モデルのための新しいトークンプルーニング手法であるDeSAPを提案している。

原著者： Kexin Ma, Jing Xiao, Chaofeng Chen, Geyong Min, Guibo Zhu, Jinqiao Wang, Liang Liao

公開日 2026-08-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kexin Ma, Jing Xiao, Chaofeng Chen, Geyong Min, Guibo Zhu, Jinqiao Wang, Liang Liao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに「見る」ことと「話す」ことを同時に教えようとしているところだと想像してください。あなたはロボットに写真を見せ、「猫は何をしていますか？」といった質問を投げかけます。画像を理解するために、ロボットはその画像を「トークン」と呼ばれる何千もの小さなパズルのピースに分解します。これらのトークンは、個々のピクセルのようなものだと考えてください。ただし、単なる色ではなく、それぞれが少しずつ「意味」を運んでいます。問題は、高解像度の写真の場合、単純な質問に答えるためだけに、ロボットが何千ものトークンを処理しなければならない可能性があることです。それは、外で雨が降っているかどうかを知るために、百科事典を一冊丸ごと読み通そうとするようなものです。ロボットは作業に追われ、動作は遅くなり、膨大なエネルギーを消費してしまいます。これが、大規模視覚言語モデル（LVLM）の世界です。ここでの目標は、ロボットの巨大な脳が物忘れを起こさないようにしながら、いかにしてより速く、より安価に動かすかということです。科学者たちが投げかけている大きな問いは、「ロボットが考え始める前に、退屈で無用なパズルのピースをどのようにして捨て去り、重要な部分だけに集中させるか？」ということです。

ここで、DeSAP（Decoupled Similarity-Aware Pruning：分離型類似度認識プルーニング）と呼ばれる新しい手法が登場します。これは、ロボットの脳にとっての非常に効率的なエディター（編集者）のように機能します。研究者たちは、どのパズルのピースを残すべきかを判断する従来の方法は、少し不器用であったことを見出しました。ある手法は画像そのものだけを見て、鮮やかな色や大きな形といった「目立つ」部分だけを残しますが、ユーザーが尋ねている特定の詳細を見落としがちでした。また、別の手法はロボットが話し始めてから何が重要かを判断しようとしますが、その時にはすでに、ロボットは退屈な情報の処理に時間を浪費してしまっています。

DeSAPは、これを解決するために、プロセスの開始直後に2つの賢いことを同時に行います。まず、画像を見て「顕著な（salient）」部分、つまり、緑の野原の中にある真っ赤なボールのように、自然に目立つものを見つけ出します。しかし、それだけでは終わりません。DeSAPは、ロボットが本格的な思考プロセスに入る前に、質問にも耳を傾けます。そして、「デカップルド・シミラリティ（分離された類似性）」という特別なトリックを使って、質問に含まれる特定の単語と、画像内の微細な詳細を一致させます。例えば、あなたが写真の中から「革のバッグ」を探している場面を想像してください。従来の手法では、バッグが通常存在する場所である画像の底半分全体を残したり、あるいは「重要」であるからという理由で背景全体を残したりするかもしれません。しかし、DeSAPは、探し物を正確に知っている探偵のように振る舞います。背景や人々は無視し、たとえバッグが小さかったり変な場所にあったとしても、革のバッグに特化してズームインするのです。

この論文は、これら2つの手がかり、すなわち視覚的な「派手さ」と、質問からの具体的な「タスクガイダンス」を組み合わせることで、ロボットはパズルのピースの最大88.9%を捨て去ることができ（約11%だけを残す）、それでもなお、画像全体を見た場合とほぼ同等の精度で質問に答えることができると示唆しています。LLaVA-1.5のようなモデルを用いたテストにおいて、この手法は単に時間を節約しただけでなく、ロボットを高速化させ（初期処理を2.3倍高速化）、計算能力を9分の1に抑えつつ、回答の正確性を維持しました。研究者たちは、従来の手法が単一の情報源に依存していたために、バイアスが生じたり詳細を見落としたりしたのだと主張しています。対照的に、DeSAPは、何が最も重要であるかにロボットの焦点を合わせ続ける「デュアルソース戦略」を用いることで、時には「少なく見ること」が「より明確に見ること」につながるのだということを証明しました。

技術要約：大規模視覚言語モデルにおけるタスク認識型トークン削減のためのデカップリング類似性（DeSAP）

1. 問題提起

大規模視覚言語モデル（LVLM）は、視覚的および言語的モダリティを橋渡しする上で大きな進歩を遂げているが、膨大な計算オーバーヘッドという課題を抱えている。この非効率性は、主に、特に高解像度の画像やマルチフレームビデオにおいて、テキストトークンの数を大幅に上回る大量の視覚トークンの処理に起因している。

既存の学習フリー（training-free）なトークン削減手法は、情報の少ないトークンを破棄することでこれを軽減しようとしている。しかし、現在のアプローチは概ね以下の2つのパラダイムに分類され、それぞれ固有の限界がある：

視覚中心の削減（Visual-Centric Pruning）： 視覚エンコーダの注意信号（例：[CLS]アテンション）に依存する。これらの手法は、グローバルなセマンティクスや顕著な領域に集中する傾向があり、微細なローカルの詳細を見落とし、特定のタスク要件との整合性を欠くことが多い。
タスク中心の削減（Task-Centric Pruning）： 大規模言語モデル（LLM）デコーダからのクロスモーダル・アテンションに依存する。これらの手法は、タスクによるガイダンスが導入されるタイミングが遅すぎる（プリフィル段階において）ことが多く、また、シーケンスの順序付けに起因する空間的なバイアス（例：画像の底部を優先する）や、トークンの重要性を忠実に反映しないグローバルなセマンティクス・バイアスを示す傾向がある。

特定された核心的な問題は、既存の手法がバイアスのある不完全な個別の注意ソースに依存しているため、削減比率が高い場合に重要な視覚的詳細を失うか、あるいはタスクに関連する情報を保持できないという、最適ではない削減決定を下してしまうことである。

2. 手法：DeSAP

著者らは、LLMのデコーディング前に、精密かつタスク認識型の視覚トークン削減を行うための新しい手法として、DeSAP（Decoupled Similarity-Aware Pruning：デカップリング類似性認識削減）を提案する。この手法は、以下の3つの主要コンポーネントで構成されている：

A. 実証的分析と分解

実証的研究を通じて、著者らは以下のことを観察した：

視覚エンコーダにおけるグローバルなセマンティクス・バイアスが、標準的なトークン単位の類似性推定を損ない、視覚トークンとテキストトークンの間の不整合を引き起こす。
視覚エンコーダの隠れ状態を**残差（residual）成分とアテンション（attention）**成分に分解すると、デカップリングされたアテンション成分の方が、残差（グローバル）成分よりもローカルな詳細や微細なセマンティクスをより良く保持している。

これに基づき、DeSAPは最終層の視覚隠れ状態（ $S^l_v$ ）を以下のように分解する：

デカップリングされた残差（ $S^d$ ）： グローバルなセマンティクス・パターンを捉える。
デカップリングされたアテンション（ $A^d$ ）： ローカルで微細なセマンティクス・詳細を捉える。

B. 微細なクロスモーダル・アライメント

グローバルなバイアスを継承してしまう標準的な隠れ状態とテキスト埋め込み間のコサイン類似度を使用する代わりに、DeSAPは**デカップリングされた類似性（Decoupled Similarity）を計算する。これには、デカップリングされたアテンション成分（ $A^d$ ）とテキスト埋め込み（ $S_q$ ）の間のコサイン類似度を算出することが含まれる。
これをさらに洗練させるため、本手法は微細なクロスモーダル・アライメント（Fine-Grained Cross-Modal Alignment: FCMA）**戦略を採用する。これは、補完的なモダリティのグローバルな表現に対する各トークンの関連性（テキストには[EOS]、視覚にはグローバルな視覚トークンを使用）に基づいて、トークンペアの類似度に重み付けを行うものである。これにより、テキストのクエリに整合した特定の領域を強調する、信頼性の高いタスク関連のアテンションマップ（ $A_t$ ）が生成される。

C. デュアルソースによるガイド付きトークン削減

DeSAPは、トークンの重要性を評価するために2つの情報源を統合する：

タスク関連アテンション（ $A_t$ ）： デカップリングされた類似性から導出され、特定のクエリに関連するトークンの選択をガイドする。
顕著なセマンティック・アテンション（ $A_s$ ）： 視覚エンコーダの自己アテンション（例：[CLS]アテンション）から導出され、包括的な視覚的手がかりを提供する。

削減プロセスは**ランク＆プルーン（Rank & Prune）**戦略に従う：

$A_t$ （タスク関連性）に基づいて上位 $k_1$ 個のトークンを選択する。
残りの集合から、 $A_s$ （視覚的顕著性）に基づいて上位 $k_2$ 個のトークンを選択する。
最終的なセットは、タスク特異的な手がかりとグローバルな視覚的手がかりの両方を組み合わせたものとなる。
トークン・マージ（Token Merging）： 情報損失を軽減しながらトークン数を増やさないよう、破棄されたトークンは最も類似した保持されたトークンへとクラスタリングを通じてマージされる。

3. 主な貢献

実証的分析： 本論文は、既存の削減パラダイムに関する深い分析を提供し、視覚エンコーダのアテンションがグローバルなセマンティクスに偏っていること、および標準的な類似性が微細なアライメントには不十分であることを明らかにしている。また、ローカルな詳細を保持するために、視覚的特徴を残差成分とアテンション成分にデカップリングするという視点を導入している。
DeSAPフレームワーク： デカップリングされたアテンションを活用して、微細なクロスモーダル・アライメントを通じて精密なタスクの手がかりを導き出す、新しい削減手法を提案している。これは、タスクの手がかりを視覚的な顕著性信号とユニークに統合することで、LLMデコーディング前の堅牢なトークン削減を可能にする。
パフォーマンス： 広範な実験により、DeSAPが多様なベンチマークおよびモデルアーキテクチャにおいて、最先端（SOTA）の手法を一貫して上回っていることを示している。

4. 実験結果

著者らは、3つのLVLM（LLaVA-1.5-7B、LLaVA-NeXT-7B、Qwen2.5-VL-7B）を用いて、8つのベンチマーク（GQA、MME、POPE、VQAv2など）でDeSAPを評価した。

精度： LLaVA-1.5-7Bにおいて、極めて強力な88.9%の削減率（わずか11.1%のトークン、すなわち64トークンを保持）を用いても、DeSAPはオリジナルモデルの性能の**98.1%**を達成した。特筆すべきは、192トークンの予算において、フルモデルの性能を0.3%上回ったことである。
比較： DeSAPは、HoloV、FlowCut、VisionZipなどのSOTA手法を凌駕した。88.9%の削減率において、LLaVA-1.5-7Bに対する平均で、2番目に優れた手法（HoloV）を2.3%上回った。
効率性： POPEベンチマークにおいて、DeSAPはフルモデルと比較して9.1倍のFLOPs削減と2.3倍のプリフィル高速化を達成しながら、精度の低下はわずか0.1%であった。また、同等のFLOPs条件下において、SparseVLMやHoloVよりも優れた効率性と精度のトレードオフを示した。
汎用性： 高解像度対応のLLaVA-NeXT-7BおよびQwen2.5-VL-7Bにおいても、De-SAPは堅牢な性能を維持し、様々な削減率においてベースラインを一貫して上回った。

5. 意義と主張

本論文は、De-SAPが、バイアスのあるアテンション分布に依存することなく、パイプラインのより早い段階（エンコーダ側）でタスクの認識を導入することにより、既存の削減手法の決定的な限界に対処していると主張している。視覚的特徴をデカップリングし、微細なクロスモーダル・アライメントを活用することで、DeSAPは視覚的およびタスク的観点の両方からの表現崩壊を軽減する。

著者らは、デュアルソースによるガイド付きアプローチが、アグレッシブな削減率の下でも堅牢なトークン削減を可能にし、他の手法が破棄してしまう重要な情報を保持できると断言している。この研究は、タスクのガイダンスを視覚的な顕著性と統合することは、単一のアテンションソース内でのバイアス補正に頼るよりも効果的であることを示しており、実用的なアプリケーションにおけるLVLMの効率性とスケーラビリティに向けた重要な一歩を提示している。