💻 computer science

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISPは、指示に関連するトークンを特定し、意味的な多様性を高めるための2段階のパイプラインを利用する、事前LLMのテキスト駆動型ビジュアルトークンプルーニングフレームワークであり、大規模視覚言語モデルにおいて99.5%以上の精度保持を実現しながら、推論レイテンシを2倍以上削減します。

原著者： Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはミステリーを解こうとしていると想像してみてください。しかし、わずかな手がかりではなく、何百万冊もの本が入った図書館を渡され、しかもそのすべてが同時に開かれている状態です。これは、現代の「大規模視覚言語モデル（LVLM）」がどのように機能しているかを本質的に表しています。これらは、画像を見てそれに関する質問に答えることができる、非常に賢いコンピュータプログラムであり、いわばデジタル探偵のようなものです。これを行うために、彼らは画像を「トークン」と呼ばれる数千の小さなデジタル断片に分解します。これらのトークンを、パズルの個々のピースだと考えてください。問題は、コンピュータがあなたの質問を見る前に、たとえそれがただの青い空や空っぽの床であっても、パズルの「すべてのピース」を読もうとしてしまうことです。これは、猫の首輪の色を知るためだけに百科事典を一冊丸ごと読もうとするようなもので、プロセスを非常に遅くし、コンピュータの電力を大量に消費させてしまいます。

長い間、科学者たちは、パズルのピースをランダムに捨てたり（これでは時として猫の首輪まで消してしまうことがあります）、あるいはコンピュータが本全体を読み始めてからスキップするものを決めるのを待ったり（それでは時間を節約するには遅すぎます）することで、このスピードアップを試みてきました。大きな疑問は、「コンピュータにまず質問を読み、それから必要な特定のパズルピースだけを選ぶように教えることはできるのか？ただし、システム全体の速度を落とすことなく、というのはですが」ということでした。

ここで、CRISPと呼ばれる新しい手法が登場します。CRISPを、探偵が読み始める「前」に働く、超効率的な司書だと考えてみてください。CRISPは、図書館全体をテーブルの上にぶちまける代わりに、まずあなたの質問に耳を傾けます。もしあなたが「ハンドバッグの色は何色ですか？」と尋ねたら、CRISPは即座に画像をスキャンし、ハンドバッグとその周辺の領域を示すパズルのピースだけをつかみ取ります。しかし、それだけで終わりではありません。背景のコンテキスト（通りや、それを手に持っている人物など）が失われないように、いくつかの追加のピースも確保します。

CRISPの開発者たちは、この「先に聞き、それから見る」というアプローチが、従来の「先に見て、それから聞く」方法よりもはるかに賢いことを発見しました。テストにおいて、彼らはCRISPが画像のパズルのピースを最大88.9%まで捨てることができ（画像を数百のトークンからわずか64または128個に削減）、それでいて、画像全体を見た場合とほぼ全く同じ精度を維持できることを示しました。実際、いくつかのテストでは、正しい手がかりを見つける能力があまりに高かったため、「ハルシネーション（幻覚）」、つまりAIが存在しないものを捏造してしまう瞬間さえも減少させました。

論文では、現在行われている2つの一般的な手法に対して明確に反論しています。一つは、質問に関係なく、画像の最も「重要」に見えるピースを選ぶ方法（テキスト非依存型）ですが、著者らはこれを、何を探しているのかを知る前に絵画を凝視しているようなものだと述べています。もう一つは、コンピュータが思考プロセスに深く入り込むまでピースを削除するのを待つ方法ですが、著者らは、コンピュータがすでにすべてを読み終えるという大変な作業を終えてしまっているため、これはエネルギーの無駄であると述べています。CRISPはこれら両方を拒絶し、重い思考を開始する「前」にプルーニング（枝刈り）を行うことで、速さと賢さを両立できることを証明しています。

結果は測定されており、非常に具体的です。LLaVA-1.5という人気のあるモデルにおいて、CRISPは通常の576トークンの代わりにわずか128トークンを使用しながら、元のパフォーマンスの99.5%を維持しました。より新しいモデルであるLLaVA-NeXTでは、320トークンで96.9%のパフォーマンスを維持しました。おそらく最も印象的なのは、このスピードアップが単に精度を維持しただけでなく、回答を得るまでの時間を半分以上に短縮したことです。著者らは、この手法が、これらのスマートな画像読み取りコンピュータを、特に膨大な電力を持たないデバイス上で、より速く、より安価に動作させるための、実用的で即戦力となる解決策であると示唆しています。

テクニカルサマリー：CRISP – Pre-LLM におけるテキスト駆動型のビジュアルトークン・プルーニング

1. 問題提起

大規模視覚言語モデル（LVLM）は、画像を長いビジュアルトークンのシーケンス（多くの場合、数百から数千）にエンコードし、それらを大規模言語モデル（LLM）で完全に処理するため、大幅な推論オーバーヘッドに悩まされています。これは、レイテンシが重視されるシナリオやリソース制約のある環境でのデプロイメントにおいてボトルネックとなります。

既存のビジュアルトークン・プルーニング手法は、根本的なトレードオフに直面しています：

Pre-LLM プルーニング： LLMの前段階で、テキストに依存しないヒューリスティック（例：CLSアテンションや特徴量の類似性）を用いて動作します。これらは効率的ですが、これらの手法は「テキスト非依存（text-agnostic）」であり、特定のテキストクエリに関わらず同じトークンをプルーニングします。これは「見てから問う」という認知戦略を模倣しており、「読んでから見る」という自然なプロセスよりも効率が悪く、クエリに関連する詳細を破棄してしまうことがよくあります。
Intra-LLM プルーニング： LLMの内部で、現在のテキストに基づくクロスモーダル・アテンション・スコアを用いてトークンをプルーニングします。テキスト駆動型ではありますが、浅い層でのプルーニングは位置バイアスやアテンションの分散を招き、精度を低下させます。深い層でのプルーニングは精度を維持しますが、ビジュアルトークンが多くのLLMブロックを通過する必要があるため、計算量の削減効果が減少します。さらに、アテンション重みの抽出はFlashAttentionを阻害し、効率性を損ないます。

したがって、効率を最大化するためにLLMの**前（Pre-LLM）**で行いつつ、LLMの内部アテンション機構にアクセスすることなく、**テキスト駆動型（text-driven）**である（＝タスクに関連する情報を保持する）手法が求められています。

2. 手法：CRISP

著者らは、ビジョンプロジェクターとLLMの間で動作する、トレーニングフリーのフレームワークである CRISP（CRItical-first and Semantically-covered Pre-LLM token pruning）を提案しています。これは、指示への関連性とシーンのコンテキストのバランスを取るように、コンパクトなビジュアルトークンのサブセット（ $K$ ）を選択する2段階のパイプラインを利用します。

ステップ 1：Critical-First（重要度優先）トークン選択

このステップでは、テキストクエリに最も関連性の高いビジュアルトークンを特定します。

キーワード抽出： 軽量なNLP処理を用いて、クエリから名詞（例：「スキーヤー」、「手袋」）を抽出します。名詞は通常、具体的な画像領域に対応するためです。
クロスモーダル関連性計算： プロジェクションされたビジュアルトークンと単語埋め込み（サブワードトークンの平均値）は、同一のセマンティック空間に存在します。システムは、ビジュアルトークンと単語埋め込みの間のコサイン類似度行列を計算します。
単語レベルのクォータ（割り当て）配分： すべての単語が等しく画像に根ざしているわけではありません。システムは、各単語に関連する領域の重要性を判断するために、ビジョンエンコーダーからの CLSアテンション を使用します。CLSアテンション・スコアが高い単語には、より大きなトークン予算が割り当てられます。
選択： 特定の単語への関連性と、それらに割り当てられたクォータに基づいて、上位 $K$ 個のビジュアルトークンが選択されます。名詞が検出されない場合は、純粋にグローバルなCLSアテンションに基づいてトークンを選択するフォールバック処理が行われます。

ステップ 2：Semantically-Covered（セマンティック・カバレッジ）によるトークン補完

テキストに整合したトークンのみに頼ると、不可欠なコンテキスト（例：空間的レイアウト、背景）を見落とすリスクがあります。

システムは、残りのプールから追加のトークンを反復的に選択し、合計予算 $K$ に到達するようにします。
これは、すでに選択されたセットに対して**セマンティックに相補的（complementary）**なトークンを選択するものです。具体的には、現在のセットに対する最大類似度が最も低いトークンを選択することで、セマンティックな多様性を最大化し、不可欠なシーンコンテキストの保持を確実にします。

3. 主な貢献

Text-Driven Pre-LLM プルーニング： CRISPは、プルーニングをLLMの前で行いながら、テキストクエリに動的に適応させることで、効率性と関連性の間のギャップを埋め、従来のPre-LLM手法の「テキスト非依存」という限界を回避します。
2段階のパイプライン： 「Critical-First」選択（クエリとの整合性を確保）と「Semantically-Covered」補完（コンテキストの多様性を確保）の組み合わせにより、モデルはシーン理解を犠牲にすることなく、重要な証拠を保持できます。
トレーニングフリーかつ高効率： この手法は追加の学習を必要とせず、LLMのアテンション重数にアクセスせず（FlashAttentionとの互換性を維持）、プロジェクターとLLMの間ですべて動作します。

4. 実験結果

著者らは、LLaVA-1.5-7B および LLaVA-NeXT-7B を用いて、9つのベンチマーク（MME、GQA、SQA、POPE、VQA-v2を含む）でCRISPを評価しました。

性能の維持：
- LLaVA-1.5-7B において、プルーニング比が 77.8%（128トークンのみ保持）の場合でも、CRISPはフルトークンモデルの性能の 99.5% を達成し、次点のメソッド（97.9%）を上回りました。
- LLaVA-1.5-7B において、積極的な 88.9% のプルーニング比（64トークン）の下でも、97.7% の性能を維持しました。
- LLaVA-NeXT-7B において、88.9% のプルーニング比（320トークン）で、CRISPは 96.9% の性能を保持し、すべてのベースラインを上回りました。
- 特筆すべきは、CRISPが POPE ベンチマーク（物体幻覚検出）においてフルトークンのベースラインを上回ったことです。これは、その焦点化された選択が、偽の相関関係を効果的に抑制していることを示唆しています。
効率性の向上：
- CRISPは、トークン数の削減に伴い、推論FLOPsおよびKVキャッシュのメモリ使用量をほぼ線形に削減しました。
- デコーディング速度において 2倍以上の高速化 を達成し、両モデルにおいて総エンドツーエンドの評価時間を大幅に短縮しました。

5. 重要性と主張

本論文は、CRISPが効率的なLVLM推論のための実用的かつ汎用的なソリューションを提供すると主張しています。テキスト駆動型の関連性とLLMの内部処理を切り離すことで、CRISPは既存の手法と比較して優れた精度と効率のトレードオフを実現します。著者らは、このアプローチがリソース制約のあるシナリオやレイテンシが重視されるデプロイメントにおいて特に価値があり、膨大なビジュアルトークンシーケンスを処理するという過度な計算コストなしに、高性能なLVLMの使用を可能にすると強調しています。結果は、残りの予算を多様なコンテキストの接地（grounding）に使用すれば、少数のテキスト関連トークンだけで重要な証拠を保持できることを示唆しています。