🤖 AI

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

本論文では、剪定をタスク条件付き証拠探索として扱うことで固定トークン予算を動的に割り当てるトレーニング不要の視覚トークンプルーニングルーターである F^3A を紹介し、追加のトレーニングを必要とせず、かつ元のデコーディングパイプラインを乱すことなくマルチモーダルモデルにおける推論コストを削減する。

原著者： YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文を、平易な言葉と創造的な比喩を用いて解説します。

大きな問い：実際には画像のどの部分が必要なのか？

あなたがなぞなぞを解こうとしているところを想像してください。そして、誰かが答えを見つける手助けとして、巨大な高解像度の写真を手渡してきたとします。その写真はあまりにも詳細で、数百万もの小さなピクセルを持っています。

AI の世界では、これらの「ピクセル」は視覚トークンと呼ばれます。現在の AI モデル（マルチモーダル大規模言語モデル）は、見落としがないようにその写真のすべてのピクセルを調べたいと願う、天才的な探偵のようなものです。しかし、数百万のピクセルを調べるには長い時間がかかり、多くのバッテリー電力（計算リソース）を消費します。

研究者たちは、シンプルな問いを投げかけました。もし時間とエネルギーが限られているなら、正しい答えを得るために、実際にどれだけのピクセルを保持する必要があるのでしょうか？

現在の手法の問題点：「ワンショット」な推測

現在、ほとんどの AI システムは、「ワンショット」のルールを使ってピクセルの数を減らそうとしています。彼らは写真を一度見て、「ああ、この部分は明るいから重要だ」とか、「この部分はぼやけているから捨てよう」と言います。

著者たちは、これは干し草の山から特定の針を見つける際、干し草の最上層だけを見て判断しようとするようなものだと主張します。もし針が深く隠れているか、地味な色をしていた場合、単純な「明るさ」のチェックでは見逃してしまいます。彼らはこれを静的ランキングと呼びます。これは特定の質問が何であるかを気にせず、一般的なルールに基づいて推測するだけです。

解決策：F3A（フライング・フライ戦略）

この論文は、F3A（Fruit-Fly-Foraging Algorithm：ハエの採餌アルゴリズム）と呼ばれる新しい手法を紹介しています。これを理解するために、腐った果物を探しているハエを想像してください。

匂い（臭気場）： ハエは果物を見るだけでなく、空気を嗅ぎます。それは匂いが最も強い場所の「地図」を作成します。
- AI において： 画像を見るだけでなく、AI はまず質問を読み取ります。そして、質問が何を求めているかに基づいて「匂いの地図」を作成します。質問が「その帽子の色は何ですか？」であれば、AI は単に明るい場所ではなく、「帽子」を嗅ぎ分けることを知ります。
三段階の狩り： ハエはランダムに着地するわけではありません。それは賢い戦略を使用します。
- ステップ 1：粗い探索（広範囲の網）： ハエは高く飛び、匂いが強い一般的な領域を探します。まだ単一の葉を選ばず、枝全体を選びます。
  - AI において： システムは画像の大きな断片を見て、質問に関連する一般的な領域を見つけます。
- ステップ 2：視覚的ロックオン（ズーム）： 有望な枝を見つけると、着地して果物が実際にそこにあるか、果物のような匂いがする葉だけではないかを確認します。隣り合った二つの葉を選ぶことを避けます（冗長性の排除）。
  - AI において： システムはそれらの特定の領域にズームインし、最適なトークンを正確に選び、同じものを二度選ばないようにします。
- ステップ 3：救助ジャンプ（安全網）： 時には果物がハエが見落とした奇妙な場所に隠れていることがあります。ハエには「まだ十分な果物が見つからないなら、念のためランダムな場所にジャンプする」というルールがあります。
  - AI において： システムが小さな文字ラベルや小さな物体のような、見逃した小さなが重要な詳細に気づいた場合、それらのトークンを「救助」して失わせないようにします。

なぜこれが重要なのか：結果

研究者たちは、この「ハエ」戦略を、20 億パラメータの小さなモデルから 2350 億パラメータの巨大なモデルまで、さまざまな AI モデルでテストしました。

「固定予算」テスト： 彼らは AI に「画像の 20% しか見られない」と伝えました。
- 結果： フライング・フライ AI（F3A）は、画像全体を見た場合と比較して、**93.86%**の確率で正解しました。他の手法（「ワンショット」な推測者など）は、はるかに低い頻度で正解しました。
「固定目標」テスト： 彼らは AI に「できるだけ少ないピクセルを使って、答えの 97% を正しく出すこと」と伝えました。
- 結果： フライング・フライ AI はその目標を達成するために必要なピクセルは**39.9%だけでした。次に良い手法は50.1%**のピクセルを必要としました。

結論

この論文は、モデルの大きさだけでなく、注意をどのように配分するかが重要であると主張しています。

一般的なルールに基づいて盲目的に画像を切り取るのではなく、F3A は画像を宝の地図のように扱います。質問を用いて、匂い、ロックオン、救助という賢明な三段階の探索を導き、必要な正確な手がかりを見つけ出します。これにより、AI は世界の理解力を失うことなく、はるかに高速になり、メモリ使用量を削減できます。

要約すると： 「冗長に見える」という理由だけで画像の半分を捨ててはいけません。ハエが果物を狩るように、必要な具体的な証拠を見つけるために、質問を使って狩りをしてください。

技術サマリー：マルチモーダル言語モデルはどれだけの視覚トークンを必要とするか？F3A による視覚トークンプリニングの拡張

1. 問題定義

ビジョン・ランゲージモデル（VLM）が規模と能力において拡張するにつれ、微細な知覚（OCR、チャート理解、動画分析など）を達成するために、長い視覚トークン系列への依存度が高まっています。しかし、これらの拡張された系列は、計算コストを大幅に増大させ、プリフィル計算を支配し、KV キャッシュを拡大し、エンドツーエンドのレイテンシを増加させます。

この研究が扱う中心的な問いは、マルチモーダルモデルが成長するにつれて、実際にはどれだけの視覚トークンが必要であり、固定された視覚トークン予算の下でそれらをどのように配分すべきかという点です。

既存のトレーニング不要なプリニング手法（FastV、VisionZip、DivPrune、CDPruner など）は、通常、デコーダの注意、視覚的類似性、または条件付き多様性などのワンショット代理信号に基づいて、トークンプリニングを静的なランキングまたは部分集合選択問題として扱います。著者らは、これらのアプローチ、特に過激な圧縮下においては不完全であると主張します。トークンの価値は、単にその顕著性や冗長性の関数ではなく、現在のクエリに対する証拠に依存します。標準的な手法は、特定のタスクに基づいて画像全体でトークンを動的に配分することに失敗することが多く、トークン予算が厳しい場合にサブオプティマルなパフォーマンスをもたらします。

2. 手法：フルーツフライ・フォーagingアルゴリズム（F3A）

本論文は、トレーニング不要なルーターであるF3Aを提案します。これは、視覚トークンプリニングをタスク条件付き証拠探索として再定義するものです。フルーツフライ最適化アルゴリズムに触発された F3A は、ビジョンタワーの後、言語モデルが画像トークンを消費する前に動作します。モデルのトレーニング、追加の LLM 前方伝播、またはデコーディングパイプラインの変更を必要としません。

この手法は、3 つの連続した段階で構成されます。

A. タスク臭フィールドの構築

F3A は、視覚トークン全体にわたる低コストのグローバル証拠マップ（「臭フィールド」）を構築します。

臭の手がかり（Odor Cues）: 学習された注意の代わりに、F3A は決定論的テンプレートと、ベース MLLM の凍結されたトークナイザー/埋め込み層を使用して、軽量な証拠クエリを生成します。これらには、グローバルな手がかり（完全な質問コンテキスト）、ターゲット手がかり（照会された実体）、およびタスク手がかり（例：OCR、カウント、空間的関係）が含まれます。
スパースセンシング: これらの手がかりは、凍結されたスパースセンシングヘッド（ランダム射影）を用いて、視覚グリッドトークンと一致させられます。これにより、各トークンに対してスカラーの証拠スコア（ $a_i$ ）が生成され、勾配更新を必要とせずにプロンプトに関連する証拠を表します。

B. 3 段階の採集プロセス

F3A は、3 つの演算子を通じて固定されたトークン予算（ $K$ ）を配分します。

粗探索（Exploration）:
視覚グリッドは、重なりを持たないウィンドウに分割されます。ウィンドウは、その平均的な臭の値によってスコア付けされます。上位のウィンドウが選択され、候補プール（ $P_1$ ）を形成し、空間的カバレッジを確保するために「足場」部分集合（ $S_1$ ）が保持されます。これにより、孤立した高スコアトークンへの早期の過度なコミットメントが回避されます。
視覚ロックオン（Local Exploitation）:
粗いプール内において、F3A は選択を洗練させ、局所的な証拠を確認し、冗長性を抑制します。
- 局所的サポート: トークンは、近隣サポートとタスクの手がかりとの一致に基づいてスコア付けされます。
- 帰還抑制: 既に選択されたトークンとの視覚的類似性と空間的近接性に基づいて、冗長性ペナルティが適用されます。これにより、クラスター化された冗長なパッチではなく、多様で局所的にサポートされた証拠の選択が促進されます。
レスキュージャンプ（Exploration/Recovery）:
選択されたウィンドウの外にある小さな物体、周辺テキスト、または反証を見逃さないようにするため、予算の一定割合（ $\alpha_{jump}$ ）が予約されます。
- 不確実性/カバレッジ: トークンは、高い不確実性（例：多肢選択タスクにおけるオプションスコア間の小さなマージン）または現在の部分集合による低いカバレッジに基づいて選択されます。
- このステップは、カバレッジが不足している領域を回復し、モデルが狭い高スコア領域に収束するのを防ぎます。

C. 系列再構築

最終的に選択されたトークンセットは、LLM のプリフィル前に完全な視覚ブロックを置き換えます。元のテキストプレフィックス、プロンプトテンプレート、モデル重みは変更されません。グリッド対応モデルの場合、トークンインデックスは位置情報を保持するために元のグリッド座標にマッピングされます。

3. 主要な貢献

プリニングの再定義: 著者らは、トレーニング不要な視覚トークンプリニングを、単純な圧縮ではなくクロススケールのトークン配分問題として再定義します。フルトークン動作を維持するためにどれだけのトークンが必要かを決定するために、密なモデルと MoE（Mixture of Experts）マルチモーダルモデル全体にわたってトークン需要を評価します。
F3A ルーター: 彼らは、質問条件付き手がかり、スパースセンシング、および採集に着想を得た 3 段階プロセス（粗探索、ロックオン、レスキュー）を使用してタスク条件付き証拠探索を行う、単一パスのトレーニング不要なルーターである F3A を導入します。
大規模評価: この手法は、11 のマルチモーダルベンチマークにわたって、2B から 235B パラメータまでのQwen3-VL モデル（密と MoE アーキテクチャの両方を網羅）で評価されました。また、転移可能性を示すために Qwen2.5-VL および InternVL3.5 バックボーンでもテストされました。

4. 実験結果

評価は、10 のモデルと 3 つの保持率（60%、40%、20%）を網羅しています。

パフォーマンスの保持: すべてのモデルスケールにおいて、F3A は一貫してベースライン（FastV、VisionZip、DivPrune、CDPruner）を上回ります。
- **視覚トークン保持率 20%において、F3A は平均してフルトークンパフォーマンスの93.86%**を保持します。
- 最大モデル（Qwen3-VL-235B-A22B）において、F3A は視覚トークンの 80% を除去した後でも、パフォーマンスの 93.86% を保持します。
固定忠実度トークン需要: **フルトークンパフォーマンスの 97%を目標とする場合、F3A は平均して39.9%の視覚トークンしか必要としません。これは、最も強力な競合ベースラインの50.1%**と比較して少ない数値です。235B モデルでは、F3A は 41.2% のトークンでこれを達成します。
スケーリング挙動: 他の手法とは異なり、F3A の優位性はモデルが拡張するにつれて持続し、しばしば増大します。18 のモデル - 保持設定全体において、最も強力なベースラインに対する平均精度の向上は正の値を示しました。
効率性: F3A は、精度とレイテンシのトレードオフを改善します。Qwen3-VL-8B において保持率 20% の場合、エンドツーエンドのレイテンシを 354.7 ms から 274.3 ms に、KV キャッシュのフットプリントを 117.7 MB から 29.0 MB に削減しながら、プリニング手法の中で最高精度を維持します。
統計的有意性: 30 のモデル - 保持設定にわたる対の符号検定により、p 値は $1.9 \times 10^{-9}$ となり、F3A が最も強力な非 F3A ベースラインを一貫して上回ることを確認しました。

5. 意義と主張

本論文は、スケーラブルなマルチモーダル推論は、モデルサイズだけでなく、タスク関連の視覚証拠の検索構造化配分にも依存すると主張しています。

タスク条件付き対静的: 結果は、過激な圧縮に対してプリニングを静的なランキング問題として扱うことは不十分であることを示唆しています。特定のクエリに基づいて証拠を動的に特定し、洗練し、回復する「採集」アプローチは、厳しいトークン予算下でより大きなモデルの能力を維持するために必要です。
固定忠実度の視点: この研究は、「どれだけのトークンが必要か」という問いに対する答えは、普遍的な保持率ではなく、スケールに依存する配分問題であると論じています。F3A は、効果的なプリニングにより、より大きなモデルが以前は可能と考えられていたよりもはるかに少ないトークンでその完全な能力を実現できることを示しています。
一般性: この手法は、異なるモデルファミリー（Qwen3、Qwen2.5、InternVL）およびアーキテクチャ（密対 MoE）全体で堅牢であることが示されており、タスク条件付き証拠探索の原理がマルチモーダルトークンプリニングに対する一般的な解決策であることを示唆しています。

著者らは、F3A が、パフォーマンスを駆動する微細な知覚能力を犠牲にすることなく、マルチモーダルモデルの推論コストを削減するための実用的な道筋を提供すると結論付けています。