🤖 AI

OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning

OccamToken は、壊れやすい絶対的トークン順位付けをレジスターに固定された相対的証拠テストに置き換えることで視覚言語モデルの推論効率を向上させるトレーニング不要かつ予算適応型のフレームワークであり、元の精度の 93% 以上を維持しつつ極端なトークン圧縮（例えば 2,880 トークンを約 40 トークンに削減）を可能にします。

原著者： Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、OccamToken論文の説明を、簡単な概念と日常的な比喩に分解したものです。

大きな問題：キッチンに多すぎるノイズ

あなたがシェフ（AI）で、客の注文（テキストの質問）と、巨大な材料の山（画像）に基づいて料理を作っていると想像してください。

現代の AI では、画像を表示すると、コンピュータはそれを「トークン」と呼ばれる数千の小さな破片に分解します。高解像度の写真の場合、それは 2,880 個の材料の山を持っているようなものです。シェフは料理を始める前に、それらのすべてを見なければなりません。これには膨大な時間とエネルギー（計算能力）を要しますが、それらの材料のほとんどが、カウンター上のホコリやぼやけた空のような、単なる背景ノイズである場合でも同様です。

旧来の方法：「トップ 10」ルール

以前は、時間を節約するために、「最も重要でない」材料を捨てようとしていました。彼らは次のようなルールを使用しました。「最も興味深い材料トップ 100 を残し、残りを捨てる」。

この論文は、このルールが以下の 2 つの理由で破綻していると主張しています：

「泣き叫ぶ赤ちゃん」効果：時々、退屈な材料（例えば、何もない壁）が、コンピュータの計算方法のせいで、偶然非常に大きな「重要度スコア」を得てしまいます。この大きなノイズは、静かで重要な材料（写真の小さな詳細など）を飲み込み、コンピュータに退屈なものが実際には最も重要だと考えさせます。
「万能型」の問題：「100 を残す」といった固定されたルールは、すべての画像に機能しません。
- 森の写真で「猫はいますか？」と尋ねる場合、いくつかの場所を確認するだけで十分です。100 の場所を保持するのは無駄です。
- セーターの写真で「布の質感は何ですか？」と尋ねる場合、より多くの場所を見る必要があるかもしれません。100 だけ保持すると、答えを見逃す可能性があります。

新しい解決策：OccamToken

著者らは、OccamTokenと呼ばれる新しい手法を作成しました。「トップ 100 はどれか？」と問う代わりに、「この材料は私たちの『参照瓶』よりも有用か？」と問います。

以下に、その仕組みをステップバイステップで示します。

1. 「参照瓶」（レジスタートークン）

カウンター上に、「キッチン内のすべて」の一般的な平均サンプルが入った特別な瓶があると想像してください。それは特定の猫やセーターについては知りませんが、部屋の「背景の雰囲気」を保持しています。

なぜ役立つのか：旧システムでは、「泣き叫ぶ赤ちゃん」（退屈なノイズ）がすべての注意を奪っていましたが、この新システムでは、「参照瓶」がそのノイズを吸収します。それは無用で大きな信号のためのスポンジとして機能します。
結果：これで、ノイズが抑えられたため、コンピュータは実際にどの材料が特別かを明確に認識できるようになりました。

2. ステージ 1：「画像の掃除」（冗長性剪定）

シェフが客の注文を読む前にも、キッチンスタッフが素早く掃除を行います。

彼らはすべての材料を参照瓶と比較します。
材料が瓶の中の一般的な背景と似ている場合、それは捨てられます。
比喩：写真が賑やかな通りのものである場合、スタッフは「空」や「ぼやけた舗装路」に過ぎない 2,000 のトークンを捨てます。なぜなら、参照瓶はそれがどのようなものか既に知っているからです。彼らは瓶と異なるように見えるトークン（車、人々）を保持します。
利点：これはすべての画像に対して自動的に発生します。単純な写真は大きく掃除され、複雑な写真はあまり掃除されません。

3. ステージ 2：「客の注文」チェック（関連性剪定）

次に、シェフは特定の質問を読みます。「左の男性は立っていますか？」

シェフは残った材料を見ます。
彼らは再び参照瓶と比較しますが、今回は「この材料は、一般的な背景よりも特定の質問に答えるのに役立っていますか？」と問います。
比喩：質問が男性に関するものであれば、シェフは男性と彼が立っている地面を示すトークンを保持します。質問が隅の猫に関するものであれば、シェフはそれらのトークンを保持し、男性を捨てます。
利点：保持される材料の数は、質問に基づいて変化します。簡単な質問は 10 のトークンだけで済むかもしれませんが、難しい質問は 50 必要かもしれません。

結果：作業は減り、味は同じ

この論文は、LLaVA や Qwen などのいくつかの AI モデルでこれをテストしました。

主張：彼らは材料の**98.6%を捨てることができました（2,880 トークンから約 40 トークンに減少）が、それでも93%**の確率で正しい答えを得ることができました。
比喩：それは、鍋の中のすべての米粒を味わう必要がないことに気づいたようなものです。塩味を知るには、適切なスプーン一杯を味わうだけで十分です。
トレーニング不要：最も素晴らしい点は、シェフに料理の仕方を再教育する必要がなかったことです。彼らは単に、シェフが材料を選択するルールを変更しただけです。これは「箱から出してすぐに」機能します。

まとめ

OccamTokenは、AI が退屈な背景ノイズを見る時間を浪費するのを防ぐスマートなフィルターです。「トップ 100 を残す」という硬直的なルールを使用する代わりに、特定の質問に対して実際に新しく有用なものを特定するために「参照瓶」を使用します。これにより、AI を「愚か」にすることなく、実行をより速く、より安価にします。

技術的概要：OccamToken

問題定義

視覚言語モデル（VLM）は、画像を符号化するために長い視覚トークン系列に依存しており、これによりプリフィル段階および自己回帰的デコーディング中に顕著な計算コストおよびメモリオーバーヘッドが生じます。既存の視覚トークン圧縮手法は、主に絶対的ランキングパラダイムに従っています。すなわち、トークンに重要度スコアを割り当て、固定されたトップ- $K$ の部分集合を保持します。著者らは、このパラダイムが以下の 2 つの理由から本質的に脆弱であると主張します。

アテンションシンク: 低情報トークン（しばしば高いノルムを持つ外れ値）が過度のアテンション質量を吸収し、真に情報豊富なトークンの重要度ランキングを歪め、スコア分布を圧縮します。
静的予算の不一致: 固定されたトップ- $K$ のカットオフは、サンプルごとのアテンションスコア分布の変動に適応できません。画像の冗長性やクエリ依存の証拠要求を考慮せず、単純なケースでは冗長なトークンを保持し、複雑なケースでは重要な証拠を破棄することが多々あります。

さらに、既存の適応的手法は追加の学習を必要とするか、クエリ条件付きの証拠ニーズを完全に捉えられない、応答性の弱い学習不要の統計量に依存しています。

手法：OccamToken

著者らは、絶対的トークンランキングをレジスターアンカー付き相対的証拠テストに置き換える、学習不要かつ予算適応的なフレームワークであるOccamTokenを提案します。核心的な洞察は、レジスタートークン（最近のトランスフォーマ研究においてアテンションシンクを吸収するために導入されたもの）が、本質的に低情報アテンションパターンを自然に吸収するため、真に情報豊富な視覚証拠を特定するための安定した、非判別的な参照点となるという点です。

このフレームワークは 2 つの段階で動作します。

1. 中核メカニズム：相対比較

「このトークンはトップ- $K$ に入っているか？」と問う代わりに、OccamToken は「このトークンはレジスタートークンよりも強力な証拠を提供しているか？」と問います。
プルーニング規則は以下のように定義されます。
$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$
ここで、 $r(x)$ はサンプル依存の参照トークン（レジスター）、 $s_x$ はスコアリング関数、 $\lambda$ はプルーニング強度を制御します。これにより、保持されるトークン予算は入力スコア分布に基づいて動的に変化します。

2. 2 段階プルーニングパイプライン

段階 I: 画像適応的冗長性プルーニング (AdapRP)
- 位置: 視覚エンコーダの出力。
- メカニズム: 高ノルムの「シンク」アクティベーションをスパースなニューロンから専用のレジスタートークンへリダイレクトすることで、テスト時のレジスタートークンを構築します。[CLS] トークン（または [CLS] を持たないアーキテクチャ用の相互スコアリング方式）が、すべての視覚トークンとレジスタートークンを共同でスコアリングします。
- 動作: $\lambda_1 \cdot s_1(r)$ 未満のスコアを持つトークンは破棄されます。これにより、トークンが大規模言語モデル（LLM）に入る前に画像レベルの冗長性が除去され、画像適応的な中間予算が作成されます。
段階 II: レジスターアンカー付き関連性プルーニング (RegRP)
- 位置: 言語モデル内部（特定のデコーダ層、例：レイヤー 11）。
- メカニズム: テキストトークンがクエリ条件付きの評価者として機能します。各生存視覚トークンについて、テキストトークンから受け取る最大アテンションをそのスコアとして使用します（局所的な関連性を捉えるため）。レジスタートークンがテキストから受け取る平均アテンションを動的な閾値として使用します。
- 動作: $\lambda_2 \cdot s_2(r)$ 未満のスコアを持つトークンは除去されます。これにより、クエリ適応的な最終予算が生成され、同じ画像であっても質問内容に応じて異なるトークン数が生成されます。

主要な貢献

レジスターアンカー付き動的閾値設定: 学習不要のメカニズムであり、アテンションシンクの緩和と適応的プルーニングを結びつけます。アテンション競争にレジスタートークンを挿入することで、シンク誘発の歪みを吸収し、分布適応的な閾値として機能します。
OccamToken フレームワーク: プラグアンドプレイ型の 2 段階プルーニングシステムであり、画像レベルの冗長性除去に続いてクエリレベルの関連性選択を実行します。学習済み予測子や追加の学習データなしで適応的トークン割り当てを可能にします。
実証的検証: 広範な実験により、OccamToken が多様なアーキテクチャ（LLaVA-v1.5、LLaVA-NeXT、Qwen3-VL）およびベンチマーク（GQA、POPE、MME など）において、最先端の学習不要および学習ベースのベースラインを上回ることが示されました。

実験結果

精度と効率のトレードオフ: OccamToken は、固定予算および他の適応的手法と比較して、一貫してトレードオフを改善します。
極端な圧縮: LLaVA-NeXT（2,880 の視覚トークンを処理）において、OccamToken はトークン数を約40 トークン（1.4% 保持領域）に削減しつつ、元のフルトークン精度の93% 以上を維持します。
頑健性: この手法は高い相対精度を維持します（例：32 トークンでの LLaVA-v1.5 で 97.2%）。また、タスク関連の証拠の保持が重要な低予算領域において、固定予算ベースラインを大幅に上回ります。
効率性: 視覚系列長を削減することで、OccamToken は KV キャッシュメモリ使用量（例：LLaVA-v1.5 で 313 MB から 47 MB へ削減）およびプリフィル遅延を大幅に低下させますが、適応的スコアリングロジックのためのわずかなオーバーヘッドを導入します。
汎化性: この手法は LLaVA 以外のアーキテクチャ（例：Qwen3-VL、Mini-Gemini）およびビデオ VLM へ効果的に転移し、レジスターアンカー付きの原理が特定のトークンインターフェースに依存しないことを示しています。

意義と主張

本論文は、参照ベースの適応的プルーニングが、スケーラブルなマルチモーダル推論のためのシンプルかつ効果的な方向性であると主張しています。絶対的ランキングからレジスターアンカーに対する相対比較への転換により、OccamToken はモデルの再学習を必要とすることなく、アテンションシンクおよび静的予算の構造的欠陥に対処します。著者らは、このアプローチが、マルチモーダル推論に必要な証拠を維持しつつ、極端な領域（1.4% 保持）でも安定した視覚トークン圧縮を可能にすることを強調しています。

この研究は、OccamToken を単なる遅延削減ツールとしてではなく、特に重要な視覚証拠の保持が最優先されるリソース制約のある展開シナリオにおいて、精度と効率のバランスを取るための実用的な解決策として位置づけています。著者らは、特定のトランスフォーマベースのバックボーンに対して信頼性の高いテスト時レジスタートークンを構築することへの依存という限界を認め、将来的な研究としてこれをより広範なマルチモーダルアーキテクチャへ拡張することを示唆しています。