技術要約：結果感受的なビジュアルトークン圧縮

1. 問題提起

Vision-Language Models (VLMs) は、ビジュアルトークンによって支配される膨大な推論コストを発生させる。既存のビジュアルトークン圧縮手法（例：FastV, SparseVLM）は、アテンション、冗長性、あるいは不確実性といった入力由来の信号に基づいてトークンを削減することで、固定された計算予算の下で平均精度を最大化することを目指している。

しかし、これらの手法は、すべての予測エラーが等しいコストを持つということを暗黙的に仮定している。現実世界のダウンストリームアプリケーション（例：文書解析、医療画像）においては、エラーの帰結（コンシクエンス）は極めて非対称である。請求書の金額や取引識別子を読み間違えることは、背景の色や装飾的な要素を誤分類することよりもはるかにコストが高い。現在の割り当て戦略は、入力のコンテンツ特性のみに依存しているため、推論時の観測可能な信号（例：質問タイプ、タスクのアイデンティティ）に関する「エラーの帰結」を無視しており、この非対称性を活用することができない。

本論文は、新たな最適化問題を提示する。固定された総ビジュアルトークン予算と、様々なエラーコスト（$c_i$）を持つリクエストの集合が与えられたとき、平均精度ではなく、コスト加重エラー (Cost-Weighted Error: CWE) を最小化するために、予算をどのようにサンプル間で割り当てるべきか？

2. 手法

著者らは、**「キャリブレーション・アンド・アロケーション（校正と割り当て）」**の手順に従う、結果感受的なビジュアルトークン圧縮フレームワークを提案している。

2.1 フレームワークの概要

本手法は2つのステージで動作する：

1. オフライン・キャリブレーション: 検証セットを用いて、システムはティア（階層）ごとのエラー–予算曲線（$e_t(b)$）を推定する。サンプルは、観測可能な信号（質問内のキーワードやタスクのメタデータ）に基づいてティア（例：高重要度 vs 低重要度）にグループ化される。システムは、推定されたコスト加重目的関数を最小化するポリシーを見つけるために、様々な予算割り当てを評価する。
2. オンライン推論: 入ってくる各リクエストに対し、システムは観測可能な信号（凍結されたキーワード・ルールやタスクIDなど）を用いてコンシクエンス・ティアを割り当てる。事前校正されたそのティア用の予算が、VLM推論の前に当該入力に適用される。

2.2 最適化の定式化

目標は、コスト加重エラー $J$ を最小化することである：
$$\min_{\{b_t\}} \sum_{t} n_t c_t e_t(b_t)$$
制約条件：
$$\sum_{t} n_t b_t \le B, \quad b_t \ge b_{min}$$
ここで、$n_t$ はティア $t$ におけるサンプル数、$c_t$ はコンシクエンスの重み、$e_t(b)$ は予算 $b$ におけるエラー率である。

トークン予算の離散的な性質（13ポイントのグリッド）および非凸なエラー曲線の存在により、著者らは連続的なラグランジュ微分に頼るのではなく、実行可能な予算ペアの全探索を採用している。

2.3 予算実現メカニズム

本論文では、割り当てられたトークン予算を実現するための2つのメカニズムを評価している：

• 真のトークン削除 (True Token Deletion): フル解像度でエンコードし、固定のセレクター（例：冗長性）を通じてトークンをランク付けし、空間座標と位置IDを保持してマルチモーダルな位置エンコーディングの完全性を維持しながら、選択されなかったトークンを厳密に削除する。
• 解像度の再割り当て (Resolution Reallocation): 入力画像をリサイズすることで、エンコーダーが自然に目標とするトークン数に近いトークンを出力するようにする。このメカニズムはモデル固有のコードを必要とせず、主要なデプロイメント手法として使用される。

2.4 評価プロトコル

コンテキストベースの信号からコンシクエンス情報の効果を分離するために、著者らは**「タスク内ベンチマーク (within-task benchmark)」**を導入している。高コンシクエンスと低コンシクエンスの質問は、同一の密な文書画像分布（例：DocVQA）から抽出される。これにより、ビジュアルコンテンツがティア間で同一であることを保証し、コンテンツ駆動型の割り当て器がビジュアルの感度の違いを利用することを防いでいる。

3. 主な貢献

1. 新しい定式化: 入力コンテンツだけでなく、推論時の観測可能なコンシクエンス信号を利用して、コスト加重エラーを最小化するように計算を割り当てる、結果感受的なビジュアルトークン圧縮の導入。
2. 制御された評価: 高・低コンシクエンスの質問が同一の画像分布を共有する、制御されたタスク内ベンチマークのデザイン。これにより、コンテンツベースのショートカットを排除し、利得がコンシクエンスの認識のみに由来することを証明している。
3. 割り当てフロンティアの特性評価: 以下のことを示す割り当てフロンティアを導出した：
   • エラーコストが対称的（$r=1$）な場合、一様割り当てが最適となる。
   • コストの非対称性が増大するにつれ、最適な戦略は高コンシクエンスのサンプルへとトークンをシフトさせる。
   • トークンの転送による利益が増大する遷移領域が存在する。
4. 汎用性と不変性: 本原理は、トークン選択メカニズム（冗長性、アテンション、サリエンス）に対して直交しており、異なるVLMアーキテクチャ（Qwen2.5-VL, LLaVA-OneVision）および異なる予算実現方法に対して堅牢であることが示されている。

4. 実験結果

4.1 属性付けとタスク内パフォーマンス

制御されたタスク内ベンチマーク（DocVQA）において：

• コンテンツ駆動型の割り当て器（特徴量の冗長性を使用）は、ビジュアル入力がティア間で同一であったため、一様割り当てよりも優れた性能を示さなかった。
• 結果感受的な割り当ては、同一の総トークン予算の下で、高ステークス（重大な）エラーを 0.300 から 0.133 へと減少させた（2.25倍の削減）。
• これは、非加重の平均精度の低下（0.488 vs 0.337）を伴ったが、これは本手法が特定のコスト加重目的関数を最適化していることを裏付けている。
• アンチ割り当て (anti-allocation) 戦略（低コンシクエンスの質問により多くのトークンを与える）は、CWEを著しく増大させた。これは、アプローチの方向性を検証するものである。

4.2 割り当てフロンティア

エラー–予算曲線の分析により、高コンシクエンスと低コンシクエンスの質問は、統計的に区別できないトークン感度（傾き 0.00173 vs 0.00171）を持つことが明らかになった。改善は純粋にコストの重み付けによるものである。

• 損益分岐比率: コスト比（$r$）が増加するにつれて、最適な割り当ては一様からコンシクエンス偏向へとシフトする。DocVQAの場合、この遷移は $r \approx 2.8$ で発生する。
• 汎用性: 本手法は ChartQA および InfographicVQA にも汎用される。InfographicVQA では、コスト比が低い（$r=0.7$）場合でも CWE を減少させており、密な情報タスクがコンシクエンスを考慮した割り当ての恩恵をより多く受けることを示唆している。

4.3 不変性とメカニズム

• メカニズム: 真のトークン削除と解像度の再割り当てのどちらを使用しても、利得は持続する。Qwen2.5-VL の学習内容と一致する解像度の再割り当ては、コンシクエンスを考慮した割り当ての相対的な利得を維持しつつ、より優れた絶対的パフォーマンスを達成した。
• モデル: アーキテクチャの違いにかかわらず、本原理は LLaVA-OneVision でも成立する。
• セレクター: 割り当て戦略はトークンセレクターと直交する。冗長性、ランダム、サリエンス、FastV、SparseVLM、または VisionZip を用いてトークンを選択する場合に関わらず、性能を向上させる。

4.4 混合ワークロードと効率

現実的な混合ワークロード（DocVQA, TextVQA, VQAv2）において：

• 結果感受的な割り当ては、一様割り当てと比較して、コスト加重エラーを 38% 減少させた。
• フル解像度での推論と比較して、デプロイされた2ティア割り当て（解像度の再割り当てを使用）は、CWE を減少させつつ、レイテンシを約 21% 低減 した。

5. 意義と主張

本論文は、ビジュアルトークンの圧縮は、平均精度がどれだけ維持されるかだけでなく、どのエラーが防がれるかによって評価されるべきであると主張している。

• 直交性: 結果感受的な割り当ては、既存のコンテンツ駆動型のプルーニングに対する直交する軸である。これはトークン選択手法に取って代わるものではなく、ダウンストリームのリスクに基づいて、サンプルに対して「どれだけの」トークンを割り当てるかを決定することで、それらを補完するものである。
• 実用性: 本フレームワークは軽量であり、デプロイを重視している。推論時の観測可能な信号（タスクIDや質問のキーワード）とオフラインのキャリブレーションのみを必要とし、複雑なオンライン最適化や強化学習を回避している。
• 根本的な洞察: 本研究は、エラーコストが非対称である場合、最適なリソース割り当て戦略が、平均的なパフォーマンスの維持から、高ステークスのサンプルを優先することへと根本的にシフトすることを確立している。たとえそれらのサンプルが視覚的に低ステークスのサンプルと区別がつかない場合であってもである。

著者らは、ダウンストリームの決定が不平等なリスクを伴うシナリオにおいて、結果感受的な割り当てが、クリティカルな精度を犠牲にすることなく VLM の効率を最適化するための、原理に基づいた効果的な手法を提供すると結論付けている。