技術要約：MLLMのための事前分布補正型トークン削減（Prior-Corrected Token Reduction）

問題提起

マルチモーダル大規模言語モデル（MLLM）は、画像を長い視覚トークンのシーケンスに変換するため、特に高解像度の画像や動画において推論コストが大幅に増大するという課題がある。既存の学習フリーな手法は、テキストと視覚のアテンション・スコアに基づいて冗長な視覚トークンを削減することで推論を加速させるが、本論文はそれらの手法の根底にある仮定に重大な欠陥があることを指摘している。すなわち、「アテンションの大きさは、指示に条件付けられた意味的な関連性を信頼性高く反映している」という仮定である。

著者らは、MLLMが強力な**モデル誘発的事前分布（model-induced prior）**を持つことを実証している。テキストによる指示が存在しない場合でも、モデルは特定のタスクに依存しない視覚的に顕著な領域（例：高コントラストな背景やテクスチャのある領域）に対して高いアテンションを割り当てる傾向がある。削減を絶対的なアテンション・スコアに依存して行うと、この事前分布がランキングを支配してしまう。その結果、指示に特有の重要な証拠を含むトークンが抑制・破棄される一方で、無関係な背景トークンが保持されてしまう。この問題は、アグレッシブなトークン予算の下で特に深刻であり、誤った選択は正しい推論に必要な視覚的証拠を不可逆的に除去してしまう。

手法：PriorTR

これに対処するため、著者らはPriorTR（Prior-Corrected Token Reduction：事前分布補正型トークン削減）を提案する。これは、タスクに条件付けられたアテンションとモデル誘発的事前分布を明示的に分離する学習フリーの手法である。

コア概念：V-Usable Information（V-利用可能情報）

PriorTRは、トークン選択を「モデル固有のバイアスを超えて、追加の利用可能な情報（additional usable information）に寄与するトークンを特定する問題」として再定義する。これは、観測された事後アテンション $P_\theta(v | X)$（指示 $X$ に条件付けられたもの）を、以下の2つの成分に分解する。

1. モデル誘発的事前分布 ($Q_\theta(v)$): 指示が存在しない場合（またはヌル指示が使用された場合）のアテンション分布。
2. セマンティック・リフト ($L(v, X)$): 指示によって特異的に誘発される重要性の乗法的増加分。

本手法は、**点別V情報（Pointwise V-Information: PVI）**に基づいてトークンをスコアリングする。PVIは以下のように定義される：
$$\text{PVI}(v) = \log \frac{P_\theta(v | X)}{Q_\theta(v)}$$
確率が極めて低いトークンが選択されないように、最終的な重要度スコア ($S_{\text{PriorTR}}$) は、事後質量と対数比を組み合わせたものである：
$$S_{\text{PriorTR}}(v_i) = P_\theta(v_i | X) \cdot \log \left( \frac{P_\theta(v_i | X)}{Q_\theta(v_i)} \right)$$
トークンはこのスコアによってランク付けされ、上位$K$個が保持される。

効率的なシングルパス実装

PriorTRの主要な革新性は、モデルを2回実行する計算オーバーヘッドを回避し、シングルフォワードパス内で事前分布と事後分布の両方を推定できる点にある。

• プローブとしてのヌルトークン: 本手法は、自己回帰デコーダの因果的アテンション構造を利用する。視覚トークンの直後、かつ指示トークンの直前に「ヌルトークン」（例：改行記号 \n）を配置する。
• 因果的マスキング: 因果的マスクにより、ヌルトークンは後続の指示トークンにアテンションを向けることができない。したがって、その視覚シーケンスに対するヌルトークンのアテンション分布は、自然に指示に依存しない事前分布 ($Q_\theta$) を表すことになる。
• 同時抽出: 同一のアテンションブロック内で、実際の指示トークンから視覚シーケンスへのアテンションが、タスクに条件付けられた事後分布 ($P_\theta$) を提供する。
• 物理的プルーニング: 単にトークンをマスクするだけのメソッドとは異なり、PriorTRは選択されなかった隠れ状態およびKVキャッシュを物理的に削除する。これにより、後続のレイヤーが実際に短縮されたシーケンス上で動作することを保証し、メモリと計算量の真の削減を実現する。

主な貢献

1. モデル誘発的事前分布の特定: 著者らは、アテンションに基づくプルーニングがしばしば指示に依存しない顕著性のパターンに支配され、それがタスクに関連するトークンの抑制につながるという観察を定式化した。
2. PriorTRアルゴリズム: 視覚トークンを、生の（raw）アテンションの大きさではなく、「V-利用可能情報」（事前分布に対するセマンティック・リフト）に基づいてランク付けする学習フリーのトークン削減手法。
3. 効率的なシングルパス設計: ヌルトークン・プローブを用いてシングルフォワードパス内で事前分布を推定する実装により、重複した伝播を行うことなく、物理的プルーニングと実質的な推論加速を可能にした。
4. 実証的検証: LLaVA-1.5、Qwen3-VL、および複数のベンチマーク（画像およびビデオ理解）における、精度と効率のトレードオフを改善することを広範な実験で示した。

実験結果

本論文では、LLaVA-1.5-7B、LLaVA-1.5-13B、およびQwen3-VL-8Bを用い、12のマルチモーダルベンチマーク（GQA, MME, MMB, POPE, ビデオQAタスクを含む）でPriorTRを評価している。

• 精度 vs 効率: PriorTRは、複数の強力な学習フリーのベースライン（FastV, PDrop, SparseVLM, VisPruner, PruMerge）を一貫して上回っている。
  • LLaVA-1.5-7Bにおいて、64個のトークンを保持した場合（88.9%削減）、PriorTRは平均精度**94.5%**を達成し、FastV（70.7%）やVisPruner（91.7%）を大幅に上回った。
  • Qwen3-VL-8Bにおいて、11.1%のトークン比率で、PriorTRは**87.8%**の相対性能を達成し、ベースラインのFastV（75.5%）を上回った。
• ビデオ理解: Video-LLaVAにおいて、PriorTRはトークンマージングと組み合わせることで、GPTによる評価ではベースラインに近い精度（非圧縮時の38.7%に対し38.7%）を実現し、Geminiによる評価ではベースラインを上回り、SparseVLMを超える性能を示した。
• 効率性の向上: PriorTRは大幅な高速化（LLaVA-1.5-7Bで最大2.21倍）を達成し、トークン削減量に比例してKVキャッシュのメモリ使用量を削減しており、物理的プルーニングが計算負荷を効果的に下げていることを確認した。
• アブレーション研究: スコアリング関数の比較により、提案された $P \cdot \log(P/Q)$ の定式化が、単純な差分 ($P-Q$)、対数比 ($\log(P/Q)$)、または生の事後分布 ($P$) といった代替案よりも優れていることが示され、関連性の大きさ（magnitude）と相対的なリフト（relative lift）を共に考慮することの必要性が検証された。

重要性

本論文は、Intrinsic Saliency（固有の顕著性）とTask-driven Relevance（タスク駆動の関連性）を分離することにより、効率的なマルチモーダル推論のための原則的な方向性を提示していると主張している。モデル誘発的な事前分布を補正することで、PriorTRは、トークン選択が視覚的な優位性ではなく、指示に条件付けられた意味論によって駆動されることを保証する。このアプローチは、アグレッシブなトークン圧縮下でも高い精度を維持できる、堅牢でプラグアンドプレイなソリューションを提供し、現在のアテンションベースのプルーニング戦略における根本的な限界に対処している。著者らは、本手法が既存の手法と直交しており、それらとシームレスに統合可能であることを強調している。