技術サマリー：COAST – 視覚言語モデルのための対照的適応セマンティックトークンプルーニング

1. 問題定義：トークンプルーニングにおける視覚失語症

大規模視覚言語モデル（LVLM）は、高密度な視覚トークン系列を処理することで、強力なマルチモーダル推論を達成します。しかし、デコーダ自己注意の二次的な複雑さにより、推論効率を向上させるために視覚トークンの削減が必要となります。既存の学習不要なプルーニング手法（FastV、LLaVA-PruMerge など）は、通常、浅い層からのスカラー注意スコアに依存して、「低注意」トークンをランク付けし、破棄します。

著者らは、このアプローチにおける致命的な失敗モードを特定し、視覚失語症と名付けました。この現象は、浅い層の注意に基づいて早期にトークンをプルーニングすることで、当初は低スコアであったが、深い層において二次的な物体、空間的関係、文脈的手がかりを解決するために不可欠となるトークンが削除されてしまう際に発生します。これらのトークンが破棄されると、モデルは視覚的グラウンディングを失い、言語的事前知識に頼るようになり、幻覚（例：ラクダが支配的な画像内の小さな看板について問われた際に「The Camel Cafe」と答える）を引き起こします。本論文は、スカラーの顕著性が、構成的推論に必要な文脈的に出現する視覚的証拠を本質的に過小評価していると主張しています。

2. 手法：COAST

視覚失語症に対処するため、著者らはCOAST（COntrastive Adaptive Semantic Token Pruning：対照的適応セマンティックトークンプルーニング）を提案します。これは、視覚圧縮を適応的セマンティックルーティングとして再定義する学習不要なフレームワークです。単一のスカラー決定の代わりに、COAST は保持予算をセマンティック証拠（クエリ整合）と空間的文脈（補完的）という 2 つの相補的な役割に分割します。

このフレームワークは、スケジュールされたプルーニング層において、主に 2 つの段階で動作します。

A. エントロピー駆動型動的予算配分

COAST は、ネイティブなクロスモーダル注意を再利用して、視覚的証拠の分散を推定します。

1. 注意エントロピーの計算: 直前の層からのグローバルなテキストから画像への注意エントロピー（$H$）を計算します。低いエントロピーは特定の領域への集中した注意を示し、高いエントロピーはより広範な文脈を必要とする分散した証拠を示唆します。
2. 適応的分割: 残りのトークン予算（クエリ固有のアンカーを予約した後のもの）は、$H$ に基づいて 2 つの部分に分割されます。
   • $n_1$（セマンティック証拠）：クエリと整合するトークン。
   • $n_2$（補完的空間的文脈）：シーンレベルの文脈を提供するトークン。
   • この分割は適応的です：注意エントロピーが増加するにつれて、予算はより多くの空間的文脈（$n_2$）を保持する方向にシフトし、分散した手がかりが失われないようにします。

B. アンカー - リファレンス対照的セマンティックルーティング

予算が割り当てられた後、COAST は単一のスカラースコアの代わりに対照的メカニズムを用いて候補トークンをスコアリングします。

1. セット構築:
   • アンカー（$A$）： 最後のトークンの注意（クエリとの高い関連性）を通じて選択されます。
   • リファレンス（$R$）： グローバル注意を通じて、最低スコアのトークン（低顕著な文脈）として選択されます。
   • 候補（$C$）： 残りの非アンカートークン。
2. 対照的スコアリング: 各候補 $c_i$ について、アンカーとの類似性とリファレンスとの類似性を対照させることでスコアが計算されます。
   $$\text{Score}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$$
   ここで、$\text{Sim}_A$ は任意のアンカーへの最大コサイン類似度、$\text{Sim}_R$ はリファレンスセットへの平均コサイン類似度です。
3. 両端保持:
   • Top-$n_1$: 最も高いスコアを持つ候補は、アンカー整合証拠として保持されます。
   • Bottom-$n_2$: 最も低いスコアを持つ候補は、補完的空間的文脈として保持されます。これらのトークンはアンカーとは異なりますが、スカラープルーニングが破棄してしまうシーンのカバレッジや空間的関係を維持するために不可欠です。
4. 順序付き再構成: 保持されたトークン（アンカー + Top-$n_1$ + Bottom-$n_2$）は、後続のデコーダ層のための空間的レイアウトを維持するために、元のシーケンスインデックスによってソートされます。

3. 主要な貢献

• 視覚失語症の特定: 本論文は、積極的な早期プルーニングが LVLM の視覚的グラウンディングを失わせ、代わりに言語的事前知識に依存させる特定の失敗モードを定義し、実証しています。
• COAST フレームワーク: 圧縮を適応的セマンティックルーティングとして扱い、エントロピーを利用してセマンティック証拠と空間的文脈のバランスを取る学習不要なプルーニング手法。
• 対照的ルーティングメカニズム: 高関連アンカーと低顕著な補完的文脈の両方を保持する新規スコアリング戦略であり、最も顕著な物体への「注意の崩壊」を回避します。
• 包括的評価: 7 つのベンチマーク（MME、MMBench、AI2D、GQA、VizWiz、POPE、ScienceQA-IMG）および複数の LVLM ファミリー（LLaVA-1.5、LLaVA-NeXT、LLaVA-OneVision、Qwen2.5-VL）にわたる広範な実験。

4. 実験結果

7 つのベンチマーク全体において、COAST は強力なベースライン（FastV、PDrop、SparseVLM、V2Drop、MMTOK）と比較して、優れた性能 - 効率のトレードオフを示しました。

• 性能維持: COAST は視覚トークンを**77.8%削減（128 トークンを保持）しながら、元の平均性能の98.64%**を維持します。192 トークン予算の下では、**0.21%**の性能低下のみで、ベースライン（例：SparseVLM は 1.61% の低下）を大幅に上回ります。
• レイテンシの高速化: COAST は2.15 倍のレイテンシ高速化を達成します。特に、効率的なルーティングと順序付きトークン再構成により、同等の FLOPs 削減を持つベースラインよりも低いレイテンシを達成します。
• 汎化性: この手法は、異なるモデルスケール（0.5B から 13B）およびアーキテクチャ全体でベースラインを一貫して上回り、中程度から積極的な圧縮設定の両方において堅牢性を示しています。
• アブレーション研究:
  • 両端保持: アンカー整合ブランチ（$n_1$）または補完的文脈ブランチ（$n_2$）のいずれかを除去すると性能が低下し、両種類の証拠を保持する必要性が確認されました。
  • エントロピー駆動型予算配分: 注意エントロピーに基づく適応的分割は、固定比率分割を上回り、特に複雑な推論を必要とするベンチマーク（MME、GQA）で顕著です。
  • 対照的スコアリング: アンカー - リファレンス対照スコアは、スカラー注意または MaxSim みのスコアリングを大幅に上回ります。

5. 意義と主張

本論文は、適応的セマンティックルーティングが、ワンショットのスカラープルーニングに対する堅牢な代替手段であると主張しています。トークンの重要性が動的であり、文脈に依存することを認識することで、COAST は「視覚失語症」という失敗モードを緩和し、LVLM が積極的なトークン削減下でも微細な視覚的グラウンディングを維持できるようにします。著者らは、この手法が微調整を必要とせず、計算オーバーヘッドを最小限に抑え、多様な LVLM アーキテクチャに適用可能であることを強調しており、効率的で高忠実度なマルチモーダル推論システムの展開に対する実用的な解決策を提供しています。