論文要約：CATP（クロスアテンション・トークンプルーニング）

1. 背景と課題 (Problem)

近年、大規模マルチモーダルモデル（BLIP-2 など）への関心が高まっていますが、これらのモデルの推論には以下の課題が存在します。

• 計算コストの偏り: BLIP-2 モデルは、画像エンコーダ、Q-Former、そして大規模言語モデル（LLM）デコーダで構成されています。パラメータ数の約 87%（27 億パラメータ中 27 億）を LLM デコーダが占めており、推論時間の大部分を消費しています。
• 既存手法の限界: 従来のトークンプルーニング手法（L2 ノルム基準や自己アテンション確率に基づく SpAtten などの手法）は、単一モーダルモデルでは有効ですが、BLIP-2 などのマルチモーダルモデルに適用すると、精度が著しく低下します。
• 精度と効率のトレードオフ: 計算効率を向上させるためにトークンを削減しようとすると、視覚言語タスク（画像キャプション生成、視覚的質問応答 VQA など）におけるモデルの精度が犠牲になるというジレンマがありました。

2. 提案手法：CATP (Methodology)

著者らは、CATP (Cross-Attention Token Pruning) という新しいトークン単位のプロトコルを提案しました。これは、BLIP-2 の Q-Former モジュールにおける「クロスアテンション」の特性を利用し、LLM デコーダへの入力クエリトークンの重要度を評価して剪定を行う手法です。

核心的なアイデア

LLM デコーダへの入力となるクエリトークンの重要度は、単なる自己アテンションではなく、Q-Former 内の画像トークンとのクロスアテンション確率によって決定されます。画像トークンと強く関連するクエリトークンを残すことが、精度維持に不可欠です。

具体的なアルゴリズム（投票戦略）

クロスアテンション確率は Softmax 関数を用いているため、単純に合計すると 1 になってしまい、トークンごとの絶対的な重要度を測ることができません。これを解決するため、CATP は以下の投票戦略を採用しています。

1. 投票の仕組み:
   • Q-Former の各クロスアテンション層（および各ヘッド）において、画像トークンがクエリトークンに対して投票を行います。
   • 特定のクエリトークンに対して、画像トークンが持つクロスアテンション確率が高い順に、$L_0$（クエリトークンの総数）から $n$ を引いた点数（$L_0 - n$）を付与します。
   • つまり、最も関連性の高い画像トークンからの投票が最も高い点数となります。
2. スコア集計:
   • 各クエリトークンが受け取った点数を、すべての層（Layer）とすべてのヘッド（Head）にわたって累積します。
   • この累積スコアが「トークンの重要度スコア」となります。
3. 剪定:
   • 重要度スコアが最も低いトークンを、指定された剪定率（$p$）に応じて削除します。

拡張機能

• 画像トークンの重み付け: 画像トークン自体の重要度（自己アテンションスコアに基づく）を考慮し、投票に重みをつけることで、より高精度な剪定を実現します。
• 層の重要性: 全ての層を均等に扱うのではなく、最初の層と最後の層のクロスアテンション情報が特に重要であることを発見し、これらを重点的に利用する戦略も検討されています。

3. 実験結果 (Results)

Visual Question Answering (VQA) タスク（10% サンプリングのデータセット）において、BLIP-2 (blip2-opt-2.7b) モデルを用いて評価を行いました。

• 比較対象:
  • ベースライン 1: L2 ノルム基準（トークンの大きさで選択）
  • ベースライン 2: 自己アテンション確率基準（SpAtten 手法）
• 主要な成果:
  • 精度の劇的な向上: CATP は、既存の最善の手法（SOTA）と比較して、最大 12.1 倍の精度向上を達成しました。
    • L2 ノルム基準との比較：最大 6.6 倍の向上。
    • 自己アテンション基準との比較：最大 12.1 倍の向上。
  • 剪定率ごとの性能:
    • トークンを 1/2 残した場合：CATP は 41.14%〜44.17% の精度を維持（ベースラインは 9.50%〜44.22%）。
    • トークンを 1/8 まで剪定した場合でも、CATP は 23.27%〜30.17% の精度を維持し、ベースライン（1.92%〜8.91%）を大きく上回りました。
  • 重み付け投票の効果: 画像トークンの重要度を重みとして加味したバージョンでは、特に aggressive な剪定（1/8 残し）において、精度がさらに向上しました（23.27% → 29.30%）。
  • 層の影響: 最初の層と最後の層のクロスアテンション情報を利用した場合、中間層のみを利用した場合に比べて、推論精度が最大 3.2 倍高くなりました。

4. 主な貢献 (Key Contributions)

1. マルチモーダルモデル向けの新規プルーニング手法: 単一モーダルモデル向けに開発された既存手法がマルチモーダルモデルで失敗する理由を分析し、クロスアテンションを活用した CATP を提案しました。
2. 精度を維持する投票戦略: クロスアテンション確率を単純に合計するのではなく、層とヘッドを超えた「投票メカニズム」を導入することで、トークンの相対的な重要度を正確に評価する手法を開発しました。
3. 実用的な性能向上: 計算コストを削減しつつ、VQA タスクにおいて SOTA 手法を大幅に凌駕する精度を維持することに成功しました。

5. 意義と結論 (Significance)

この研究は、大規模マルチモーダルモデルの推論効率化において重要なマイルストーンです。

• 効率と精度の両立: 従来のトレードオフ（効率化＝精度低下）を打破し、計算リソースを節約しながらもモデルの能力を維持できることを実証しました。
• マルチモーダル理解の深化: クロスアテンションメカニズムが、異なるモダリティ（画像と言語）間の情報をどのように統合し、どのトークンが重要であるかを決定する鍵となっていることを示しました。
• 将来の応用: 本手法は、BLIP-2 だけでなく、他の大規模マルチモーダルモデルや、リソース制約の厳しい環境（エッジデバイスなど）でのモデル展開にも応用可能な可能性を秘めています。

結論として、CATP は、マルチモーダルモデルの推論における「精度維持型トークンプルーニング」の新たな標準となり得る手法であり、今後の大規模モデルの最適化において重要な役割を果たすことが期待されます。