技術要約: CAPA – 高解像度画像処理における効率的な大規模視覚言語モデルのための、寄与度を考慮したプルーニングとFFN近似

1. 問題提起

大規模視覚言語モデル（LVLM）は、特に高解像度の画像を扱う際に、数千もの視覚トークンを処理することによる膨大な計算コストというボトルネックに直面している。視覚トークンのプルーニングは主要な加速戦略として台頭してきたが、既存の手法は、重要でないトークンを特定するために、生の注意スコア（attention scores）やそれから派生したヒューリスティックな指標に大きく依存している。著者らは、注意スコアは関連する値ベクトル（value vectors）の大きさを無視しているため、実際のトークンの重要性の不完全なプロキシ（代理指標）であると主張している。

さらに、現在のアプローチは視覚トークンとテキストトークンを一様に扱うことが多い。しかし、最近のエビデンスは、LVLMのバックボーンがこれらのモダリティを異なる方法で処理していることを示唆している。具体的には、FFN（フィードフォワードネットワーク）における視覚トークンの冗長性は、これまでほとんど探索されてこなかった。LLM領域における先行研究では、FFN近似（例：スパース近似、MoE）が探索されているが、これらの技術はLVLMにおける視覚トークンの特定の冗長性パターンへと拡張されていない。

2. 実証的分析と主要な観察

著者らは、LVLM（LLaVA-1.5, Qwen2.5-VL, InternVL3）を用いて実証的分析を行い、視覚トークンの挙動を解体することで、2つの決定的な観察事項を導き出した。

1. 視覚的アテンション・シンクの異質性:

   • 従来の「アテンション・シンク」（不釣り合いに高い注意の質量を持つトークン）は、機能的に均一ではない。
   • 新しい指標である**「注意の寄与度（Attention Contribution）」**を用いることで、著者らは2種類のシンクを区別した。
     • タイプI（確率の蓄積場所 / Probability Dumps）: 注意の重みは高いが、値ベクトルの大きさが小さいトークン。これらは過剰な確率質量を受け入れる受動的な器として機能し、残差ストリームへの寄与は無視できる。これらはプルーニングしても安全である。
     • タイプII（構造的アンカー / Structural Anchors）: 高い注意の重みと、巨大な値ベクトルの大きさを併せ持つトークン。これらはモデルの性能を維持するために不可欠であり、これらを除去すると表現の崩壊を引き起こす。
   • 結論: 注意スコアのみに依存することは、これら2つのタイプを区別できず、不可欠なトークンの誤ったプルーニングを招く。

2. モダリティ依存のFFN冗長性:

   • 著者らは、入力隠れ状態 $x$ と残差出力 $x + \text{FFN}(x)$ の間のコサイン類似度を計算することで、FFN変換の線形性を測定した。
   • 知見: 画像トークンは、中間層の大部分において、ほぼ恒等写像（類似度 > 0.96）を示す。これは、視覚データに対するFFN変換が実質的に線形であり、冗長であることを示している。対照的に、テキストトークンは初期および中間層において顕著な非線形性を示す。
   • 結論: 中間層における視覚トークンの高コストな $O(d^2)$ のFFN計算は、表現の整合性を損なうことなく、軽量な線形近似に置き換えることができる。

3. 手法: CAPAフレームワーク

これらの知見に基づき、著者らはCAPA（Contribution-Aware Pruning and FFN Approximation：寄与度を考慮したプルーニングとFFN近似）というデュアル戦略フレームワークを提案する。

A. 寄与度を考慮したプルーニング

生の注意スコアの代わりに、CAPAは各視覚トークン $i$ の**注意寄与度スコア ($C_i$)**を計算する。このスコアは、出力行列によって投影された値ベクトルの大きさを注意確率に重み付けする。

• 数式: $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
• メカニズム: 生成中、システムは寄与度スコアが最も高い上位-$k$個の視覚トークンを選択してキー・バリュー・キャッシュに保持し、寄与が無視できるトークンをプルーニングする。これにより、「構造的アンカー」を保存しながら、「確率の蓄積場所」を除去することを保証する。

B. 冗長性の特定とFFN近似

冗長性が高い（入力と出力のコサイン類似性が閾値 $\eta$ を超える）と特定された層に対して、CAPAは標準的な高密度FFNを軽量な**アダマール積（Hadamard product）**に置き換える。

• 近似: 残差ブロック $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ は、$\hat{y}^{(l)} = x^{(l)} \odot \alpha$ （ここで $\alpha$ は学習された要素ごとのスケーリングベクトル）として近似される。
• 複雑度の削減: これにより、層の計算複雑度は $O(d^2)$ から $O(d)$ に減少する。
• 最適化: 最適なスケーリングベクトル $\alpha$ は、キャリブレーションセット上で最小二乗法（OLS）を用いて解析的に導出されるため、反復的な勾配降下法を回避できる。

4. 実験結果

本フレームワークは、3つのLVLMバックボーン（LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B）について、6つのベンチマーク（VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU）を用いて評価された。

• ベースラインとの比較: CAPAは、すべてのベンチマークにおいて、既存のプルーニング・ベースライン（FastV, Feather, Uniform pruning）を一貫して上回った。特に、プルーニングが最も敏感になる「遷移層（transition layers）」において、ベースラインが大幅な性能低下を経験したのに対し、CAPAは未プルーニングのVanillaモデルに近い性能を維持した。
• 堅牢性: CAPAは高いスパース性レベルにおいて優れた堅牢性を示した。ベースラインが50%以上のプルーニングで急激な性能低下を起こした一方で、CAPAは75%のプルーニングにおいてもVanillaに近い精度を維持した。
• 効率性の向上:
  • トークン・プルーニング: シーケンス長に関連する二次的なコストを削減した。
  • FFN近似: 冗長な層における支配的な $O(d^2)$ のコストを排除した。
  • 総影響: 組み合わせたアプローチにより、タスク性能を維持しながら、総FLOPsを78%削減することに成功した。
• アブレーション研究:
  • ロジット乖離: 注意の寄与度に基づくプルーニングは、特に長文生成において、注意スコアに基づくプルーニングと比較して、より低いヘリンジャー距離（Vanillaモデルの出力分布に近い状態）を示した。
  • FFN置換: 単にFFN層をスキップすると性能低下を招いたが、アダマール積で置き換えることで、失われた性能の大部分を正常に回復できた。これは線形性の仮説を裏付けている。

5. 意義と主張

本論文は、視覚トークンが注意メカニズムおよびFFN処理の両方において、テキストトークンとは異なる挙動を示すことを認識することで、CAPAがLVLM最適化における重要なギャップを埋めるものであると主張している。

• プルーニング・パラダイムの転換: 著者らは、注意スコアはトークン選択には不十分であると論じている。**「注意の寄与度」**を導入することで、どの視覚トークンが機能的に必要であるかを特定するための、より忠実な信号を提供している。
• モダリティ特化型の最適化: 本研究は、LVLMの効率化には、視覚とテキストのモダリティに対して異なる戦略が必要であることを強調している。具体的には、視覚的FFNにおける線形的な冗長性の特定により、テキスト処理には適用できないアーキテクチャの簡素化が可能となる。
• 効率性と性能のトレードオフ: CAPAは好ましいトレードオフを実現しており、タスク性能やモデルの堅牢性を損なうことなく、大幅な推論加速（78%のFLOP削減）を実現し、既存のトークン・プルーニングのみのベースラインを凌駕している。

6. 限界

著者らは、CAPAが固定された学習済みバックボーン上で動作する**事後（post-hoc）**の戦略であることを認めている。したがって、学習されたトークン選択とモデル計算を共同で学習させるメリットを完全には活用できない。今後の課題として以下が示唆されている。

• 適応的なトークン保持のための学習済みコントローラーの設計。
• 視覚トークンに特化した、ネイティブで効率的なFFNモジュールを備えた視覚・言語バックボーンの開発。
• 多様な分布シフトに対するこれらの戦略の評価、および学習されたポリシーの解釈可能性の調査。