Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models

以下は、提示された論文「Not All Attention is Needed: Parameter and Computation Efficient Tuning for Multi-modal Large Language Models via Effective Attention Skipping（EAS）」の技術的な要約です。

1. 背景と課題 (Problem)

マルチモーダル大規模言語モデル（MLLMs）の効率化の課題
近年、LLaVA や LaVIN などのマルチモーダル大規模言語モデル（MLLMs）は大きな成功を収めていますが、特定の下游タスク（ドメイン適応）に適用する際、以下の課題が存在します。

1. 計算コストとパラメータの過剰さ: MLLM は大規模な事前学習を行っていますが、特定のタスクへの微調整（チューニング）において、すべてのパラメータと計算リソースを必要とするのは非効率的です。
2. 既存の手法の限界:
   • パラメータ効率型転移学習 (PETL): Adapter や LoRA などの手法は更新パラメータを減らしますが、モデル構造に追加のブランチ（アダプタ）を導入するため、推論時のレイテンシ（遅延）が増加し、真の高速化が達成されません。
   • パラメータ・計算効率型転移学習 (PCETL): 冗長なモジュールを削除する試み（例：DAS）がありますが、Transformer レイヤー全体を粗粒度で評価する手法では、削除可能な層が限られ、かつアダプタによる遅延の問題が解決されていません。
3. コンポーネントの役割の違い: MLLM 内の「マルチヘッドアテンション (MHA)」と「フィードフォワードネットワーク (FFN)」は役割が異なります。MHA は依存関係のモデル化を、FFN はモデル容量の向上を担いますが、MHA の方がパラメータ数が少ないにもかかわらず計算時間が長く、タスクによっては冗長である可能性があります。

2. 提案手法 (Methodology)

著者らは、Effective Attention Skipping (EAS) という新しい手法を提案しました。これは、MLLM のパラメータ数と計算コストを同時に削減しつつ、推論速度を向上させることを目的としています。

2.1 核心となるアイデア

• アテンションの冗長性評価: MLLM において、すべてのマルチヘッドアテンション (MHA) が下游タスクに必要ではないことを発見しました。MHA をスキップ（削除）しても性能が維持される一方で、FFN をスキップすると性能が急激に低下します。
• 粒度の細い評価: 従来の「レイヤー全体」の削除ではなく、「MHA モジュール単位」で冗長性を評価し、不要なアテンションのみを特定・削除します。

2.2 主要コンポーネント

1. 情報伝達アダプタ (Propagation-of-Information Adapter: PIA)

   • 目的: アテンションをスキップした際に生じる情報欠損を補完し、かつ推論時の追加遅延をゼロにするためのモジュールです。
   • 構造:
     • 入力特徴量を低次元空間に投影し、平均プーリング（global pooling）を通じてトークン間の情報交換を行います。
     • 複数のパス（アップサンプリング時）を持ち、ルーターによって重み付けされた組み合わせを行います。
   • 再パラメータ化 (Re-parameterization): 学習中は PIA がアダプタとして機能しますが、推論時にはその重みを既存の FFN（フィードフォワードネットワーク）の重みに統合（再パラメータ化）します。これにより、推論時に追加のブランチが不要となり、ゼロの追加遅延でスキップされた MHA の機能を FFN が引き継ぎます。

2. アテンション冗長性評価アルゴリズム

   • k-armed bandit ベースの探索: どの MHA を削除すべきかを自動的に決定するために、強化学習の一種である k-armed bandit アルゴリズムを採用しています。
   • プロセス: 複数のサブネットワーク（異なる MHA を削除したモデル）をサンプリングし、損失値に基づいて報酬を計算します。アテンションモジュールの重要度スコア（アクション選好度）を更新し、最も冗長（スコアが低い）な MHA を特定してスキップします。

3. 主な貢献 (Key Contributions)

1. EAS (Effective Attention Skipping) の提案: MLLM 向けのパラメータ・計算効率型チューニング手法として、MHA の粒度で冗長性を評価し、不要なアテンションをスキップする新しいアプローチを確立しました。
2. PIA (Propagation-of-Information Adapter) の開発: アテンションスキップを可能にするアダプタでありながら、推論時に FFN に再パラメータ化されることで、追加のレイテンシを発生させない画期的な設計を実現しました。
3. 広範な実験的検証: LLaVA、LaVIN、METER といった代表的な MLLM/VLP モデルに対し、ScienceQA、Slake、AID、VQA2.0 などの 6 つのベンチマークで実験を行いました。

4. 実験結果 (Results)

実験結果は、EAS が既存の手法（PETL や DAS）を性能と速度の両面で凌駕していることを示しています。

• 推論速度の向上:
  • LaVIN: 12 層の MHA をスキップした場合、性能を維持（または向上）しつつ、推論速度を2.18 倍に向上させました。
  • LLaVA: 推論速度を1.20 倍（約 +20%）向上させました（ScienceQA で 96.2% の精度を維持）。
  • DAS との比較: 従来の DAS 手法と比較して、同じスキップ数において EAS は 44.4%〜51.6% 高速でした。これはアダプタによる遅延が解消されたためです。
• パラメータ効率:
  • 更新されるパラメータ数は全体の 0.1% 未満（例：LaVIN で 0.11%）に抑えられつつ、フルチューニングと同等以上の性能を達成しました。
  • FLOPs（計算量）も大幅に削減されました（例：LaVIN で約 217.7G FLOPs の削減）。
• アブレーション研究:
  • MHA vs FFN: MHA の削除は性能にほとんど影響しませんが、FFN の削除は性能を大きく低下させます。この結果は「すべてのアテンションが必要ではない」という仮説を裏付けました。
  • PIA の有効性: 情報伝達（平均プーリング）や再パラメータ化の設計が、性能維持と高速化に不可欠であることを示しました。

5. 意義と結論 (Significance)

この論文は、マルチモーダル大規模言語モデルの実用化における重要な障壁である「計算コスト」と「推論遅延」を同時に解決する道筋を示しました。

• 真の高速化の実現: 単にパラメータを減らすだけでなく、モデル構造そのものを最適化し、アダプタによるオーバーヘッドを排除することで、「パラメータ効率」と「計算効率」を両立させました。
• リソース制約環境への適用: 推論速度が向上し、計算リソースが削減されるため、エッジデバイスやリソースが限られた環境での MLLM の展開が現実的になります。
• モデル設計への示唆: MLLM において、アテンション機構にはタスク固有の冗長性が存在し、それを動的に削減することで、より効率的なモデル設計が可能であることを実証しました。

結論として、EAS は MLLM の下游タスク適応において、性能を損なうことなく大幅な効率化を実現する有望な手法であり、今後の大規模モデルの展開において重要な技術的基盤となります。