💬 NLP

High-Layer Attention Pruning with Rescaling

本論文では、大規模言語モデルの高層レイヤーからアテンションヘッドを戦略的に除去し、表現の大きさを維持するために適応的な再スケーリングを適用する、学習を必要としない新しい手法であるHigh-Layer Attention Pruning with Rescaling (HARP) を提案しており、既存の構造化プルーニング手法と比較して、多様な生成および識別タスクにおいて優れた性能を達成している。

原著者： Songtao Liu, Peng Liu

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Songtao Liu, Peng Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください、あなたは「大規模言語モデル（LLM）」と呼ばれる、物語を書いたり、数学の問題を解いたり、人間のようにチャットしたりできる、超スマートなロボットの脳を持っています。これらの脳は非常に強力ですが、同時に巨大でもあります。まるでバックパックの中に図書館を丸ごと詰め込もうとしているようなものです。あまりに巨大であるため、考えるのが遅く、多くのスペースを占有してしまい、一般的なスマートフォンやノートパソコンで使うのが難しくなります。これを解決するために、科学者たちは「プルーニング（枝刈り）」という手法を使います。プルーニングを盆栽の手入れに例えて考えてみてください。木が健康であり続け、かつ小さく、速くなるように、あまり働いていない枝を慎重に切り落としていくのです。

通常、人々がこれらのロボットの脳をトリミングするとき、彼らは「アテンション・ヘッド（注意機構の頭部）」を見ています。これは、モデルがどの単語とどの単語が互いに関連しているかを判断するのに役立つ、脳の小さなパーツです。これらのヘッドを、部屋の中にいる探偵たちのチームだと想像してみてください。各探偵は異なる手がかりに注目しています。従来のトリミング方法は、あらゆる部屋から数人の探偵を選び出し、チームが機能し続けることを願いつつ、彼らを追い出すというものでした。しかし、この論文は、それが必ずしも賢い方法ではないと示唆しています。実は、建物の非常に高い階（モデルの高いレイヤー）にある部屋では、下の階の者たちがすでに言ったことを、探偵たちが単に繰り返していることが多いのです。彼らは新しい価値をほとんど付け加えていません。ペンシルベニア州立大学のソンタオ・リュー氏とペン・リュー氏は、もし上の階の探偵たちだけをトリミングし、下の階の働き者たちには手を触れなければ、より良い結果が得られるのではないかと考えました。彼らはまた、それらの上の階の探偵たちを取り除いたときに、脳が混乱しないようにするための巧妙なトリックも見つけ出しました。

大きなアイデア：真ん中ではなく、上から切る

研究者たちは、HARP（High-layer Attention Rescaled Pruning：高層レイヤー・アテンション再スケーリング・プルーニング）と呼ばれる新しい手法を提案しました。彼らの主な発見は、大規模言語モデルの「高いレイヤー」は、低いレイヤーよりも実は重要度が低いということです。なぜそうなるのかを理解するために、リレー競走を想像してみてください。スタート地点のランナー（低いレイヤー）は、言葉や文章の基本的な形を理解するという重労働を行っています。バトンがトラックを上がって高いレイヤーへと移動するにつれ、ランナーたちはただバトンを渡しているだけになります。バトンが一番上の端に到達する頃には、ランナーたちはあまりに同調しすぎており、全員が下の人のことをそのままコピーしている状態になっています。もしトラックの上部からランナーを取り除いたとしても、レース自体は大きく変わりません。なぜなら、彼らは単に下の人の動作をコピーしていただけだからです。

著者らは、これらの高いレイヤーにあるアテンション・ヘッドをプルーニング（切り出し）した場合、あらゆる場所からランダムに切り出すよりも、モデルが実際にうまく機能することを発見しました。彼らは LLaMA3.1-8B、Mistral-7B、Qwen2-7B、Gemma2-9B といったいくつかの有名なモデルを用いてテストを行いました。実験では、モデルの最も高い8つのレイヤーから特定のアテンション・ヘッドを取り除きました。

「ボリュームノブ」のトリック

ただし、一つ問題がありました。上の階の探偵たちを取り除くと、脳が送る信号が以前よりも少し静かになったり、逆に大きくなったりするのです。ステレオシステムのスピーカーを一つ取り外したときのようなものです。音楽はまだ流れますが、音量は変わってしまいますし、音も歪んでしまうかもしれません。これを修正するために、著者らは「再スケーリング・パラメータ」を導入しました。これは、ボリュームノブやディマー（調光器）のようなものだと考えてください。上のレイヤーを切り取った後、彼らはこのノブを回して信号の大きさを調整し、残りの脳のパーツが互いにクリアに聞き取れるようにしました。彼らは単に設定値を推測したのではなく、スマートな探索メソッドを使用して、モデルが最も最高の音を出すための完璧なボリュームレベルを見つけ出すために、さまざまな数値をテストしました。

彼らが発見したこと

結果は非常に印象的なものでした。彼らが27種類の異なるタスク（トリビア問題への回答から、複雑な数学の問題の解決、長い文書の要約まで）に対してHARPメソッドをテストしたところ、他の人気のあるプルーニング手法を一貫して上回りました。

生成タスク： これは、数学の問題をステップ・バイ・ステップで解くような、新しいものを書き出す必要があるタスクです。ここでHARPは最も輝きました。例えば、LLaMA3.1-8Bモデルにおいて、HARPは生成タスクで平均**31.10%のスコアを獲得しましたが、次に優れた手法はわずか20.58%**でした。これは驚異的な跳躍です！
ロングコンテキスト（長い文脈）： 論文は、モデルが非常に長い物語や文書（最大65,536トークン）をどれだけうまく扱えるかについても調査しました。アテンション機構は長いテキストに対して最も遅くなる部分であるため、上のレイヤーをカットすることでモデルは大幅に高速化されました。彼らは、65,536トークンのシーケンスにおいて、プルーニングされたモデルが元の未プルーニングのモデルよりも**16.7%**高速でありながら、品質を高く維持していることを発見しました。
識別タスク： これらは、モデルがリストの中から正しい答えを選ぶタスク（多肢選択式のクイズのようなもの）です。ここでは改善幅は小さかったものの、依然としてプラスでした。HARPは他の手法と同等かそれ以上の性能を示し、上のレイヤーをカットしてもモデルの事実理解能力が損なわれないことを証明しました。

なぜこれが重要なのか

著者らは、この手法が、モデル全体をゼロから再学習させることなく、AIをより速く、より安価に動かすためのゲームチェンジャーになると示唆しています。AIのビルディングにおける上の階が最も「冗長（ユニークな仕事をほとんどしていない）」であることを理解することで、筋肉を傷つけることなく、脂肪を削ぎ落すことができるのです。「再スケーリング」のトリックは、その部分を取り除いたときにモデルが目まいを起こさないように保証します。

要約すると、この論文は、AIのすべてのパーツを同じように扱うべきではないと主張しています。高層ビルと同じように、最上階のフロアは基礎となる階層よりも構造にとって重要ではない可能性があるのです。上部を慎重にトリミングし、ボリュームを調整することで、私たちはこれらの巨大なAIの脳をより小さく、より速く、そして日常的な使用に適したものにすることができます。この手法のコードは誰でも試せるように公開されており、著者らはこれが、長い文脈を扱うAI（本一冊を数秒で読むようなAI）を現実世界でより実用的なものにする助けとなることを願っています。

技術要約：高層レイヤー・アテンション・プルーニング（HARP）

問題提起

大規模言語モデル（LLM）は最先端の性能を実現しているが、特に長文コンテキストのシナリオにおいて、高い推論レイテンシとメモリコストという課題を抱えている。構造化プルーニングは、パラメータを削減するためのトレーニングフリーな解決策を提供するが、既存の手法は、ネットワークの全レイヤーにわたってアテンションヘッドを一律に削除するヒューリスティックな指標を採用していることが多い。これらのアプローチは、アーキテクチャ内におけるアテンションヘッドの「位置的な冗長性」を考慮できていない。具体的には、現在の手法は、多様なトークン表現を処理する下層レイヤーのアテンションヘッドが、表現が高度に整列（アライメント）した状態にある上層レイヤーのヘッドよりも重要であるかどうかを区別していない。さらに、アテンションヘッドを削除すると、集計ステップ（重み付き平均）がバイパスされるため、トークン表現の大きさが変化し、モデルの出力スケールを不安定化させる可能性がある。

手法

著者らは、これらの方策に対処するために、2つのコアメカニズムを通じて設計された、トレーニングフリーの構造化プルーニング・アルゴリズムであるHARP (High-layer Attention Rescaled Pruning) を提案する。

1. 高層レイヤー・アテンション・プルーニング

HARPは、LLMの上層レイヤーにおけるアテンションヘッドは下層レイヤーよりも重要性が低いという理論的および経験的な前提に基づいて動作する。

理論的根拠: トークンがネットワーク内を伝播するにつれ、その隠れ表現はますます類似していく傾向がある（オーバースムージング）。トークン表現の平均ペアワイズ・コサイン類似度が1に近づくと、クエリ（Query）とキー（Key）はほぼ平行になる。その結果、ソフトマックス・アテンションの重みは一様になり、アテンションヘッドはトークンを区別できない単純な平均化演算子へと退化する。
経験的根拠: ブロック重要度（Block Importance: BI）スコアなどの指標は、一般に下層レイヤーのパラメータが上層レイヤーよりもモデルの性能に高い影響を与えることを示している。
実装: HARPは、モデルの最も高いレイヤーにあるアテンションヘッドのクエリ（ $Q$ ）およびキー（ $K$ ）のパラメータを選択的にプルーニングする。 $Q$ と $K$ を削除することで、これらのレイヤーにおける自己アテンション機構は実質的にバイパスされる。これにより、当該レイヤーはバリュー（ $V$ ）および出力（ $O$ ）投影のみを適用することになり、計算複雑度が $O(N^2d)$ から $O(Nd)$ へと減少する。

2. 適応型リスケーリング（Adaptive Rescaling）

アテンション集計ステップをプルーニングすることは、重み付き平均操作が削除されるため、隠れ状態の表現のスケール（大きさ）を変化させる。

問題: 集計ステップがない場合、隠れ状態のフロベニウスノルムが変化し、性能低下を招く可能性がある。
解決策: HARPは、プルーニングされたレイヤーの残差接続に、非微分的なリスケーリング・パラメータ $\alpha$ を導入する。出力は $H = H + \alpha H W_V W_O$ と定式化される。
最適化: $\alpha$ は学習可能なパラメータではなく非微分的なハイパーパラメータであるため、著者らは貪欲なトップダウン探索戦略を採用している。最上層のプルーニングされたレイヤーから開始し、保持されたコーパスに対するパープレキシティ（PPL）を最小化することにより、離散集合 $\{0, 0.1, \dots, 1.0\}$ から最適な $\alpha$ の値を探索する。このプロセスは、ネットワークを下に向かってレイヤーごとに繰り返される。

主な貢献

斬新なプルーニング戦略: 表現のオーバースムージングにより情報量が減少するという観察に基づき、LLMの高層レイヤーのアテンションヘッドを特異的にターゲットとするHARPを導入した。
リスケーリング・メカニズム: アテンション集計ステップをバイパスしたことによるスケールのずれを補正するために、適応的なリスケーリング・パラメータを提案した。
包括的な評価: 4つの多様なLLMアーキテクチャ（LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B）および27のダウンストリーム・タスク（生成および識別ベンチマークの両方を含む）にわたる広範な実験を実施した。
効率性の向上: プルーニングされたレイヤーにおけるアテンション機構の二次的な複雑性を削減することで、特に長文コンテキストのタスクにおいて大幅な推論スピードアップを実現した。

実験結果

著者らは、Magnitude Pruning (Mag-sp)、LLM-Pruner、FLAP、およびWandaを含む最先端のベースラインと比較して、HARPを評価した。

生成タスク: HARPは一貫してすべてのベースラインを上回った。LLaMA3.1-8Bにおいて、HARPは生成タスク（TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBH）で平均**31.10%**のスコアを達成し、FLAP（15.05%）やWanda-sp（12.61%）を大幅に上回った。この改善は、プルーニングされたモデルにとってエラー伝播が大きな課題となる、長い応答を必要とするタスク（例：GSM8K）において特に顕著であった。
識別タスク: HARPは、LLaMA3.1-8B、Mistral-7B-v0.3、およびQwen2-7Bにおいて最高の平均性能を達成し、Gemma2-9Bでは最良のベースラインと同等の性能を示した。
長文コンテキスト・モデリング: LongBenchベンチマークにおいて、HARPはマルチドキュメントQAおよび要約タスクにおいて優れた堅牢性を示し、他の手法よりも長距離の依存関係をより良く保持した。
アブレーション研究:
- レイヤー選択: 上位8レイヤーをプルーニング（Top-8）することは、下位8レイヤーをプルーニング（Bottom-8）したり、ヘッシアンや類似度ベースの指標を用いてレイヤーを選択したりする場合よりも、大幅に優れた結果をもたらした。
- リスケーリング: 探索された $\alpha$ パラメータの導入は、特に生成タスクにおいて大幅な性能向上をもたらし、大きさのキャリブレーションの必要性を裏付けた。
効率性: 65,536トークンのシーケンスに対して、HARPはわずか3.3%のパラメータ削減で、推論時間を16.7%高速化した。これは、長文コンテキストのシナリオにおけるアテンションヘッドをターゲットにすることの効率性を強調している。

意義と主張

本論文は、HARPが、アーキテクチャの変更やゼロからの再学習を必要とせずに、LLMを圧縮するための実用的なトレーニングフリーの手法を提供すると主張している。高層レイヤーの冗長性を戦略的にターゲットにし、それに伴うスケールの変化を補正することで、HARPはリソース制約のある環境へのLLMのデプロイを容易にし、インタラクティブなアプリケーションのための高速なサービングを可能にする。著者らは、彼らのアプローチが、現実世界のシステムにおいて長文コンテキストの推論をより手頃なものにすると強調している。

本研究は、主に高層レイヤーにおけるアテンションヘッドのプルーニングに焦点を当てており、他のコンポーネントについては未探索であることを認め、限界事項としている。今後の展望として、HARPをより大規模なモデルやマルチモーダルモデルへ拡張すること、および量子化やKVキャッシュ圧縮技術と組み合わせることが示唆されている。