💬 NLP

PALS: Percentile-Aware Layerwise Sparsity for LLM Pruning

本論文は、活性化の大きさに基づいてトランスフォーマーの層間でスパース性比率を動的に調整することで、LLaMA-2-7Bにおいて一様プルーニングに対して大幅なパープレキシティの改善を達成するワンショット・プルーニング手法であるPALSを提案しており、勾配ベースの割り当てが離散的な重みの除去には効果的ではないことを示している。

原著者： Yazdan Jamshidi, Alexey Shvets

公開日 2026-07-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yazdan Jamshidi, Alexey Shvets

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、数十億冊の本（パラメータ）を持つ、巨大で非常に賢い図書館（大規模言語モデル）を所有しています。しかし、この図書館をスマートフォンに入れて持ち運べるように、小さなバックパックに収める必要があります。そのためには、本の半分を捨てなければなりません。これが「プルーニング（枝刈り）」と呼ばれるものです。

問題は、すべての本が等しく重要なのではないということです。中には単なる埋め合わせのような本もあれば、世界を理解するための極めて重要な地図や鍵となる本もあります。

旧来の手法：「一律適用」のアプローチ

以前の手法（WandaやSparseGPTなど）は、厳格な司書のようなものでした。その司書はこう言います。「本の50%を減らす必要があります。ですから、内容に関わらず、すべての棚から正確に半分の本を捨てます。」

著者たちは、これは愚かなことだと主張しています。ある棚には極めて重要でユニークな情報が詰まっている一方で、別の棚は単なる繰り返しのメモで満たされていることもあります。もし重要な棚から50%を削ってしまえば、図書館は意味をなさなくなります。逆に、繰り返しの多い棚から50%を削ったとしても、誰も気づきません。

新しい手法：PALS（「賢い司書」）

著者たちは、PALS（Percentile-Aware Layerwise Sparsity：パーセンタイルを考慮した層ごとの希薄化）と呼ばれる新しい手法を提案しています。すべての棚から同じ量を削るのではなく、PALSはまず棚の状態を確認する「賢い司書」として振る舞います。

その仕組み：

「アウトライヤー（外れ値）」のチェック： 司書は各棚の本を見て、「ここに、極端に異なっていたり、あるいは非常に大きな声を出していたりする本はあるか？」と問いかけます。技術的な言葉で言えば、彼らはアクティベーション・アウトライヤー（活性化の外れ値）、つまり特定のパーツが非常に「興奮」したり、活発になったりする瞬間を探しています。
ルール：
- もし棚にこうした「大きな声」や「興奮」した瞬間があるなら、その棚は極めて重要な仕事をしていることを意味します。ここではあまり削らないでください。 本を多く残しておきます。
- もし棚が静かで均一であるなら、それはおそらく反復的な作業を行っていることを意味します。ここではもっと削ってください。 より多くの本を捨てます。
セーフティネット： 極端なことをしすぎないように、司書にはルールがあります。「削る量を（プラスマイナス5%の範囲内で）わずかにしか変更してはいけない」というルールです。これにより、重要な棚を誤って空にしてしまったり、役に立たない棚を完全に満たしたままにしてしまったりすることを防ぎます。

大きな驚き：「勾配」の罠

「本の大きさ（活動量）」に注目する前に、研究者たちは別のアイデアを試してみました。彼らはこう考えました。「もしかしたら、**勾配（グラディエント）**を見ればいいのではないか？」と。

AIの世界において「勾配」とは、本を少しずつ改善するためにどの方向に微調整すべきかを示す地図のようなものです。通常、これは何を残すべきかを判断するための非常にスマートな方法です。

しかし、衝撃的な事実がありました。 勾配を使って何を削るかを決めたところ、図書館は崩壊してしまったのです。その結果は、単にランダムに本を投げ捨てた場合よりも悪かったのです。

なぜか？ 著者たちの推測では、勾配は「極めて小さなステップ」を踏むための地図だからです。しかし、プルーニングは「巨大で大規模なステップ（一度に50%の本を取り除くこと）」です。小さなステップのための地図は、地形の半分を取り除いたときに何が起こるかを教えてはくれません。それは、「ある丘がどちらに傾斜しているかを知っていることは、もしその山の半分をブルドーザーで削り取ってしまった場合にどうなるかを知っていることにはならない」というのと似ています。

結果

旧モデル（LLaMA-2）において： 「賢い司書」（PALS）は素晴らしい成果を上げました。図書館のサイズは半分になりましたが、言語理解能力はフルバージョンのほぼ同等のレベルを維持しました。これは「一律適用」の手法よりもはるかにスマートでした。
新しいモデル（Mistral, LLaMA-3）において： 「賢い司書」はあまり効果を発揮しませんでした。著者たちは、これら最新のモデルは非常に高度に訓練されているため、すべての棚が等しく重要であるためだと考えています。削る余地のある「冗長な」棚が存在しないため、スマートな戦略でも優位性を見出すことができなかったのです。

まとめ

PALSは、AIモデルの賢さを失うことなく、モデルをより小さくするためのシンプルで安価なトリックです。これは、どの部分が「叫んでいる（活動が高い）」かに耳を傾けてそれを保護し、静かな部分を削ることで機能します。

また、この研究は私たちに貴重な教訓を与えてくれます。**「勾配のような手法が小さな微調整に有効だからといって、それが大きな削減にも有効であるとは限らない」**ということです。時には、最も複雑な数学よりも、最もシンプルな信号（今、その部分がどれほど活動しているかを見るという事実）の方が優れた結果をもたらすのです。

技術要約: PALS (Percentile-Aware Layerwise Sparsity)

問題提起

数十億のパラメータを持つ大規模言語モデル（LLM）は、推論時において膨大なメモリと計算負荷を課します。ポストトレーニング・プルーニング（学習後枝刈り）は、再学習を行うことなく、重みの一定割合を削除することでこの問題に対する解決策を提供します。しかし、WandaやSparseGPTのような標準的なワンショット・プルーニング手法は、一様（uniform）なスパース性を強制し、すべてのトランスフォーマー層に対して同じプルーニング比率（例：50%）を適用します。

このアプローチは、既知のレイヤー間の重要性の差異を無視しています。トランスフォーマーの層には機能的な不均一性（heterogeneity）が存在します。初期層はしばしば汎用的な表現を構築し、中間層は冗長である可能性があり、後期層は出力語彙のために特化しています。一様なプルーニングは、これらの違いを活用できず、敏感な層から重要な重みを削除してしまう一方で、冗長な層を過剰にプルーニングしてしまう可能性があり、結果としてパープレキシティ（perplexity）や精度の低下を招きます。

手法: PALS

著者らは、小規模なキャリブレーション・セットから収集された活性化統計量に基づいて、各層のプルーニング比率を動的に調整する手法であるPALS (Percentile-Aware Layerwise Sparsity) を提案しています。PALSはWandaのパイプラインに極めて低いオーバーヘッドで統合でき、ファインチューニングを必要としません。

コア・アルゴリズム

活性化パーセンタイルによるレイヤー重要度:
各層 $l$ について、キャリブレーション・セット上で活性化 $A^{(l)}$ を収集します。平均活性化（これは重要な信号を平均化して消してしまう可能性があります）を使用する代わりに、PALSは絶対活性化強度の99パーセンタイルを計算します：
$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$
この指標は、「活性化のアウトライヤー（外れ値）」、すなわち先行研究（Dettmersら）がモデルの品質に不可欠であると特定した、他の要素より10〜100倍大きい振幅を持つ特徴量を標的としています。
正規化と割り当て:
生のパーセンタイル・スコアは、層間で比較可能にするために標準化（ $\hat{I}^{(l)}$ ）されます。その後、グローバルなターゲット $s_{\text{target}}$ を正規化された重要度に基づいてシフトさせることで、レイヤーごとのスパース性ターゲット $s^{(l)}$ が算出されます：
$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$
- $\alpha$ (適応強度): スパース性がターゲットからどの程度逸脱するかを制御します。
- 保守的な境界: この手法は、ターゲットの周囲 $\pm 5\%$ のバンドを強制します（例：50%のターゲットに対し、層は45%から55%の間でプルーニングされる）。これにより、激しくプルーニングされた層がネットワーク全体の容量を低下させる「情報ボトルネック」を防ぎます。
プルーニングの実行:
$s^{(l)}$ が決定されると、Wandaの基準（ $|w| \cdot \text{mean}(|a|)$ ）を用いて重みがスコアリングされ、削除されます。下位 $s^{(l)} \times 100\%$ の重みが除去されます。重みの更新やファインチューニングは行われません。

主要な知見: 勾配ベースの割り当ての失敗

著者らは、より原理的なアプローチとして、勾配の大きさ（または一次テイラー展開）を使用してスパース性を割り当てる方法をテストしました。このアプローチは決定的な失敗を喫し、ランダムな割り当て（24.37）や一様プルーニング（12.92）よりも大幅に悪いパープレキシティ（47.32）を記録しました。著者らは、勾配は最適化のダイナミクス（局所的な収束）を反映しており、重みの大部分を離散的に削除する際の影響を反映していないためであると仮説を立てています。

実験結果

主要な結果 (LLaMA-2-7B)

50%の非構造化スパース性におけるLLaMA-2-7Bの結果：

Uniform Wanda: 12.92 (WikiText-2 パープレキシティ)
PALS: 10.96 (WikiText-2 パープレキシティ)
有意性: これは15.2%のパープレキシティ改善を表しています。この結果は、9回の独立した試行において統計的に有意です（ $p < 0.001$ ）。
ダウンストリーム・タスク: PALSは、Wandaと比較してBoolQ、PIQA、HellaSwag、MMLUにおけるゼロショット精度を向上させ、高密度モデルの平均精度の93.3%を維持しています。

アーキテクチャへの依存性

PALSの恩恵は普遍的なものではなく、モデルの内部的なレイヤーの不均一性に依存します：

LLaMA-3-8B: わずかな利得（10.48 対 10.45）。
Mistral-7B: 利得なし（両者とも6.31）。
解釈: 新しいモデル（LLaMA-3、Mistral）は、より大規模な学習データセットやアーキテクチャの変更（例：Grouped-Query Attention）により、計算が層全体に均一に分散されている可能性が高く、非一様な割り当てを利用する余地が少なくなっています。

効率性

メモリ: モデルサイズを50%削減（13.2 GB $\to$ 6.6 GB）。
スループット: NVIDIA A100 GPU上のスパース行列カーネルを使用し、1.41倍の高速化を達成。
オーバーヘッド: PALSのパイプラインは、Wandaが既に収集している活性化データを再利用するため、プルーニングのプロセスに加わる時間は無視できる程度です。

意義と主張

本論文は、その貢献に関して主に3つの主張を行っています：

非一様性による性能向上: PALSは、レイヤーの重要性が不均一なモデル（特にLLaMA-2）において、活性化のアウトライヤーに基づいて層ごとのスパース性比率を調整することが、大幅なパープレキシティの減少をもたらすことを示し、標準的な一様プルーニングのベースラインを上回りました。
ワンショット・プルーニングにおける勾配の失敗: 本論文は、小規模なネットワークでは成功する勾配ベースの重要度指標が、事前学習済みLLMにおいてはランダムな割り当てよりも劣る結果を生むという、顕著な失敗モードを記録しています。これは、勾配の大きさと、ワンショット設定における離散的な重み削除の影響との間の根本的な乖離を示唆しています。
堅牢性と簡潔さ: この手法はファインチューニングを必要とせず、計算コストも最小限であり、トランスフォーマーにおける活性化アウトライヤーの既知の現象と一致する単純な統計的ヒューリスティック（99パーセンタイル）に基づいています。

著者らは、手法の有効性が対象となるモデルの特定のアーキテクチャや学習ダイナミクスに依存することを認め、その利得の普遍性については控えめな姿勢をとっています。もしモデルの層が均一に重要であるならば、PALSは一様プルーニングに対して何の優位性も持ちません。