From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

以下は、大規模言語モデルのための構造化プルーニングパラダイムを見直すという論文「From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models」（GISP の導入）の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）は計算コストが高く、効率的な展開戦略が必要です。ハードウェアとの互換性のため、構造化プルーニング（アテンションヘッド全体や MLP チャネルの除去）は、非構造化プルーニングよりも好まれます。しかし、現在の支配的なパラダイムは、層ごとの再構成誤差を最適化する「局所プルーニング」（例：SparseGPT、Wanda）です。

局所プルーニングの主要な限界点:

• タスク非依存性: 剪定された層と密な層の出力間の差異を最小化するため、一般的なパープレキシティは維持されますが、特定のダウンストリームタスクの最適化には失敗します。
• 限られた較正: タスク固有の較正データを使用しても、局所手法は目的関数（層ごとの MSE）が最終モデルの損失から切り離されているため、タスク信号を効果的に活用できません。
• 高スパースリティにおける不安定性: 局所手法は、高い剪定率（40〜50%）において精度を維持することにしばしば苦労します。
• 複数のスパースリティへの非効率性: 異なるスパースリティレベルのモデルを取得するには、局所手法は各目標比率ごとに個別の独立したプルーニング実行を必要とします。

2. 手法：GISP（Global Iterative Structured Pruning）

著者らは、局所的な再構成からグローバルで損失整合性の取れた最適化へと移行する、学習後の構造化プルーニングフレームワークであるGISPを提案します。

中核コンポーネント:

1. グローバル重要度指標:

   • 層ごとの再構成の代わりに、GISP は重み摂動に対するグローバルモデル損失（$L$）の 1 次テイラー展開に基づいて重要度を定義します。
   • 重み $W_{ij}$ に対する重要度スコア: $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$。
   • タスク整合性: 損失関数 $L$ は交換可能です。言語モデリングにはパープレキシティ（交差エントロピー）を使用します。意思決定スタイルのタスク（例：QA）には、正解と不正解の間の決定境界を維持するためのマージンベース損失を使用します。

2. 反復的プルーニングスケジュール:

   • 問題: 無謀な「ワンショット」グローバルプルーニング（すべての重みを一度に除去する）は不安定であり、高スパースリティにおいて精度の崩壊を引き起こします。
   • 解決策: GISP は反復的にプルーニングを行います。$n$ 回の反復において各ステップ $k$ で小さなプルーニング率（$\rho_k$）を適用し、総スパースリティを目標値 $\rho$ まで徐々に増加させます。
   • 正規化: アテンションブロックが MLP ブロックよりも高い重要度スコアを持つという不均衡に対処するため、GISP はグローバルなランキングを行う前に、アテンションと MLP の構造内でそれぞれスコアを個別に正規化します。

3. 「1 回プルーニング、多数展開」ワークフロー:

   • GISP は反復的であるため、自然にネストされたサブネットワーク構造を生成します。20% スパースリティに剪定されたモデルは、30% に剪定されたモデルの部分集合であり、それはさらに 50% モデルの部分集合です。
   • これにより、単一のプルーニング実行で様々なスパースリティレベルにおけるパレートフロンティアのモデル群を生成でき、複数の独立したプルーニング実行の必要性を排除します。

3. 主要な貢献

• グローバルプルーニングの見直し: グローバルプルーニングが、反復的かつ学習後に行われる場合、特に高スパースリティ（40〜50%）において、パープレキシティとダウンストリーム精度の両方で局所プルーニングを上回ることを実証しました。
• タスク固有のプルーニング: 重要度をタスク固有の損失関数（例：QA 用のマージン損失）を通じて直接定義するメカニズムを導入し、汎用的な圧縮とタスク認識型最適化の間のギャップを埋めました。
• ネストされたサブネットワークによる効率性: 1 つの反復的プルーニングプロセスが異なるスパースリティレベルで複数の使用可能なモデルを生み出す「ワン・フォー・オール」ワークフローを確立し、反復の計算コストを複数のモデルで償却しました。
• ロバスト性: 較正予算が大幅に削減された場合（標準的なトークン数の 1% まで）でも GISP が有効であることを示しました。

4. 実験結果

著者らは、Llama2-7B/13B、Llama3-8B、Mistral-0.3-7B、DeepSeek-R1-Distill-Llama-3-8B、および Qwen3-8B において GISP を評価しました。

• パープレキシティ（WikiText-2）: GISP は、局所的なベースライン（Wanda、LLM-Pruner、FLAP、OWL）よりも一貫して低いパープレキシティを達成します。50% スパースリティにおいて、局所手法はしばしば「パープレキシティの崩壊」（PPL > 100）に見舞われますが、GISP は競争力のある PPL を維持します（例：Llama2-7B で約 64 に対し、Wanda は約 81）。
• ダウンストリーム精度（CMQA）:
  • GISP は、すべてのモデルとスパースリティレベルにおいてすべてのベースラインを上回ります。
  • タスク固有の向上: CMQA データを較正に使用し、マージンベース損失を使用することで、汎用的な C4 データを使用する場合と比較して精度が大幅に向上します。例えば、Llama2-13B の 40% スパースリティにおいて、GISP（マージン）は**63.34%の精度を達成し、Wanda の59.11%**を上回ります。
• 推論タスク（GSM8K）:
  • DeepSeek-R1 および Qwen3 において、タスク整合性の取れた較正（GSM8K データを使用）はパフォーマンスを劇的に向上させます。Wanda は汎用的な較正で 20% スパースリティの DeepSeek-R1 において精度が 0% に崩壊するのに対し、タスク較正を用いた GISP は**67.93%**を達成します。
• 効率性:
  • GISP は反復により総実行時間が長くなりますが、1 回の実行で 112 以上の使用可能なサブネットワークを生成するのに対し、局所手法は 1 回の実行で 1 つしか生成しないため、使用可能なモデルあたりの償却時間は局所手法よりも短くなります。
  • 剪定されたモデルは、推論速度の大幅な向上（プリフィル速度が最大 1.7 倍）とメモリ削減（50% スパースリティで最大 45%）を示します。

5. 意義と影響

• パラダイムシフト: この論文は、局所的な再構成に基づくプルーニングの支配性に挑戦し、グローバルで損失整合性の取れたプルーニングが、反復的に実装された場合、LLM において優れていることを証明しました。
• 実用的な展開: 「1 回プルーニング、多数展開」の機能は、エッジ展開において非常に価値があり、再プルーニングなしで単一のモデルファイルを異なるハードウェア制約に動的に適応させることを可能にします。
• タスク適応: 較正データと損失目的をプルーニング段階で変更するだけで、フルファインチューニングなしで LLM を特定のドメイン（医療、数学など）に適応させるための堅牢なフレームワークを提供します。
• リソース効率: 最小限の較正データでもロバストであることを実証することで、リソース制約のある環境における大規模モデルへの構造化プルーニングの適用障壁を下げました。

結論として、GISPは現在のプルーニング手法に対するシンプルかつ強力な代替案を提供し、より高い精度、高スパースリティにおける優れた安定性、およびタスク固有の展開のための柔軟性を提供します。