技術要約: CoCurve

問題提起

構造化プルーニングは、アテンションヘッドやFFN（フィードフォワードネットワーク）のチャネルグループといった計算ユニット全体を削除することで、大規模言語モデル（LLM）を圧縮します。学習を必要としない手法（training-free methods）は、データや計算資源の要求がないため好まれますが、通常、決定的な盲点を抱えています。それは、**「除去可能なユニットを独立してランク付けしてしまう」**という点です。

既存の多くのアプローチは、一連のユニットをプルーニングした際の損失は、個々のユニットによる損失の総和である（$\Delta L(S) \approx \sum \Delta L(u)$）と仮定しています。この仮定は、サブレイヤーが共有された残差ストリームを通じて結合されているTransformerアーキテクチャにおいては成立しません。その結果、個別の重要度（サリエンス）は低いものの、**「共同で不可欠な」**ユニットが存在する可能性があります。独立したスコアリングでは、このような結合関係を捉えることができず、「ブリッジ・ユニット（架け橋となるユニット）」を、それが支えているユニットと共に削除してしまい、コード生成や数学などのタスクにおけるモデルの生成能力に不釣り合いなダメージを与えてしまいます。

手法: CoCurve

著者らは、アテンションとFFNの相互作用をモデリングすることで、アテンションとFFNのユニットを共同でプルーニングする、キャリブレーションのみの手法であるCoCurve (Cross-Module Co-Pruning Curvature) を提案します。

1. プルーニング・リスクとしての二次自己蒸留

本手法は、プルーニング・リスクを、ラベルなしテキストを用いた、凍結されたフルモデル（教師）と、そのマスクされたコピー（生徒）との間のトークンレベルのカルバック・ライブラー（KL）ダイバージェンスとして定義します。

• 0次および1次: プルーニングがゼロの状態では、分布は一致するため、リスクとその勾配は消失します。
• 2次: テイラー展開の主要項は純粋に二次形式となります：$R(s) \approx \frac{1}{2} s^\top H s$。
• フィッシャー行列 ($H$): この単一の行列 $H$ には以下が含まれます：
  • 対角成分 ($H_{uu}$): 古典的なノード・サリエンス（Optimal Brain Damageと同様）。
  • 非対角成分 ($H_{uv}$): 共プルーニング曲率エッジ（Co-pruning curvature edges）。これは、ユニット $u$ と $v$ を同時に削除した際に発生する追加の歪みを表します。

2. 単一ユニット・アブレーションによる実用的な推定

$M \times M$ の相互作用行列全体を計算するには、通常 $O(M^2)$ のペアワイズ・アブレーションが必要となります。CoCurveは、以下の閉形式の推定量を導出することでこれを回避します。

• 非対角成分 $H_{uv}$ は、単一ユニットのロジット摂動特徴量の**グラム積（Gram product）**であることが示されています。
• 各ユニットに対して1回ずつ、計 $M$ 回の単一ユニット・アブレーション・パスを実行し、それらのロジット変化のフィッシャー重み付きドット積を計算することで、完全な相互作用行列を復元できます。
• これにより、勾配、ヘッセ行列ベクトル積、あるいはペアワイズのスイープを必要とせず、計算が可能になります。

3. ワンショット・グリーディ・ソルバー

プルーニングは、予算制約付きのバイナリ二次計画問題として定式化されます。著者らは、以下の特性を持つコスト正規化グリーディ・ソルバーを採用しています。

• ユニットの削除を選択する際、ノードのサリエンスと、既に選択されたユニットとの蓄積された相互作用の両方を含む「限界リスク」に基づきます。
• アテンションとFFNのユニットに対して共有予算の下で動作し、手動で分割比率を固定するのではなく、最適な分割を最適化によって決定します。
• 二次近似が劣化する高プルーニング比率において、エッジ項の影響を抑制するための信頼領域スカラー ($\lambda$) を含みます。この $\lambda$ は、FFNチャネルの冗長性に基づくラベルフリーのルールによって決定されます。

4. 補償（オプション）

積極的なプルーニング比率に対しては、削除されたユニットによる残差ストリームのシフトを吸収するために、保持されたFFNグループの出力を再スケーリングする、閉形式の補償ステップを用いることができます。このステップも勾引なしで行われ、選択中に計算されたエッジブロックを使用します。

主な貢献

1. ノードからエッジへの目的関数: 既存のノード優先のランキングを超え、アテンションとFFNの間のクロスモジュール・コ・プルーニング曲率を表現する二次的なプルーニング・リスクを導出したこと。
2. 実用的な推定器とソルバー: 完全な相互作用行列が単一ユニット・アブレーション特徴量のグラム積であり、$O(M)$ のパスで復元可能であることを示したこと。本手法は、重みの更新やリカバリなしに、シングルショットで選択問題を解決します。
3. 解釈可能なメカニズム: ノード優先の手法が破棄してしまう「ブリッジ・ユニット（サリエンスは低いが結合性が高いユニット）」を明示的に保護すること。これにより、構造化プルーニングを古典的な二次手法（OBD/OBS）との連続体の上に位置づけました。
4. 予測ルール: 単一のキャリブレーション統計量（FFNチャネルの冗長性）を用いて、エッジ項を信頼すべきか、あるいは減衰させるべきかを事前（a priori）に予測できるルールを提示しました。

結果

著者らは、4つの高密度LLM（3B–8B）で評価を行い、24Bモデルを用いたスケーリング研究において、9つの訓練不要なベースラインと比較しました。評価には14のベンチマーク（言語モデリング、常識、知識、数学、コードを含む）が使用されました。

• パフォーマンス: CoCurveは、強力な訓練不要のベースラインを一貫して上回りました。代表的なモデル（Llama-3.1-8B-Instruct）の20%プルーニングにおいて、言語モデリング、世界知識、コード生成で最高のスコアを達成し、常識タスクにおいても最高平均値を記録しました。
• 脆弱なタスク: 本手法は、他の手法が崩壊しやすいコード生成や数学といった脆弱な生成タスクにおいて、最大の改善を示しました。24Bモデルの40%プルーニングにおいて、CoCurveは最強の有効なベースラインよりも14.5倍低いパープレキシティを達成しました。
• アブレーション研究:
  • 非対角のエッジ項を取り除くと、性能が対角成分のみのセレクター（OBDスタイル）と同等に低下し、エッジが性能向上を牽引していることが確認されました。
  • ジョイント（共同）アテンション-FFNプルーニングは、どちらか一方のモジュールのみをプルーニングする場合よりも優れた結果を示しました。
  • エッジによる恩恵は、FFNチャネルの冗長性と反比例の関係にあります。本手法は、エッジが誤解を招く可能性がある高冗長モデル（例：Qwen2.5-32B）において、エッジを減衰させるゲート機能を含んでいます。

意義と主張

本論文は、構造化LLMプルーニングの概念を再定義します：「ノードだけでなく、エッジをプルーニングせよ」。

• メカニズム: 既存の手法の失敗は、残差ストリームを介した異種モジュール（アテンションとFFN）間の結合を無視していることに起因すると著者らは主張しています。CoCurveは、導出されたフィッシャー曲率行列を通じて、この結合を捉えます。
• 効率性: 本手法は厳密に訓練不要であり、ラベル、ファインチューニング、または反復的な再推定を必要としません。単一ユニット・アブレーションのフォワードパスのみを必要とするため、計算効率が高いです。
• 堅牢性: 「優雅なフォールバック（graceful fallback）」を提供します。エッジが誤った判断を招く可能性のある高冗長モデルにおいて、本手法は自動的に強力な対角成分（OBDスタイル）セレクターへと回帰し、強力な古典的ベースラインを下回ることがないよう設計されています。
• 範囲: 著者らは、CoCurveを中程度の圧縮領域（約30-40%まで）に対するソリューションとして位置付けています。すべての訓練不要な手法と同様に、リカバリなしでの極端な比率では超線形的に劣化することを認めていますが、独立したランキング手法と比較して、利用可能な圧縮の限界を大幅に広げています。

結論として、クロスモジュール間の相互作用は単なる装飾的なものではなく、複雑な生成に必要な機能的計算を維持するための「荷重を支える（load-bearing）」要素であり、これらの相互作用をモデリングすることが効果的な構造化プルーニングには不可欠であるとしています。