技術的サマリー：Ghosted Layers – 層プルーニングされた LLM の復元のための制約なし活性化アライメント

1. 問題定義

層プルーニングは、モデルサイズと推論コストを削減するために、カスタムカーネルやアーキテクチャの変更を必要とせずに、トランスフォーマーデコーダブロック全体を除去する、大規模言語モデル（LLM）向けの実用的な圧縮技術である。しかし、これらのブロックを除去すると、境界活性化の不一致が生じる。次の生存層へ渡される隠れ状態は、その層が元々処理するように訓練された分布とは著しく異なる。この分布のシフトは下流の層を通じて伝播し、パープレキシティおよび下流タスクの精度の両方において、著しい性能低下をもたらす。

既存の学習不要な復元手法はこの不一致を軽減しようとするが、構造的な限界に苦しんでいる：

• ReplaceMeは、生存する重みに吸収される線形変換を介して、除去されたブロックの計算を近似するが、境界の不一致を直接解決するものではない。
• LinearPatchは、ハダマール回転されたチャネルごとのスケーリングとしてパラメータ化された線形演算子を挿入することにより、境界活性化の不一致を直接ターゲットとする。重要なことに、このパラメータ化は構造的に対称であるため、探索空間が線形演算子の厳密な部分空間に制限され、アライメント目的関数の大域的最適解に到達することを妨げている。

実証的分析は、これらの手法が境界活性化誤差の相当部分を未修正のまま残しており、それらの演算子の制約された性質が、プルーニングされたモデルの性能を完全に回復するには不十分であることを示唆している。

2. 手法：Ghosted Layers

著者は、制約なしの最適線形演算子を解くことで境界活性化の不一致に対処する、学習不要でプラグ＆プレイ型の復元モジュールであるGhosted Layersを提案する。

中核的な定式化

この手法は、復元を活性化アライメント問題として定式化する。$X_{pre}$を、元のプルーニングされていないモデルにおいて、最初の除去された層への隠れ状態入力とし、$X_{post}$を、最後の除去された層の出力（次の生存層への入力）とする。目的は、$X_{pre}W \approx X_{post}$となる線形演算子$W$を見つけることである。

著者は、境界活性化ギャップを$\Delta = X_{post} - X_{pre}$と定義する。演算子を$W = I + M$と再パラメータ化し、目的をギャップの再構成誤差の最小化に変換する：
$$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$$

閉形式解

制約付き部分空間上で最適化する以前の手法とは異なり、Ghosted Layersは線形演算子の全空間$\mathbb{R}^{C \times C}$上で、閉形式の最小ノルム最小二乗解を導出する：
$$M^* = X_{pre}^\dagger \Delta$$
ここで、$X_{pre}^\dagger$は境界前の活性化のモーア・ペンローズ擬似逆行列である。最終的な演算子は$W^* = I + M^*$となる。

実装

1. 較正：C4 からの 128 系列など、少量の較正系列を元のプルーニングされていないモデルに通し、フォワード前フックを介して$X_{pre}$と$X_{post}$を収集する。
2. 計算：数値的安定性を確保するため、正則化された最小二乗ソルバー（または SVD）を用いて、オフラインで最適演算子$M^*$を計算する。
3. 展開：演算子$W^*$を、プルーニング境界にフォワードフックを介して挿入する。操作は$x_{new} = x W^* = x + x M^*$であり、ここで加算項$x M^*$は、除去された層が寄与したはずの増分的更新を推定する。

理論的利点

本論文は、最適演算子$W^*$が実質的な反対称成分を含んでいることを証明している。LinearPatch は対称行列（$W = W^\top$）への探索を制限しているため、構造的にこの反対称成分にアクセスできない。Ghosted Layers は制約のない空間で動作することでこの成分を捉え、理論的にアライメント目的関数の真の最適解を達成する。

3. 主要な貢献

1. プルーニング後の復元の定式化：著者は復元を活性化アライメント問題として定式化し、境界活性化から直接その閉形式の最適解を導出した。
2. 制約なし最適性：この定式化が、LinearPatch などの対称的な構成ではアクセス不可能な、実質的な反対称成分を含む制約なしの最適解をもたらすことを実証した。
3. Ghosted Layers モジュール：任意のプルーニング基準およびモデルアーキテクチャと互換性のある、学習不要でプラグ＆プレイ型のモジュールを提案した。これは、一致した推論コストにおいて、従来の学習不要なベースラインを一貫して上回る。

4. 実験結果

この手法は、複数の LLM バックボーン（LLaMA-3-8B、LLaMA-3.1-8B、DeepSeek-R1-Distill-LLaMA-8B、および付録のその他）およびプルーニング戦略（LLM-Streamline、ShortGPT、Shortened LLaMA）で評価された。

• 精度：Ghosted Layers は、9 つの常識推論ベンチマーク（ARC、HellaSwag、WinoGrande など）において、学習不要なベースラインと比較して、一貫して最高または競争力のある平均ゼロショット精度を達成する。例えば、7 層がプルーニングされた LLaMA-3.1-8B において、Ghosted Layers は 60.01% の平均精度を達成し、LinearPatch (Rotate) の 53.27% や ReplaceMe (LS) の 59.68% を上回った。
• パープレキシティ：この手法は、WikiText-2、C4、Penn Treebank におけるパープレキシティを大幅に低減する。積極的なプルーニングシナリオ（11 層の除去）では、ベースラインに対する改善幅が広がり、Ghosted Layers はほとんどの組み合わせで最低のパープレキシティを達成した。
• 効率性：完全な$C \times C$行列の解を求めるにもかかわらず、Ghosted Layers は LinearPatch と比較して追加の推論コストを伴わない。両手法とも、境界において単一の密な$C \times C$行列乗算に操作を融合させる。実測のレイテンシ測定は、ノイズマージン内で区別不可能であることを確認している。
• 較正感度：この手法は較正セットのサイズに対して頑健であり、わずか 32 系列で精度が飽和し、較正データセットの選択（C4 対 WikiText-2）は性能にほとんど影響を与えない。
• 微調整：軽量な知識蒸留と組み合わせた場合でも、Ghosted Layers は微調整された LinearPatch 変種に対して性能上の優位性を維持しており、閉形式の初期化が優れた出発点を提供することを示唆している。

5. 意義と主張

本論文は、境界活性化アライメントをその制約なしの最適解で解くことが、再学習なしで層プルーニングされた LLM の性能を著しく回復するのに十分であると主張している。

この研究の意義は、プルーニングされたモデルにおける性能低下が、単に欠落した容量の結果ではなく、修正可能な分布のシフトの結果であることを実証している点にある。対称行列などの制約付き演算子部分空間を超えて、線形写像の全空間へ移行することで、Ghosted Layers は以前の手法が見落としていた構造的な情報（特に反対称成分）を回復する。このアプローチは、元の能力を維持しつつ、より小型のプルーニングされた LLM を展開するための、シンプルで計算効率的かつ極めて効果的な解決策を提供する。