技術的概要：高スパース性下でのプルーニング堅牢性向上のための重み集中正則化

問題定義

深層ニューラルネットワーク（DNN）は、視覚および言語タスクにおいて最先端の性能を達成していますが、しばしば莫大な計算リソースを必要とし、リソース制約のある環境での展開を制限しています。モデルプルーニングは、重要度の低いパラメータを削除することでモデルサイズを削減することを目指します。再学習を伴う反復的プルーニングは効果的ですが、計算コストが高くなります。一方、再学習なしで単一ステップで冗長なパラメータを削除する「ワンショットプルーニング」は、より効率的な代替手段を提供します。しかし、標準的な目的関数で学習されたモデルは、過激なスパース性下で精度が大幅に低下する傾向があります。

先行研究はこの課題を緩和するために、主に 2 つの方向性から取り組んでいます：

1. 正則化ベースのアプローチ（例：$\ell_1$、DeepHoyer）：学習中に重み分布を整形します。しかし、$\ell_1$ はすべての重みを均一に縮小するのに対し、DeepHoyer はスケール不変なスパース性を誘発します。いずれも、重みエネルギーを少数の有益なパラメータのサブセットに明示的に集中させるものではありません。
2. プルーニングに堅牢なオプティマイザ（例：SAM、CrAM、S2SAM）：損失地形を平坦化して汎化性能を向上させます。

特定された核心的な限界は、標準的なスパース性誘発手法が、スパース性と情報保持の間のトレードオフを明示的に扱っていない点です。重みの重要度が拡散的に分布している場合、小さな絶対値を持つ重みを削除しても、重要なエネルギーが少数の支配的なパラメータに十分に集中していないため、性能が低下します。

手法：重み集中正則化子（WCR）

著者らは、重み絶対値分布を再構成するように設計された学習時正則化子である**重み集中正則化子（WCR）**を提案します。重みを均一に縮小する従来の手法とは異なり、WCR は重みエネルギーを少数のパラメータのサブセットに集中させ、残りをゼロに向かわせることを目指します。これにより、少数のパラメータが重みエネルギーの大部分を保持する「重い裾（ヘビーテール）」分布が形成され、絶対値に基づくプルーニングによって無視できるパラメータを最小限の性能損失で削除可能になります。

数式定式化

WCR は、絶対値重みの分散の逆数を罰則として課すことで動作します。選択された層の重み $w^{(\ell)}$ に対して、著者らは原点における微分可能性を確保するために、まず滑らかな絶対値変換を適用します：
$$\tilde{w}^{(\ell)}_i = \sqrt{(w^{(\ell)}_i)^2 + r} \approx |w^{(\ell)}_i|, \quad r = 10^{-8}$$
スケールの違いを処理するために、分散は層ごとに計算されます：
$$\text{Var}(\tilde{w}^{(\ell)}) = \frac{1}{n_\ell} \sum_{i=1}^{n_\ell} \left( \tilde{w}^{(\ell)}_i - \frac{1}{n_\ell} \sum_{j=1}^{n_\ell} \tilde{w}^{(\ell)}_j \right)^2$$
正則化ペナルティ $\psi(w)$ は、選択されたすべての層における分散の逆数の和です：
$$\psi(w) = \sum_{w^{(\ell)} \in \mathcal{W}} \frac{1}{\text{Var}(\tilde{w}^{(\ell)}) + \epsilon}$$
ここで、$\epsilon = 10^{-8}$ は数値的安定性を保証します。学習の総目的関数は以下のようになります：
$$\mathcal{L}_{total}(w) = \mathcal{L}(w) + \lambda \psi(w)$$
ここで、$\lambda > 0$ はバランス係数です。

理論的解析

本論文は、WCR が確率的勾配降下法（SGD）の標準的な収束率を維持することを示す収束解析を提供しています。損失関数の $\beta_1$-滑らかさと正則化子の $\beta_2$-滑らかさの下で、結合された目的関数は標準的な定常性への収束保証を満たします。正則化子は重みの決定論的関数であるため、追加的な確率的勾配分散を導入しません。その結果、漸近的な収束率は $O(1/\sqrt{T})$ のままとなり、標準的な SGD と一致します。

主要な貢献

1. WCR の導入：重みエネルギーを少数のパラメータのサブセットに集中させ、均一な縮小ではなく明示的に重い裾の重み分布を促進する、新規の学習時正則化子。
2. 理論的保証：緩やかな滑らかさの仮定の下で、WCR が SGD の標準的な収束率を維持することを証明。
3. 実証的検証：多様な設定における包括的な評価：
   • 画像分類：CIFAR-10/100、SVHN における ResNet-18/50、WideResNet-28-10、および Tiny-ImageNet における ViT-B/32。
   • 医療セグメンテーション：LGG 脳 MRI データセットにおける ResNet-50–UNet。
   • LLM 微調整：Commonsense-170K における LoRA を使用した Qwen-2.5-1.5B および LLaMA-3.2-1B。
4. 互換性：WCR が既存のプルーニングに堅牢なオプティマイザ（SAM、CrAM、S2SAM）と互換性があり、それらと組み合わせることでさらなる向上が可能であることを実証。

実験結果

著者らは、再学習なしのワンショット絶対値プルーニング下で WCR を評価しました。

• 視覚タスク（CNN および ViT）：WCR は、特に高スパース性レベル（例：96% プルーニング）において、プルーニング後の精度を一貫して向上させました。
  • CIFAR-10 の ResNet-18 において、SGD に WCR を追加することで、96% プルーニング時の精度が 19.69% から 25.70% に向上しました。
  • SAM と組み合わせると、WCR は劇的な改善をもたらしました：96% プルーニング時、精度は SAM 単独の 48.36% から 92.08%（SAM + WCR）に上昇しました。
  • S2SAM（72.51% $\to$ 93.44%）および SVHN（9.74% $\to$ 95.99%）においても同様の傾向が観察されました。
  • ViT-B/32 において、WCR は CIFAR-100 における 80% プルーニング時の精度を、SAM の 64.11% から 84.95% に向上させました。
• 医療セグメンテーション：LGG 脳 MRI データセットにおいて、WCR は 85% および 88% プルーニング下で F1 スコアを大幅に向上させ、ハウスドルフ距離を減少させました。特に、88% プルーニング時の SGD ベースラインは有効なセグメンテーションを生成できず、SGD + WCR は 0.5280 の F1 スコアを達成しました。定性的な結果は、WCR がベースラインと比較して病変境界をよりよく保持したことを示しました。
• LLM 微調整：LoRA ベースの微調整において、WCR は $\ell_1$ および DeepHoyer 正則化子を上回りました。Qwen-2.5-1.5B において、WCR は比較対象の正則化子の中で 30% プルーニング時の平均精度（69.54%）を最高に達成し、パラメータ効率微調整シナリオにおける堅牢性を示しました。
• 汎化：主成分ヒッセ行列の固有値の分析により、WCR が損失曲面の曲率を低下させ、最適化をより平坦な極小値へと導くことが示唆されました。これは改善された汎化性能と相関しています。

意義と主張

本論文は、学習中に重み絶対値分布を整形することが高スパース性下での堅牢性向上の有効なアプローチであると主張しています。WCR の意義は、以下の点にあります：

• 大絶対値（有益）パラメータと小絶対値（無視可能）パラメータの間のより明確な分離を創出する。
• 絶対値ベースのプルーニングが、機能的な影響を最小限に抑えながらパラメータの大部分を削除することを可能にする。
• 単独の正則化子として、あるいは SAM のような損失地形平滑化手法を補完するコンポーネントとして機能する。

著者らは、WCR が過激なワンショットプルーニングに伴う精度低下に対する実用的な学習時ソリューションを提供し、CNN、Transformer、大規模言語モデルにわたって適用可能であり、プルーニング後のアーキテクチャ変更や再学習を必要としないと結論付けています。