技術概要：CORP - 変換器のための閉形式ワンショット表現保存構造化プルーニング

1. 問題定義

変換器ベースのモデルは最先端の性能を達成する一方で、計算コストとメモリコストが膨大であり、リソース制約のあるハードウェアへの展開を阻害している。構造化プルーニング（完全な次元または部分構造の除去）は実用的な高速化をもたらすが、既存の大半の手法は再学習、反復最適化、またはラベル付きデータと勾配へのアクセスに依存している。厳密な学習後展開シナリオでは、これらのリソースはしばしば利用できない。

これらの制約下では、チャネルやアテンション次元を除去することが層全体にわたって体系的な表現誤差を導入し、中程度のスパースリティレベルであっても急速な精度の崩壊を招くため、単純なワンショット構造化プルーニングは失敗する。著者らは、この失敗が重要度ランキングの質だけでなく、除去されたコンポーネントに対する明示的な誤差回復の欠如によって引き起こされると主張する。

2. 手法：CORP

著者らは、プルーニングを表現回復問題として再定義するフレームワークCORP（Closed-Form One-Shot Representation-Preserving Structured Pruning）を提案する。CORP は、ラベル、勾配、または微調整を必要とせず、少量のラベルなし較正データのみを利用する。

中核哲学

プルーニングを単なる選択タスクとして扱うのではなく、CORP は除去されたコンポーネントを保持されたコンポーネントのアフィン関数としてモデル化する。較正セット上でリッジ回帰を用いて閉形式の解を導出し、欠落した寄与を推定するとともに、これらの補償を直接残りの層の重みに折り込む。これにより、反復最適化や追加の推論モジュールを必要とせずに層の出力分布を保存する。

技術的構成要素

本手法は変換器における 2 つの主要な構造をターゲットとする。

A. MLP チャネルプルーニング

入力 $x$ が保持チャネル ($x_S$) と除去チャネル ($x_P$) に分割される MLP 層 $y = Wx + b$ について：

1. モデリング: 除去された活性化 $x_P$ を保持された活性化のアフィン関数として近似する：$x_P \approx Bx_S + c$。
2. 閉形式解: 較正セット $D$ 上でリッジ回帰を用いてパラメータ $(B, c)$ を導出する：
   $$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$$
   ここで、$\Sigma$ は活性化の共分散行列を表す。
3. 重み折り込み: 補償を残りの重みに折り込む：
   $$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$$
   これにより、元の出力の再構成誤差を最小化する次元削減された標準的な線形層が得られる。

B. アテンション次元プルーニング（Query/Key）

自己アテンションにおいて、CORP は複雑な結合問題を回避するため Value ($V$) 投影をそのままに、Query ($Q$) と Key ($K$) 投影の次元をプルーニングする。

1. ロジット回復: 元のアテンションロジットは $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$ である。欠落したロジット項 $Q_P K_P^\top$ を保持された部分空間を用いて近似する：$Q_P K_P^\top \approx Q_S M K_S^\top$。ここで $M$ は小さな補償行列である。
2. 閉形式解: $M$ を較正セット上でリッジ回帰問題を解くことで推定する。これはシルベスター方程式またはベクトル化された線形系として定式化される：
   $$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$$
3. 重み折り込み: 行列 $I + M$ を SVD ($U\Sigma V^\top$) により因数分解し、Query および Key 投影に折り込む：
   $$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$$

ランキング戦略

補償の前段階として、CORP は単純なデータ駆動型指標を用いて除去するチャネル/次元をランキングする。

• MLP: 活性化エネルギー ($E_i = E[x_i^2]$) と重みの大きさ ($|W_{:,i}|^2$) の組み合わせ指標。
• アテンション: 期待ロジットエネルギー ($s_j = E[\|q_j\|^2 \|k_j\|^2]$)。
  スコアが最も低いチャネルがプルーニングされる。

3. 主要な貢献

1. プルーニングの再定義: 著者らは、ワンショットプルーニングの焦点を純粋な「ランキング」から「表現回復」へとシフトさせ、補償が精度保存に不可欠であることを実証した。
2. 閉形式フレームワーク: CORP は、勾配、ラベル、微調整を必要としない、MLP チャネルおよび Q/K アテンション次元プルーニングの両方に対する統一的な閉形式解を提供する。
3. 統合された補償: ブロックの出力のみを補償する先行研究とは異なり、CORP は層ごとの表現回復を実行し、アテンション次元に対して特定のロジット空間補償を導入することで、すべての修正を削減された投影に直接折り込む。

4. 実験結果

ImageNet（DeiT および ViT モデル）、WikiText-2（OPT-1.3B）、および下流タスク（NYU Depth V2 および ADE20k 上の DINOv2）で実験が行われた。

• 精度保存:

  • DeiT-Huge: MLP およびアテンション構造の両方を 50% プルーニング後、83.27% の Top-1 精度を達成（基準となる 84.97% から約 1.7% の低下のみ）。
  • スケーラビリティ: 大規模モデル（例：DeiT-Huge）は、小規模モデル（例：DeiT-Tiny）と比較して、過激なスパースリティ下でもより強い冗長性を示し、精度保持が優れている。
  • 比較: CORP は、GRAIL、SNOWS、VBP などの最先端手法を上回るか同等の性能を発揮する。例えば、50% の MLP スパースリティを持つ DeiT-Base において、CORP は 72.0% の Top-1 精度を達成し、GRAIL の 68.6% や VBP の 66.4% よりも優れている。
  • 微調整なし: CORP は、少数ショット特徴模倣微調整を使用する DC-ViT の性能と、勾配更新なしで同等の性能を達成する。

• 効率性向上:

  • DeiT-Huge: 50% スパースリティにおいて、パラメータと FLOPs が約 40–45% 削減され、NVIDIA RTX 3090 上で1.6 倍のスループット高速化を実現。
  • OPT-1.3B: MLP およびアテンション構造の両方を 30% プルーニングすると、FLOPs が 27.2%、パラメータが 25.0% 削減され、パープレキシティはわずかに上昇する（結合プルーニングで 14.60 から 25.41）。
  • 下流タスク: DINOv2 において、50% のバックボーンプルーニングは深度推定（DINOv2-Huge の RMSE が 0.3308 から 0.3167 に改善）およびセグメンテーションにおける下流性能を維持する。

• 較正効率:

  • 本手法は較正セットのサイズに対して頑健であり、大規模モデルでも少量の較正セット（例：1000 サンプル）であっても安定している。
  • 実行時間分析により、較正がコストを支配し、ランキングと閉形式補償は無視できるオーバーヘッドであることが示された。

5. 意義と主張

本論文は、構造化プルーニングを表現回復問題として扱うことで、厳密なワンショット学習後設定で効果的に実行できることを CORP が実証していると主張する。その主な意義は以下の点にある。

• 実用的な展開可能性: ラベルや勾配の欠如により再学習が不可能なハードウェア上での圧縮を可能にする。
• 理論的洞察: 加算コンポーネントの除去によって導入される「体系的誤差」が精度崩壊の主要因であり、単純なアフィン/ロジット補償によって複雑な最適化なしにこの誤差を回復できることを浮き彫りにする。
• 広範な適用性: 本手法はビジョンモデル（DeiT、ViT、DINOv2）および言語モデル（OPT）の両方で強力な結果を示しており、モダリティを超えて MLP およびアテンション表現に強い冗長性があることを示唆する。

著者らは、独立したモジュール補償の仮定（モジュール間相互作用の無視）、均一なスパースリティ比率の使用、量子化とプルーニングの組み合わせの最適化の欠如といった限界を控えめに指摘している。また、較正データと展開データの間の分布シフトが大きい場合、性能が低下する可能性があるとしている。