Calibration-Preserving Pruning: Compression as a Reliability Contract

技術要約：キャリブレーション保存型プルーニング (Calibration-Preserving Pruning: CPP)

問題提起
本論文は、大規模言語モデル（LLM）の圧縮における特定のギャップ、すなわち、モデルのスパース性とダウンストリームの意思決定システムにおける信頼性との間のトレードオフに対処している。標準的なプルーニング手法（例：Magnitude, Wanda, SparseGPT）は、トップラベルの精度を維持することが多いが、非適合度スコア（nonconformity scores）の幾何学的構造を劣化させることがある。この劣化は、トリアージや検索検証などの信頼性が重視されるタスクで使用される共形予測集合（conformal prediction sets）において、被覆保証を維持するために集合サイズを不必要に膨張させる原因となる。著者らは、独立した分割共形再キャリブレーション（split-conformal recalibration）によって、固定されたプルーニング済みモデルに対する妥当性（周辺被覆率）を回復することはできるものの、プルーニングによって妥当なラベル間の分離が崩壊してしまった場合、効率性（小さな集合サイズ）を回復することはできないと主張している。核心となる問題は、精度を犠牲にすることなく、予測集合を小さく、かつ妥当なものにするために、スコアの幾何学を十分に保存するようにプルーニングを最適化できるか否かである。

手法：キャリブレーション保存型プルーニング (CPP)
CPPは、既存のベース・プルーニング・アルゴリズムの代替ではなく、重要度スコアリング機構を修正する拡張手法である。これは、標準的なプルーニングスコア（WandaやSparseGPTによるものなど）に、**非適合度勾配サリエンス（nonconformity-gradient saliency）**項を統合するものである。

1. スコア定式化: 重み $\theta_j$ に対して、ベースとなる重要度 $I_{acc}(\theta_j)$ を、キャリブレーション保存項 $I_{cal}(\theta_j)$ と組み合わせる。

   • $I_{cal}(\theta_j)$ は、$\theta_j$ をゼロに設定することによって引き起こされる非適合度スコア $s(x, y; \theta)$ の一次の変位を測定する。
   • 真のラベルを用いたCPPの場合、これは $\theta_j^2 \mathbb{E}[(\partial s / \partial \theta_j)^2]$ として計算され、実質的に対角的な経験的フィッシャー因子として機能する。
   • 最終的な重要度スコアは、加重和となる：$I_{CPP} = (1-\lambda)\tilde{I}_{acc} + \lambda\tilde{I}_{cal}$。

2. 候補ラベル・サリエンス: 真のラベルに対する感度は、集合サイズの膨張に対する代理指標に過ぎないことを認識し、著者らは3つの候補認識型構成を提案している：

   • Top-3: 非適合度スコアが最小である3つのラベルに対する勾配を保持する。
   • All-label: 全ラベル空間にわたって勾配を平均化する。
   • Threshold-aware (閾値認識型): 予備的な共形閾値付近の勾配に焦点を当て、特定の距離帯内のラベルのみを保持する。この構成が、集合サイズの最小化に最も効果的であることが示されている。

3. 厳格なデータ分割: 本手法は、5つの独立したデータの役割を用いて、厳格な「信頼性契約（reliability contract）」を強制する：

   • $D_{prune}$: 勾配計算およびプルーニング統計に使用。
   • $D_{val-cal}$: 暫定的な分位点推定および閾値認識型構成に使用。
   • $D_{val-eval}$: 精度と被覆率のガードレールに基づいたモデル選択（$\lambda$ の選択）に使用。
   • $D_{conf}$: 共形キャリブレーション用の分割。最終的な分位点 $\hat{q}_\alpha$ を計算するために、スパースモデルが凍結された後でのみアクセスされる。
   • $D_{test}$: 最終評価にのみ使用。

主な貢献

1. 目的の定式化: 本論文は、プルーニング済みモデルの妥当性（独立した共形キャリブレーションによって保証される）と、その効率性（集合サイズ）を分離している。プルーニングを、被覆率をハードな制約とし、集合サイズを主要な目的関数とする制約付き最適化問題として定義している。
2. CPPアルゴリズム: 非適合度勾配感度を用いてベースのプルーナーを拡張する手法を導入し、特に共形閾値付近のスコア幾何学の保存をターゲットとしている。
3. 理論的境界: 著者らは、スコアの摂動が共形分位点および集合サイズのシフトに与える影響を、摂動論を用いて示している。これらは、CPPがグローバルな最適性定理ではなく、この変位を最小化するための局所的な一次近似プロキシとして機能することを明確にしている。
4. 厳格な評価プロトコル: 本研究は、混合された評価パスを排除するために「プロベナンス監査（provenance audit）」を採用しており、報告されたすべての結果が単一で一貫したデータ分割とシードを使用していることを保証している。

実験結果
著者らは、Qwen2.5-1.5B、RoBERTa-base、Llama-3-8Bを用い、5つのデータセット（AG News, TREC, DBpedia-14, Banking77, CLINC150）に対して、30%、50%、70%のスパース度でCPPを評価した。

• 効率性の向上: ラベル数が多いタスク（例：DBpedia-14）において、CPPは被覆率を $\approx 0.90$ で維持しながら、平均集合サイズを大幅に減少させた。
  • 例: DBpedia-14における50%スパース度において、CPP-SparseGPTは平均集合サイズを10.1から8.6に減少させ、同時に精度を0.347から0.366へと向上させた。
  • 例: CPP-Wandaは、集合サイズを11.2から9.0に減少させたが、わずかな精度の低下（0.310から0.295）を伴った。
• クロスデータセット性能: 15のデータセット・スパース度セル全体を通じて、CPP-SparseGPTは、ベースとなるプルーナーと比較して、13ケースでより小さな集合を生成し、11ケースでより高い精度を実現した。
• 制御された比較: 一般的な教師あり勾配（例：Wanda++, SNIP形式のWanda, Wanda$\oplus$SNIP）を用いたマッチド・コントロールにより、勾配情報の大部分が利得の要因であることを示した。
  • 真のラベルを用いたCPPは、マッチドされたWanda$\oplus$SNIPコントロールとの間で統計的な有意差が認められなかった。
  • Threshold-aware CPP が最高の効率性（例：DBpedia-14におけるCPP-SparseGPTの集合サイズ7.8）を達成したが、オフラインの計算コストは高くなった（ベースのプルーナーの最大8.8倍）。
• 転移性: RoBERTa-baseおよびLlama-3-8Bに関する診断により、本手法の転移性が支持されたが、著者らは本手法の適用範囲を信頼性が重視される分類タスクに限定しており、自由形式の生成には及ばないと述べている。

主張と意義
本論文は、その貢献に関して控えめで具体的な主張を行っている：

• 妥当性 vs 効率性: 著者らは、CPPが分割共形予測の一般的な妥当性の結果を創出または改善するものではないことを明示している。それは独立したキャリブレーション分割によって提供されるものである。貢献は厳密には、独立したキャリブレーション後の共形効率（集合サイズの削減）にある。
• 条件付き優位性: 本論文は、CPPが目的特異的であり、すべての勾配ベースのプルーニングに対して一様に優れているわけではないと主張している。利得は、閾値認識型サリエンスを使用した場合の大きなラベルを持つタスクで最も顕著である。
• 信頼性契約: 本書の意義は、プルーニング・スコアだけでなく、データの役割（プルーニング、検証、キャリブレーション）の厳格な分離と、精度とともに集合サイズを明示的に報告することによって、デプロイメント・ワークフローにおける「信頼性契約」が維持される点にある。
• 限界: 著者らは、理論が十分条件ではあるがタイトな条件ではないこと、高スパース度ではヘッセ行列が支配的な誤差を生じる可能性があること、および本手法にはラベル付きのプルーニングデータとサンプルごとの勾配が必要であることを認めている。また、本手法が自由形式の生成に機能することや、再キャリブレーションなしに任意の分布シフトに対して頑健であるとは主張していない。

要約すると、本論文は、非適合度スコアの幾何学を明示的に保存するようにプルーニングを最適化することで、独立したキャリブレーションを通じて妥当性の制約が厳格に維持されている限り、圧縮されたモデルに対して、より情報量の多い（サイズの小さい）予測集合を得られることを示している。