テクニカル・サマリー：プルーニングと解釈可能性の邂逅

問題提起

スパース・オートエンコーダ（SAE）は、大規模言語モデル（LLM）におけるメカニスティックな解釈可能性のための標準的なツールとなっており、ニューロンの活性化の重ね合わせ（superposition）からモノセマンティックな特徴量を抽出することを可能にしている。しかし、基礎となるモデルが事後的な重みプルーニング（weight pruning）によって圧縮される際、これらの解釈可能性ツールがどのように振る舞うかという理解には、決定的な空白が存在する。

古典的な大きさに基づく手法から現代的な活性化考慮型の手法に至るまで、プルーニング手法はデプロイコストを削減するために広く用いられているが、これらはモデルの重み行列を変更し、その結果として内部の活性化分布を変化させる。SAEは特定の高密度モデルの活性化分布に基づいて学習されているため、プルーニングによってこの分布がシフトすると、SAEの潜在変数（latents）がサイレントに失敗する可能性がある。極めて重要なことに、標準的な言語モデルのベンチマークでは、これらの失敗を検出できないことが多く、組織は、既存のSAEが圧縮後も有効であり続けるかどうかを判断するための理論的枠組み、あるいはなぜ異なるプルーニング手法が異なる程度の劣化を引き起こすのかについての根拠を持たないまま放置されている。

メソドロジー

著者らは、プルーニングとSAEの相互作用を分析するための統一された摂動論的フレームワークを提案している。

1. 理論的枠組み：摂動エネルギー（Perturbation Energy）
本論文では、プルーニングを活性化の摂動としてモデル化している。重み行列 $W$ が $W' = W + \Delta W$ に変更されるとき、結果としての活性化のシフトは $\delta = \Delta W x_{in}$ となる。著者らは、摂動エネルギー ($\varepsilon^2$) を共分散加重ノルムとして定義している：
$$\varepsilon^2 = \mathbb{E}[\|\delta\|^2] = \text{tr}(\Delta W \Sigma_{x_{in}} \Delta W^\top)$$
ここで、$\Sigma_{x_{in}}$ は入力の二次のモーメント行列である。

SAEのリプシッツ連続性を用いることで、著者らは期待される再構成の劣化に関する境界を導出している。この境界は、劣化が摂動エネルギー $\varepsilon^2$ とSAEのリプシッツ定数によって駆動されることを示している。この理論は、プルーニング手法が $\varepsilon^2$ の最小化を近似する方法において根本的に異なると断じている：

• MAGNITUDE（大きさに基づく）プルーニング： 重みの変化のフロベニウスノルム ($\|\Delta W\|_F^2$) を最小化する。これは、入力の共分散行列が単位行列に比例する ($\Sigma_{x_{in}} \propto I$) と仮定していることに相当し、活性化の幾何学的構造を無視している。
• WANDA： 入力の活性化統計量を考慮した、摂動エネルギーの対角近似を最小化する。
• SPARSEGPT： 二次のヘッセ行列情報を用いて、完全な摂動エネルギー $\varepsilon^2$ を近似的に最小化する。

2. 評価スイート
理論を検証するため、著者らは SAEBench 評価スイートを利用している。彼らは、以下の4つの特定の指標カテゴリが、SAEのすべての失敗モードを捉えるために共同で十分であると主張している：

• コア指標（Core Metrics）： 集約的な再構成忠実度（例：KLダイバージェンス、MSE）を測定する。
• 特徴量の吸収（Feature Absorption）： 個々の特徴量が壊れるのか、あるいは無関係な特徴量がその情報を吸収してしまうのかを検出する（偽陰性／偽陽性）。
• 偽相関除去（Spurious Correlation Removal: SCR）： 潜在変数のアブレーション（除去）が、意図した因果効果を保持しているかをテストする。
• 標的プローブ摂動（Targeted Probe Perturbation: TPP）： 介入が選択性を維持しており、無関係な概念を劣化させていないかを検証する。

3. 実験設定
実験は、4つのモデルアーキテクチャ（Pythia-70M, Gemma-2-2B, Gemma-2-9B, Mistral-7B）に対して行われ、SAELensの学習済みSAEを使用した。SAEの重みは固定され、プルーニングによる影響のみを分離して調査した。3つのプルーニング手法が、25%、40%、50%のスパース性で事後的に適用された。また、観察された感度のパターンに基づいた層ごとのスパース性割り当て戦略についても検討を行った。

主な貢献と結果

1. プルーニング手法の理論的分離
本研究は、プルーニング手法の経験的なパフォーマンスに対する形式的な説明を提供している。それは、摂動エネルギーに関する近似の忠実度の階層を確立している：
$$\text{MAGNITUDE} \prec \text{WANDA} \prec \text{SPARSEGPT}$$
実験結果は、活性化の幾何学を無視することで最も高い摂動エネルギーを誘発し、最も深刻なSAEの劣化を引き起こすMAGNITUDEプルーニングの性質を裏付けている。対照的に、活性化を考慮した手法（WANDAおよびSPARSEGPT）は、摂動エネルギーを暗黙的に制御し、SAEの挙動を大幅に維持している。

2. 集約指標の限界
実験により、「コア」指標（集約的な再構成）が誤解を招く可能性があることが明らかになった。例えば、Gemma-2-2Bの中間層におけるMAGNITUDEプルーニングは、表面上は妥当なKLダイバージェンス・スコア（$\ge 0.96$）を示したが、SCRおよびTPPのスコアは崩壊した（最大80%の劣化）。これは、集約的な忠実度だけではSAEの信頼性を保証するには不十分であり、特徴レベルおよび因果的な指標が必要であることを裏付けている。

3. 中間層の構造的脆弱性
すべてのモデルとプルーニング手法において、一貫した構造的脆弱性が特定された：中間層（Gemma-2-2Bにおけるレイヤー9–17）は、初期層や後期層よりもプルーニングに対して著しく敏感である。

• 中間層は、局所的な摂動エネルギーが低い場合でも、すべての指標において最も高い劣化を示した。
• 著者らは、これが表現の損傷の非対称な伝播によるものだと仮定している。すなわち、中間層は上流の重みからの摂動エネルギーの主要な受け手として機能する一方で、後期層は、上流への依存性が少ない、完全に構成された表現に基づいて動作しているためである。

4. 層ごとのスパース性割り当て
感度プロファイルに基づき、著者らは非一様なスパース性スケジュールを提案している：基礎的な特徴を保持するために初期層に低いスパース性を割り当て、後期層に高いスパース性を割り当てる。

• Gemma-2-2Bにおいて、この戦略は、同じ平均圧縮レベルにおける一様なスパース性と比較して、より低いパープレキシティを達成した。
• これは、感度プロファイルが圧縮スケジューリングのための実用的な信号として機能することを示唆しているが、著者らはこれが最適化された割り当て方法ではなく、あくまで予備的な結果であると注記している。

5. アーキテクチャを越えた汎用性
理論的な順序（SPARSEGPT $\succ$ WANDA $\succ$ MAGNITUDE）および中間層の感度パターンは、小型モデル（Pythia-70M）を含むテストされた4つのすべてのアーキテクチャにおいて共通していた。Pythia-70Mでは、MAGNITUDEプルーニングによってSAEの性能が壊滅的な崩壊（KLスコアが0.926から0.642へ低下）を起こした。

意義と主張

本論文は、再学習なしにプルーニングがSAEの妥当性を維持する条件を特徴付ける、最初の理論的枠組みを提供すると主張している。その意義は以下の点にある：

• ギャップの架橋： モデル圧縮とメカニスティックな解釈可能性の分野を結びつけ、プルーニング手法の選択が解釈可能性ツールを維持するために極めて重要であることを示している。
• 診断的有用性： 標準的な性能ベンチマークは、圧縮されたモデルの解釈可能性を検証するには不十分であり、SAE特有の指標（特徴量吸収、SCR、TPP）が必要であることを実証している。
• 実践的なガイダンス： 解釈可能性を優先する場合に、大きさに基づく手法よりも活性化考慮型の手法（WANDA、SPARSEGPT）を使用することへの理論的な正当性を提示している。
• 構造的洞察： 未だ特徴付けられていなかった中間層の構造的脆弱性を特定し、一様な圧縮戦略が内部表現を維持するためには最適ではない可能性を示唆している。

著者らは、自身の知見に対して謙虚であり、層ごとの割り当ては予備的な例示であること、また現在の理論的枠組みは手法の「順序」を説明するものではあるが、中間層の感度の理論的な起源を完全に説明するまでには至っていないことを述べている。今後の課題として、構造化プルーニング、量子化、および異なるモデルファミリーへの拡張が挙げられている。