技術要約: C2R (Cross-sample Consistency Regularization)

1. 問題提起

Sparse Autoencoder (SAE) は、高次元で密な活性化を、疎で人間が理解可能な特徴量へと分解することで、大規模言語モデル (LLM) の解釈を行うための主要なツールです。しかし、SAE が大規模な辞書へとスケールするにつれ、学習された潜在変数（Latents）の信頼性を損なう、2つの蔓延した病理現象が現れます。

• 特徴量の分裂 (Feature Splitting): 統一された高次の概念が、複数の非原子的かつ冗長な潜在変数に断片化される現象（例：「数学」という単一の概念が、「代数」と「幾何学」という別々の潜在変数に分裂する）。これにより、モデルが実際に使用している機能的な概念が不明瞭になり、辞書の容量が無駄になります。
• 特徴量の吸収 (Feature Absorption): 特定の潜在変数が、本来は一般的な特徴量に属すべき活性化を捉えてしまい、恣意的な例外を作り出す現象（例：「Sで始まる」という潜在変数が、「short」や「small」に対して活性化しなくなる。これはトークン固有の潜在変数が信号を「盗んで」しまうため）。これにより、意図された意味論的パターンが歪められます。

著者らは、これらの問題がサンプル間における潜在変数の割り当ての不一致に起因すると主張しています。標準的なスパース性目的関数（$\ell_1$ 正則化や TopK 制約など）は、サンプル単位で動作します。サンプルを横断する制約がない場合、最適化プロセスは、特定のサンプルに対して再構成誤差が低ければ、単一の意味的概念を複数の離れた潜在変数に分散させたり、特定の潜在変数が一般的なものから活性化を「盗む」ことを許容したりすることで、スパース性ペナルティを最小化できてしまいます。

2. 手法: C2R

これらの失敗に対処するため、本論文では C2R (Cross-sample Consistency Regularization) を導入します。この手法は、各意味的特徴が、全バッチを通じて統一された潜在変数によって一貫して表現されることを強制します。

理論的基礎

C2R は、ミンコフスキーの不等式と $\ell_2$ ノルムの厳密な凸性に根ざしています。核心となる洞察は、非整列なベクトル $u$ と $v$ について、それらのノルムの和は、それらの和のノルムよりも厳密に大きくなるという点です：
$$\|u\|_2 + \|v\|_2 > \|u + v\|_2$$
SAE の文脈において、もし意味的特徴が複数の潜在変数に分裂している場合、バッチ全体におけるそれらの活性化の $\ell_2$ ノルムの和は、その特徴が単一の潜在変数に集約されている場合よりも高くなります。C2R はこれを利用して、意味情報の分裂にペナルティを課します。

C2R 目的関数

本手法は、ペア解析を完全な辞書へと拡張し、冗長な潜在変数のペアを特定して、それらの共活性化を抑制します。

1. 冗長性の検出: 各潜在変数 $i$ に対して、アルゴリズムはデコーダ重みの余弦類似度に基づき、その最近傍 $j^*(i)$ を特定します。これにより、分裂した断片や吸収されたバリエーションである可能性が高いペアを標的にします。
2. ゲート付きペナルティ: 正則化損失は、ペア間のデコーダ重数の二乗された整流余弦類似度 ($\rho^2$) によって重み付けされます。これはゲートとして機能します：
   • もし潜在変数が明確に異なる（直交している）場合、$\rho \approx 0$ となり、ペナルティは適用されません。
   • もし潜在変数が冗長である（高い整列性を持つ）場合、$\rho$ が大きくなり、ペナルティが適用されます。
3. 損失の定式化:
   $$L_{C2R}(X) = \frac{1}{k} \sum_{i=1}^{k} \rho_{i, j^*(i)}^2 \cdot \left( \|Z_{:,i}\|_2 + \|Z_{:,j^*(i)}\|_2 \right)$$
   ここで、$Z_{:,i}$ は潜在変数 $i$ のバッチ活性化を表します。総学習目的関数は、この項を標準的な SAE 損失に加算します：
   $$L(X) = L_{SAE}(X) + \lambda_{C2R} L_{C2R}(X)$$

勾配のダイナミクス

C2R の勾配は、2つの同時的な力を提供します：

• 一貫性圧力 (Consistency Pressure): 類似度 ($\rho^2$) に比例して、ノルムの和を最小化するように働き、分裂した活性化を単一の潜在変数へと押し込みます。
• 暗黙的な直交性 (Implicit Orthogonality): 活性化の大きさ ($S$) に比例して、デコーダ重みの余弦類似度を最小化するように働きます。一様な直交性制約とは異なり、これは特徴の頻度によってペナルティをスケーリングするため、稀な、あるいは発展途上の特徴を早期に破壊することを防ぎます。

3. 主な貢献

本論文は、主に3つの貢献を挙げています：

1. 理論的な診断: サンプルごとのスパース性目的関数におけるクロスサンプルの一貫性の欠如が、特徴量の分裂と吸収の根本原因であることを特定する、統一された形式的な分析。
2. 原理的な目的関数: デコーダの幾何学とバッチレベルの統計量を利用して、一貫した潜在変数選択を強制する、新しい正則化手法である C2R の提案。これは、真の多意味性と有害な冗長性を区別します。
3. 実証的な検証: C2R が、高い再構成忠実度を維持しながら、分裂と吸収を大幅に軽減することを、Matryoshka SAE や OrtSAE といった最先端のベースラインと比較して実証。

4. 実験結果

実験は Gemma-2-2B（および Qwen3-8B, Llama-3-8B での検証）を用いて、SAEBench フレームワーク上で実施されました。

• 病理の軽減: C2R は、高い再構成忠実度を維持した手法の中で、最も低い特徴吸収率および分裂率を達成しました。Matryoshka SAE は分裂/吸収スコアにおいてより低い値を示しましたが、再構成品質に著しい劣化が見られました。
• 再構成忠実度: Matryoshka SAE とは異なり、C2R を強化したモデルは高い 「Loss Recovered」 および 「KL Diver座」 スコアを維持しており、これは LLM の元の挙動が保持されていることを示しています。
• 解釈性と分離性: C2R は、「AutoInterp」スコア（特徴量の人間による理解しやすさ）や「Disentanglement」スコア（属性の因果的制御）に悪影響を与えませんでした。
• 特徴の構成: C2R は、デコーダ重間の最大余弦類似度が最も低くなり、より原子的で明確な特徴セットが得られることを示しました。
• ダウンストリーム・タスク: 因果介入タスク（偽相関除去および標的プローブ摂動）において、C2R は TopK, Batch TopK, OrtSAE を上回り、Matryoshka SAE に匹敵する性能を達成しました。
• 堅牢性: この手法は、異なるランダムシード、モデルスケール (8B)、レイヤー、および学習データ組成 (OpenWebText 対 The Pile) において効果的であり続けました。

5. 意義と主張

本論文は、C2R が特徴の原子性とモデルの忠実度の間のトレードオフに対する原理的な解決策を提供すると主張しています。クロスサンプルの一貫性を強制することで、SAE の根本的な限界である、サンプルごとの最適化の問題に対処しています。

著者らは、彼らのアプローチが以下の点において重要であると強調しています：

• 潜在的な解釈性の向上: 分裂した概念を統合し、恣意的な例外を取り除くことで、得られる辞書は言語モデルの特徴の階層的な性質をより良く反映します。
• 性能の維持: 決定的なことに、これらの改善は、構造的 SAE の試みにおける一般的な失敗点である、元のモデルの活性化を再構成する能力を低下させることなく達成されます。
• 理論的保証の提供: 特定の条件下（経験的に吸収ペアの 88.1% で満たされている）において、本手法はミンコフスキーの不等式から導かれる、分裂と吸収に対する理論的な保証を提供します。

この研究は、C2R を、様々な SAE アーキテクチャ（TopK, Batch TopK, OrtSAE, AbsTopK）と互換性のある汎用的な正則化器として位置づけており、大規模言語モデルの内部解析に向けた堅牢な道筋を示しています。