技術的サマリー：符号認識型ゲート付き疎性オートエンコーダ

問題定義

疎性オートエンコーダ（SAE）は、潜在特徴の過剰完全辞書を学習することで、大規模言語モデル（LLM）から解釈可能な特徴を抽出するための標準的なツールである。しかし、標準的な SAE 変種（ReLU ベースのものや標準的なゲート付き SAE など）は、潜在アクティベーションに対して非負性（$f_i(x) \geq 0$）を強制する。この制約により、モデルは、同じ意味軸に沿って正反対の概念（例：「圧力が高すぎる」対「圧力が低すぎる」）を表現するために、別々の潜在特徴を学習することを余儀なくされる。

この「符号の分割」は辞書の容量を浪費する。なぜなら、単一の双方向の特徴方向を表現するために、2 つの潜在変数が必要となるからである。古典的な疎性符号化は符号付き係数を許容するが、標準的な SAE 実装では、L1 収縮アーティファクトを招くことなく、またはモデル幅を倍増させることなく、共有されたデコーダ方向に沿って正負両方の証拠を表現するメカニズムが通常欠如している。

手法：符号認識型ゲート付き SAE（SA-GSAE）

著者は、単一の潜在符号化を用いて反相関する特徴をモデル化するように設計された**符号認識型ゲート付き SAE（SA-GSAE）**を提案する。この手法は、符号付きの大きさ（magnitude）と補助的監督を備えた両側ゲート型疎性メカニズムを導入することで、ゲート付き SAE を一般化する。

1. Bi-Jump-ReLU 活性化関数

中核的な革新はBi-Jump-ReLU活性化関数である。各潜在変数 $i$ について、モデルはデコーダ整合的な射影 $t_i(x)$ を計算する。閾値を通じて学習可能な「デッドゾーン」$[-\delta^-_i, \delta^+_i]$ が定義される。

• 極性の選択: ゲート事前活性化 $\pi_i(x)$ が極性 $s_i(x) \in \{+1, -1, 0\}$ を決定する。$\pi_i(x)$ が正の閾値を超えれば、潜在変数は正に発火し、負の閾値を下回れば負に発火する。
• 符号付き大きさ: ゲートが極性を選択すると、別々の大きさパスが活性化値を計算する。重要なのは、このパスがゲインパラメータ（$g^+_i$ または $g^-_i$）と共有された大きさオフセットを使用し、アクティブな大きさから閾値を減算すること（これにより L1 収縮が生じる）を回避している点である。
• 共有方向: 正負両方の活性化は同じデコーダ列 $D_{:,i}$ にマッピングされ、単一の潜在変数が双方向の意味軸を表現することを可能にする。

2. 訓練目的関数

訓練損失は 3 つの構成要素を組み合わせる：

1. 主要な再構成: $\|x - D a(x) - b_{dec}\|^2_2$。ここで $a(x)$ には符号付き Bi-Jump-ReLU 活性化が含まれる。
2. ゲート疎性ペナルティ: アクティブな大きさを収縮させることなく疎性を促進するために、ゲート事前活性化に適用される両側ヒンジ損失 $\Omega_{gate}(\pi_i(x))$。
3. 補助的再構成: ストップグラデーションを伴うデコーダパスを用いた補助損失 $L_{aux}$。この損失はゲートを直接監督し、デッドゾーンのどちら側を越えるべきかを教える一方、主要な再構成は符号付き大きさを学習する。この分離により、ゲートが崩壊する（符号付き SAE で一般的な失敗モード）ことを防ぐ。

3. パラメータ効率に関する論証

著者はパラメータ効率に関する理論的論証を提供する。真の特徴の割合 $p$ が反相関ペアとして現れる場合、標準的な SAE は幅 $H$ を必要とするが、符号認識型モデルは $H_{\pm} = H(1 - p/2)$ を必要とする。

• 符号認識型モデルは、標準的なゲート付き SAE に比べ、潜在変数あたり 4 つのスカラーパラメータ（2 つの閾値、2 つの大きさスケール）を追加する。
• 正味のパラメータ節約は、$p > \frac{8}{d_{in} + 4}$ のときに生じる。
• 一般的なトランスフォーマーの隠れ層サイズ（$d_{in} = 2048$）の場合、この閾値は約 $0.39\%$ である。著者は、反相関ペアのわずかな割合であっても、符号認識型アプローチが厳密にパラメータ効率が高いと主張する。

主要な貢献

1. アーキテクチャ: Bi-Jump-ReLU を備えた SA-GSAE の導入により、符号付き大きさ推定と両側ゲート型疎性を実現。アブレーション研究により、両側ゲートと補助損失が「負荷を担う」コンポーネントであることが確認された。補助損失を除去すると、壊滅的な失敗（98% の潜在変数がデッド化）を引き起こす。
2. 対称的大きさのデフォルト: 著者は、正負の大きさスケールを結合すること（$r^+_i = r^-_i$）が、実際の LLM 活性化において独立したスケーリングと実質的に区別できない（$|\Delta R^2| \approx 0.0015$）ことを実証した。パラメータ効率のため、この対称型変種をデフォルトとして推奨する。
3. 実証的検証: Pythia-1B および SmolLM3-3B における 3 つのフックポイント（MLP 出力、アテンション出力、残差ストリーム）での広範な評価。

結果

本論文は、半幅 SA-GSAE（$H = 16,384$）を、全幅ゲート付き SAE（$2H = 32,768$）および一致幅ゲート付き SAE と比較する。

• デッド変数の割合の減少: 半幅 SA-GSAE は、全幅ゲート付き SAE に比べてデッド（非アクティブ）な潜在変数の割合を劇的に減少させる。
  • MLP 出力および Pythia-1B 残差ストリームセルにおいて、減少率は幾何平均で100 倍から 500 倍である。
  • アテンションセルおよび SmolLM3-3B 残差ストリームにおいて、減少率は2 倍から 4 倍である。
• 再構成忠実度:
  • 6 つのセルのうち 3 つ（両方の MLP 出力フックポイントおよび Pythia-1B 残差ストリーム）において、半幅 SA-GSAE は、掃引された $L_0$（疎性）の重なり全体にわたり、全幅ゲート付き SAE を厳密にパレート支配し、有意に少ないデッド変数で同等または優れた $R^2$ を達成する。
  • 残りの 3 つのセルでは、$R^2$ の差は無視できる（0.025 以内）が、デッド変数の割合は依然として有意に減少している。
• 安定性: 全幅では、SA-GSAE は SmolLM3-3B 残差ストリーム地点で再現可能な再構成の崩壊を示す（MSE が最大 6.0、$R^2$ が -4.3 まで低下）。半幅変種はこの病理を完全に回避し、半幅で動作することの実用的な動機付けを提供する。
• 双極的使用: 較正分析により、MLP 出力セルでは、ほとんどの潜在変数が両極性で信号を運んでいる（高い「双極性割合」）ことが示され、容量の優位性を推進している。アテンション層では、双極構造はより小さなセットのトップ活性化潜在変数に集中している。

意義と主張

本論文は、符号共有のための最初の両側、ゲート付き、非収縮型 SAEであると主張する。その主な意義は以下の点にある：

1. 効率性: 符号認識により、再構成品質を犠牲にすることなく辞書幅（半幅）を削減できることを実証し、「符号の分割」による非効率性を事実上解消する。
2. 構造的洞察: 反相関ペアに対してデコーダ方向を共有する能力が、単なる理論的可能性ではなく、特に MLP 出力において LLM における効率的な特徴学習のための実用的な必要条件であることを示す。
3. 頑健性: 補助損失が訓練の安定性に不可欠であり、対称的大きさ変種が高性能に十分であることを特定する。

著者は、SAE 辞書をユニークな真の基底ではなく、有用な分解として扱う。結論として、対称的大きさを持つ半幅 SA-GSAE が推奨される動作点であり、標準的な非負ゲート付き SAE に比べて優れた容量利用率と安定性を提供すると述べている。