技術要約：Expander Sparse Autoencoders（エキスパンダー・スパース自己符号化器）

問題提起

スパース自己符号化器（SAE）は、ニューラルネットワークの内部活性化を解釈可能な特徴量のスパースな線形結合へと分解するために設計された、メカニスティックな解釈可能性における主要なツールである。このプロセスは、活性化 $h \approx Wx$ をスパースなコード $x$ で表現するための、過完備な辞書 $W \in \mathbb{R}^{m \times n}$ （ここで $m < n$）の学習に依存している。

本研究が取り組む中心的な課題は、デコーダのパラメータ効率である。標準的なSAEは、学習パラメータ $O(mn)$ を必要とする密なデコーダを使用している。現代の大規模言語モデル（LLM）において特徴量数 $n$ が数百万規模にスケールするにつれ、これらの密な重みを保存および更新することは、計算およびストレージの観点から極めて困難になる。圧縮センシング理論は、構造化された測定行列を用いればスパースな復元が可能であることを示唆しているが、標準的なSAEはこの構造を活用しておらず、不必要なパラメータのオーバーヘッドを招いている。

手法：Expander SAEs

著者らは、密なデコーダを組合せ論的な圧縮センシングに基づくスパースで構造化されたデコーダに置き換える、パラメータ効率の高いアーキテクチャであるExpander SAEsを提案する。

アーキテクチャ

• Tied-Weight TopK SAEs: 本モデルは、エンコーダがデコーダの転置である（$W_{enc} = W_{dec}^\top$）タイドウェイト（重み共有）アーキテクチャを使用する。スパース性はTopK非線形性によって強制され、事前活性化の大きい上位 $k$ 個のみを保持する。
• Expander Mask: デコーダの辞書 $W_{dec}$ は、左 $d$-正則エキスパンダグラフの隣接行列 $M$ によってマスクされる。
  • $M \in \{0, 1\}^{m \times n}$ はバイナリマスクであり、各列には正確に $d$ 個の非ゼロ要素を持つ（$d \ll m$）。
  • 学習可能なパラメータは、$mn$から$dn$へと削減される（具体的には、$W_{dec} = (V \odot M) \text{diag}(\nu)^{-1}$における$V$ の非ゼロ要素）。
  • マスク $M$ は初期化時に固定され、高確率で $(k, \epsilon, d)$-expanderとなる分布からサンプリングされる。
• 推論: スパースコーディング問題は、**直交マッチング追跡法（Orthogonal Matching Pursuit: OMP）**を用いて解かれる。エキスパンダ構造により、相関ステップ $W^\top r$ を、密な $O(mn)$の行列ベクトル積ではなく、$O(dn)$ の「集約および還元（gather-and-reduce）」操作として計算できる。

理論的保証

本論文は、ノイズレスな $k$-スパースコードの識別可能性に関する理論的条件を確立している：

1. 識別可能性: もしマスク $M$ が $(2k, \epsilon, d)$-expanderであり、学習されたデコーダの列が**列の平坦性（column-flatness）**条件（係数 $\beta$ で制限される）を満たす場合、すべての $k$-スパースコードは一意の解を持つ（ただし $2\beta^2\epsilon < 1$ とする）。
2. OMPによる復元: より強い累積コヒーレンス条件（$\beta^2\epsilon(2k+1) < 1$）の下では、標準的なOMPは $k$ ステップでスパースコードのサポートを正確に復元することが保証される。

主な貢献

1. アーキテクチャ: 固定されたデコーダ列のスパース性を、ストレージおよび解釈可能性の制約として評価した最初のSAEアーキテクチャであるExpander SAEsの導入。これにより、辞書の質と償却された推論の質を分離した。
2. ストレージと忠実度の境界: 様々なモデルファミリー（Pythia, Qwen2.5, Llama-3.2）において、学習されるデコーダの値の数と再構成の忠実度の間のトレードオフを示す滑らかな曲線を描くことを実証した。
3. 並列OMP: $d$-正則構造を利用して最適化されたGPU並列実装の提供。これにより、バニラなOMPに対して大幅なスループット向上を実現しつつ、高い再構成品質を維持している。
4. 識別可能性の理論: エキスパンダ拡張と列の平坦性が、学習された非バイナリデコーダにおけるノイズレスな $k$-スパースコードの一意の識別可能性のための十分条件であることを証明し、古典的なエキスパンダグラフ理論をSAEの設定へと拡張した。

実験結果

著者らは、Pythia-70M/160M、Qwen2.5-3B、およびLlama-3.2-1Bの残差ストリームの活性化を用いてExpander SAEsを評価した。

• ストレージ効率 vs 忠実度:
  • Qwen2.5-3Bにおいて、 $d=7$ のExpander SAEは、密なデコーダと比較して293倍少ない学習済みデコーダ値（114,688 vs 33,554,432）を使用しながら、密なモデルのクロスエントロピー（CE）損失の**84%**を復元した。
  • Pythia-70Mにおいて、 $d=7$ は73倍少ないパラメータで86%のCE復元を達成した。
  • $d$ を増加させると、 $d \to m$ に伴い、密なベースラインの性能に近づく形で忠実度が滑らかに向上する。
• 対照実験:
  • サポートの多様性: サポートが多様でない「クラスター化スパース（Clustered-sparse）」対照群では、高い $d$ においてデッド特徴量（一度も発火しない特徴量）が激増した。これは、エキスパンダの多様なサポート構造が、単なる列のスパース性だけでなく、特徴量の利用において極めて重要であることを示している。
  • パラメータ一致比較: パラメータ数を一致させた（$n$ を削減した）Dense SAEと比較した場合、Dense SAEは多くの場合、性能が低下するか完全に失敗した。これは、$n$ を減らすことがスパース復元に必要な零空間特性（$n > 2k$）を損なうためである。
  • エンコーダの償却: 現代のLLMにおける学習済みエンコーダとOMPデコーダの間の性能差の大部分は、「償却ギャップ（amortization gap）」に起因する。反復的なOMPはこのギャップをほぼ埋めることができ、デコーダの構造が最適でないエンコーダに対しても頑健であることを示唆している。
• 解釈可能性: LLMジャッジによるブラインド評価の結果、Expander SAEs（$d=200$）の特徴量は、コヒーレンスの面でDense SAEsと統計的に区別がつかないことが判明した。極端な圧縮（$d=7$）ではコヒーレンスがわずかに低下したが、84%の特徴量が依然として具体的な概念ラベルを受け取り、密なベースラインと比較して高い新規性を示した。

意義と主張

本論文は、デコーダのサポート構造が、メカニスティックな解釈可能性における未探索かつ重要な設計軸であることを主張している。著者らは、Expander SAEsが密なSAEsの普遍的な代替物になるとは主張しておらず、ストレージがボトルネックとなるシナリオにおいてパレート最適なソリューションを提供すると論じている。

著者らが強調する主なポイント：

• パラメータ効率: 最小限の再構成忠実度や解釈可能性の損失で、デコーダのストレージを数桁（例：293倍）削減することが可能である。
• 構造的利点: エキスパンダマスクにより、効率的な推論アルゴリズム（構造化OMP）と、決定論的でシード再生可能なマスクが可能になり、オンディスクのアーティファクトサイズを大幅に削減できる。
• 理論的根拠: 本アーキテクチャは確立された圧縮センシング理論に基づいており、特定の条件下での識別可能性と復元の証明可能な保証を提供している。これは、単なる経験的なヒューリスティックではなく、設計を動機付けるものである。

本研究は、将来の研究がより大規模な評価、低ランク補正、および学習されたスパースサポートを探索すべきであることを示唆しており、Expander SAEsを、スケーラブルでパラメータ効率の高い解釈可能性ツールへの基礎的な一歩として位置づけている。