技術要約：Sparse but Wrong: Incorrect L0 Leads to Incorrect Features in Sparse Autoencoders（疎 ولكن 不正確：不適切な $L_0$ は不正確な特徴量をもたらす）

問題提起

Sparse Autoencoders (SAEs) は、大規模言語モデル (LLM) における「重ね合わせ (superposition)」を逆転させ、モデルの内部活性化から解釈可能で単一意味的な（monosemanticな）潜在特徴量を抽出するように設計されています。SAEの学習における重要なハイパーパラメータの一つが、$L_0$ です。これは、トークンあたりの平均活性化潜在特徴量の数を定義したものです。

現在の文献では、$L_0$ は「スパース性–再構成トレードオフ」プロットによって評価される、中立的な設計上の選択肢として扱われることが一般的です。支配的な仮定は、十分な再構成誤差が得られる限り、いかなる十分に低い $L_0$ も有効であり、高い $L_0$ 値が問題となるのは表現が過度に高密度になった場合のみである、というものです。しかし、近年の経験的な観察によれば、低い $L_0$ を持つ SAE は、スパース・プロービングのようなダウンストリームタスクにおいて性能が低いことが示唆されています。本論文は、与えられたデータ分布に対して本質的に「正しい」 $L_0$ が存在するのか、そしてそこから逸脱することが学習された特徴量の解釈可能性を根本的に損なうのかどうかを調査します。

手法

著者らは、合成的なトイモデルと、実際のLLM（Gemma-2-2b および Llama-3.2-1b）を用いた実験を組み合わせて、 $L_0$ と特徴の品質との関係を分析しています。

1. トイモデル実験:

   • 著者らは、入力が直交する「真の特徴量」の線形結合であるという、線形表現仮説 (LRH) に基づいた合成環境を構築しました。
   • 言語における現実的な共起パターンをシミュレートするために、特徴間の制御された相関（正および負の両方）を導入しました。
   • 様々なターゲット $L_0$ 値（低すぎる値、正確な値（真の平均発火率に一致）、および高すぎる値）を用いて、SAE（具体的には BatchTopK および JumpReLU アーキテクチャ）を訓練しました。
   • 学習された潜在変数とグラウンドトゥルース（真の）特徴量を、コサイン類似度を用いて比較し、平均二乗誤差 (MSE) 再構成損失を分析しました。

2. 理論的分析:

   • 著者らは、 $L_0$ がデータの真の $L_0$ を下回るように制約されている場合、分離された（正しい）辞書は期待 MSE の最小化因子にはならないことを示す理論的証明（定理 F.1 および F.2）を提供しています。代わりに、最適化のランドスケープは、より低い再構成誤差を達成するために、SAE が相関する特徴を「混合」することを促します。
   • 著者らは、正しい分離された解が、これらの制約下では局所最適解（ローカルミニマム）ですらなく、勾配降下法が体系的に SAE を混合されたポリセマンティック（多義的）な潜在変数へと向かわせることを証明しています。

3. プロキシ指標の開発:

   • 著者らは、新しい指標である デコーダのペアワイズ・コサイン類似度 ($c_{dec}$) を提案しています。これは、すべてのデコーダベクトルの全ペア間の絶対コサイン類似度の平均として定義されます。
   • 仮説として、$L_0$ が不適切（低すぎる、または高すぎる）な場合、潜在変数は複数の特徴の成分を混合するため、相互のコサイン類似度が増加します。 $L_0$ が正しいとき、潜在変数はより直交（低い $c_{dec}$）するはずです。

4. LLM による検証:

   • Gemma-2-2b および Llama-3.2-1b に対して SAE を訓練し、 $L_0$ のスイープを行いました。
   • 著者らは、$c_{dec}$ 指標と「スパース・プロービング」（特定の概念の存在を予測する能力）の性能との相関を分析しました。

主な結果

1. 不正確な $L_0$ は特徴の混合を招く

• 低い $L_0$: $L_0$ が低すぎる場合、SAE はすべての活性化する特徴を同時に表現することができません。再構成誤差を最小化するために、SAE は相関する特徴を単一の潜在変数へと「ズル」をして混合します。
  • 正の相関: 特徴 A を追跡する潜在変数は、相関する特徴 B の正の成分を含みます。
  • 負の相関: 特徴 A を追跡する潜在変数は、反相関する特徴 B の負の成分を含みます。
  • これにより、再構成誤差が低くても、高度にポリセマンティック（多義的）でノイズの多い潜在変数が生成されます。
• 高い $L_0$: $L_0$ が高すぎる場合、SAE は特徴を混合する退化した解を見つけますが、その影響は低い $L_0$ の場合ほど広範囲ではありません。一部の正しい特徴は依然として学習される可能性がありますが、 $L_0$ が真の値から逸脱するにつれて全体的な品質は低下します。
• 非対称性: 本論文は、 $L_0$ が低すぎる状態で訓練を開始すると、後に $L_0$ を増加させたとしても SAE が脱出できない「局所最適解」が形成されることを指摘しています。逆に、 $L_0$ が高すぎる状態で開始した場合、 $L_0$ を下方調整することで正しい特徴を回復させることができます。

2. スパース性–再構成トレードオフ プロットの失敗

著者らは、標準的なスパース性–再構成プロットが誤解を招くものであることを示しています。彼らのトイモデルにおいて、正しい $L_0$ （したがって正しい分離された特徴）を持つ SAE は、特徴を混合している 低すぎる $L_0$ の SAE よりも、しばしば再構成（高い MSE）が悪化します。その結果、再構成誤差のみに基づいて $L_0$ を選択すると、正しい SAE を、不正確でポリセマンティックなものの方を好んで選んでしまうことになります。

3. $c_{dec}$ 指標の有効性

• トイモデルにおいて、 $c_{dec}$ は真の $L_0$ で正確に最小化されます。
• LLM 実験において、 $c_{dec}$ は明確な「エルボー（肘）」または最小領域を示し、それがスパース・プロービング・タスクのピーク性能と強く相関しています。
• Gemma-2-2b に関しては、最適な $L_0$ （ $c_{dec}$ の最小値およびプロービングのピークによって示される）は、既存のオープンソース SAE で一般的に使用されている値（多くの場合 100 未満）よりも大幅に高く（約 200–250）、なっています。

4. アーキテクチャの違い (JumpReLU vs. BatchTopK)

• BatchTopK: 低い $L_0$ において $c_{dec}$ の急激な上昇とグローバルな最小値を示します。
• JumpReLU: スパース性係数 ($\lambda_s$) の広い範囲にわたって、実効的な $L_0$ が正しい値付近に留まる「スティッキング（固着）」挙動を示します。JumpReLU SAE は、BatchTopK がグローバルな閾値を使用するのに対し、潜在変数ごとに発火閾値を調整できるため、高い $L_0$ において BatchTopK よりも優れた性能を発揮します。

意義と主張

本論文は、「いかなる十分に低い $L_0$ も有効である」という仮定は誤りであると主張しています。本研究の主な意義は以下の3点にあります。

1. 根本的な誤解の修正: $L_0$ は自由なパラメータではなく、LLM 内の真の特徴の疎性に一致しなければならない重要なハイパーパラメータであることを確立しました。 $L_0$ を不適切に設定する（特に低すぎる場合）と、単一意味的な特徴ではなく、ポリセマンティックで汚染された特徴を学習することになります。
2. 評価の再定義: スパース性–再構成トレードオフ プロットは、正しい（分離された）解決策よりも不正確な（特徴混合の）解決策を優先するため、SAE のハイパーパラメータを選択するための無効な手法であると論じています。
3. 実用的な含意: 著者らは、現在研究コミュニティで使用されているほとんどの SAE が $L_0$ が低すぎることを指摘しています。これは、多くの既存の「解釈可能な」特徴が、実際には概念の混合物である可能性を示唆しており、これが、SAE ベースのステアリングやモデル編集で見られる予測不可能な結果の原因である可能性があります。
4. 診断ツール: ラベル付きのプロービング・ベンチマークが利用できないシナリオにおいても、正しい $L_0$ を探索するための実用的な教師なしプロキシ指標として $c_{dec}$ を導入しています。

著者らは、単一意味的な特徴を持つ SAE を訓練するためには、実践者が $L_0$ を正しく設定しなければならず、分野は再構成誤差のみに依存した SAE の評価から脱却しなければならないと結論付けています。