💬 NLP

Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

本論文は、特徴量が教師ありパイプラインを通じて選択およびラベル付けされる場合、SAEは高いスパース性を必要とすることなく、AxBenchベンチマークにおいてLoRAに匹敵するステアリング性能を達成しつつ因果的な特徴量を特定できることを示すことで、SAEによる大規模言語モデルのステアリング性能が低いとする従来の知見に異議を唱えるものである。

原著者： Mikkel Godsk Jørgensen, Lars Kai Hansen

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mikkel Godsk Jørgensen, Lars Kai Hansen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな全体像：壊れたコンパスの修理

大規模言語モデル（LLM）を、物語を書いたり、数学の問題を解いたり、あなたとチャットしたりできる、巨大で超スマートな図書館だと想像してみてください。これらの図書館の中には、モデルが特定のことを考えている時に点灯する、何百万もの小さな「スイッチ」（ニューロン）があります。

しばらくの間、科学者たちは、**スパース・オートエンコーダー（SAE）**と呼ばれる特別なスイッチのセットを見つけられると考えていました。彼らは、これらのスイッチが、ファイルキャビネットの中の完璧にラベル付けされた引き出しのようなものだと信じていました。例えば、「野球」用の引き出し、「料理」用の引き出し、「悲しみ」用の引き出しといった具合です。もし「野球」の引き出しを見つけてそれを押すことができれば、図書館は野球について話し始めるはずだ、と考えたのです。

しかし、最近の研究（Wu et al., 2025）はこのアイデアをテストし、「実際には、これらの引き出しはめちゃくちゃだ。引き出しを押してもあまり上手くいかない。それよりも、単に図書館に対して『野球について話して』と丁寧にお願い（プロンプトを使用）する方が簡単だ」と述べました。

本論文の主張：「ちょっと待ってください。前の研究は、正しい引き出しを見ていないか、あるいは正しい開け方を知らなかったのだと考えられます。私たちがこれらの引き出しを見つけ、ラベルを付けるより良い方法を用いれば、それらは既存の最高のツールとほぼ同等の働きをします」

問題点：めちゃくちゃなファイルキャビネット

AIモデルの内部を、何百万人もの人々が同時に叫んでいる、巨大で混沌とした部屋だと考えてください。

旧来の視点： 科学者たちは、一つのことだけを話す特定の人物（特徴量）を見つけようとしました（単一意味性）。
現実： 部屋の中のほとんどの人は、一度に多くのことを話しています（多義性）。ある人は「野球」と「夏」について同時に叫んでいるかもしれません。
SAEによる解決策： スパース・オートエンコーダーは、これらの混ざり合った叫び声を、明確で単一のトピックへと分離しようとする魔法のフィルターのようなものです。

前述の研究（Wu et al.）は、これらのフィルターを使用しようとしましたが、それらが弱いことを発見しました。彼らは、SAEはAIを「ステアリング（制御）」するためには役に立たないと結論付けました。

新しい解決策：より優れたラベル付けシステム

本論文の著者たちは、前の研究が失敗したのは、フィルターのラベル付けに怠慢な方法を用いたからだと主張しています。彼らは、他のAIモデルによって推測された可能性が高い既存のリスト（Neuronpedia）に頼っていました。

著者たちの革新：
推測する代わりに、彼らは教師ありパイプラインを構築しました。

比喩： ラベルのないスパイスの瓶がたくさん入った箱を想像してください。古い研究では、ロボットにその中身を推測させていました。新しい研究では、人間のシェフ（ラベル付きの実際のテキストデータセットを使用）がスパイスを味見し、それが正確に何であるかを書き留めます。
プロセス： 彼らは、明確なタグ（「生物学」「法律」「料理」など）が付いた、実際のインターネット上の投稿（Stack Exchange）の膨大なコレクションを取りました。そして、AIの内部の「スイッチ」を、これらの現実世界のタグに一致させるシステムを訓練しました。

結果：スイッチは実際に機能する！

彼らが、注意深くラベル付けされた新しいスイッチを使用してAIを制御したとき：

機能した： 特定のスイッチを起動させるだけで、AIはターゲットとなるトピック（野球や物理学など）について話し始めました。
最高峰と競合した： 彼らのパフォーマンスは、AIをゼロから再学習させるために使用される重厚で高価なツールであるLoRAとほぼ同等でした。
古い研究に勝利した： 彼らはWu et al.が報告した結果よりもはるかに優れたパフォーマンスを示し、SAEは壊れているのではなく、単により良いラベルが必要だったのだということを証明しました。

2つの驚くべき発見

この論文は、人々が以前考えていたこととは異なる2つの事実を発見しました。

1. 「超スパース」なスイッチは必要ない

旧来の信念： 科学者たちは、スイッチが（高いスパース性を持ち）極めて稀である必要があると考えていました。まるで、干し草の山の中から針を見つけるようなものです。
新しい発見： 著者たちは、少し一般的であるスイッチ（低いスパース性）でも、十分にうまく機能することを発見しました。最も珍しい針を見つける必要はなく、もう少し一般的な針でも十分に役割を果たします。

2. 「因果的」テスト

旧来の信念： AIが「野球」について話している時にスイッチが点灯したとしても、そのスイッチが「野球」について話すことを「引き起こしている（原因となっている）」とは限りません。それは単なる偶然かもしれません。
新しい発見： スイッチを「オン」の状態に強制すると、AIは実際に野球について話し始めました。これは、そのスイッチが単なる傍観者ではなく、ドライバー（駆動源）であることを証明しています。

注意点：それでも「ただ尋ねる」よりは難しい

著者たちは、限界についても正直に述べています。

プロンプトのベースライン： もし単に「野球についての詩を書いて」と入力すれば、AIは素晴らしい仕事を見せます。これは、AIが指示に従うように「訓練されている」からです。
SAEの手法： SAEを使用することは、AIの脳内にあるスイッチを手動で切り替えることでAIを制御しようとするようなものです。これは「制御された損傷」の実験です。それは機能しますが、単にAIに優しくお願いするよりも難しく、不自然です。

一文での要約

この論文は、スパース・オートエンコーダーがAIの振る舞いを制御するための強力なツールであることを証明していますが、それは推測に頼るのではなく、実際のデータを使用して内部の「スイッチ」を注意深くラベル付けした場合に限られます。

技術要約：疎な自己符号化器（SAE）によるLLMのステアリング

問題提起
線形表現仮説および重ね合わせ仮説に基づき、残差ストリーム内の単一意味的な特徴を発見するツールとして、疎な自己符号化器（SAE）が大規模言語モデル（LLM）の解釈手法として提案されている。SAEの特徴量は理論的にモデルの生成を制御（ステアリング）する能力を持つが、AxBench（Wu et al., 2025）などの最近のベンチマークは、SAEがプロンプトによる制御のような単純なベースラインと比較して著しく劣っていることを示唆した。Wu et al. (2025) は、「単純なベースラインでさえ、疎な自己符号化器よりも優れた性能を示す」と結論づけている。さらに、先行研究（Wang et al., 2025）では、高い解釈性とステアリングの有用性は、高い疎性（低い $\ell_0$ ）と強く相関していることが示唆されており、これはNeuronpediaのようなリポジトリに注釈された特徴量によく見られる条件である。本論文の著者らは、Wu et al. (2025) で報告された低い性能は、SAE自体の固有の限界ではなく、特徴量のラベル付けおよび選択戦略が最適でないことに起因していると主張している。

手法
本論文は、従来の非監視型またはLLMベースのラベル付け手法とは対照的に、ステアリング性能を向上させるための、SAE特徴量のラベル付けおよび選択のための教師ありパイプラインを提案している。

教師ありラベル付けパイプライン:
- データソース: 著者らは、ユーザーが付与したタグが正解のマルチラベルとして機能するStack Exchangeデータセット（例：学術、生物学、スポーツ）を利用している。
- 特徴量プローブ: 各SAE特徴量に対して、データセットに対するその特徴量の活性化頻度を計算することで線形プローブを構築する。頻度が閾値 $\tau$ を超えるかどうかに基づいて、バイナリ予測を行う。
- 較正済みF1スコア: 特徴量をラベルに適合させるため、著者らは「較正済みF1スコア」（ $F1^c$ ）を算出する。この指標は、ラベルのサポート（頻度）を考慮して標準的なF1スコアを調整し、稀なラベルや一般的なラベルへの偏りを防ぐものである。最適な閾値 $\tau$ は、このスコアを最大化するように選択される。
- デノイジングと選択: 高品質なマッチングを確保するため、パイプラインは以下の3つの基準を適用する：
  1. ラベルサポート閾値: 分散を抑えるため、出現回数が50回未満のラベルを除外する。
  2. 出力スコアのプロキシ: ステアリングの潜在能力を持つ特徴量をフィルタリングするために、Arad et al. (2025) による出力スコアに基づく閾値（ $10^{-3}$ ）を使用する。
  3. Top-K選択: カテゴリごとに上位50個の「特徴量-ラベル」ペアを保持する。
ステアリング・メカニズム:
- 著者らは、Templeton et al. (2024) の活性化編集手法を採用している。推論中、特定の特徴活性化（ $z_f$ ）を値 $\alpha$ にクランプする。再構成誤差は保持され、編集された潜在ベクトルがデコーダーを通過する。
- 評価: 手法は、生成されたテキストの流暢さ、指示への追従性、および概念の組み込みを評価するAxBenchを用いて評価される。著者らは、単一のグローバルな値を使用するのではなく、クロスバリデーションを用いて、各「特徴量-ラベル」ペアに対して個別にステアリング強度 $\alpha$ を最適化する。
実験設定:
- モデル: 実験はGemma 2 (9B) を用いて行われ、Gemma Scope SAE（幅131k）を、レイヤー17および32の残差ストリームに挿入した。
- ベースライン: 比較対象には、「NP random」ベースライン（Neuronpediaのラベルを持つランダムに選択された特徴量）およびWu et al. (2025) のプロンプト・ステアリング・ベースラインが含まれる。

主な結果

LoRAとの性能的同等性: 提案された教師ありパイプラインを通じて特徴量が選択・ラベル付けされた場合、SAEはAxBenchベンチマークにおいて、LoRA（Low-Rank Adaptation）ベースラインに匹敵するステアリング性能を達成する。これは、Wu et al. (2025) で報告された結果を大幅に上回るものである。
因果的妥当性: パイプラインは、特定されたラベルの因果関係を驚くほど明確に持つ特徴量を選択する。「出力スコア」成分（ステアリング能力のプロキシ）を選択プロセスから取り除いたとしても、教師ありラベル付けによって選択された残りの特徴量は、ランダムなNeuronpediaの選択よりも優れたステアリング性能を示した。
疎性への独立性: Wang et al. (2025) の知見に反して、著者らは、成功的なステアリングに高い疎性（低い $\ell_0$ ）が厳密に不可欠ではないことを見出した。Gemma Scopeモデルにおける低疎性と高疎性の両方のSAEが、ステアリングタスクに対して有効であった。
プロンプティング・ベースライン: 提案されたSAE手法は以前のSAEの試みよりも大幅に改善されているが、著者らは、LLMは指示に従うよう明示的に訓練されているため、単純なプロンプティングが依然として強力なベースラインであることを指摘している。

意義と主張
本論文は、SAEがステアリングに効果的であるという主張に対する部分的な反論として機能する。著者らは、Wu et al. (2025) における否定的な結果は、既存の、おそらく最適ではないラベルへの依存と、教師あり特徴量選択の欠如により、SAEの真の実力を「十分に引き出せなかった」ことに起因すると主張している。

主な意義は、以下のことを実証している点にある：

ラベル付けの重要性: SAE特徴量のラベル付け方法は極めて重要である。較正された指標とサポート閾値を用いた教師ありアプローチは、モデル生成に真の因果的影響を与える特徴量をもたらす。
SAEの堅牢性: SAEは、パラメータ効率の高い微調整手法（LoRA）と競合し得るレベルのステアリング性能を持ち、解釈可能性ツールとしての有用性を裏付けている。
因果的なグラウンドトゥルース: 研究環境において、成功した特徴量ステアリングは、その特徴量のラベルが「グラウンドトゥルース」であることを確認するものであり、相関ベースの解釈性を誤導する可能性のあるデータセットの特異性（多義性）から区別するものである。

著者らは、SAEは研究やモデル内部の理解には強力であるが、LLMの訓練の性質上、実用的なアプリケーションにおいてはプロンプティングが打ち負かすのが難しい強力なベースラインであることを認め、控えめなトーンを維持している。また、特徴量ステアリングはモデルへの「制御された損傷」を伴うため、標準的なファインチューニングと比較して、プロダクション環境には適さないことも述べている。