🤖 machine learning

Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders

本論文は、個々のスパース・オートエンコーダの特徴量は訓練時のシード値間で再現性に欠けることが多い一方で、それらは集合的に安定した再現性のある低次元部分空間を形成しており、そこでは安定した特徴量が機能的な有用性を駆動し、不安定な特徴量は単に基底の曖昧さを反映しているに過ぎずノイズではないことを示している。

原著者： Gleb Gerasimov, Timofei Rusalev, Nikita Balagansky, Daniil Laptev, Vadim Kurochkin, Daniil Gavrilov

公開日 2026-06-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gleb Gerasimov, Timofei Rusalev, Nikita Balagansky, Daniil Laptev, Vadim Kurochkin, Daniil Gavrilov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

現代のAIのような、巨大で複雑な機械がどのように思考しているのかを理解しようとしている場面を想像してみてください。このとき、研究者たちは**スパース・オートエンコーダ（SAE）**というツールを使用します。SAEは、AIの内部的な思考を、人間が理解できるシンプルな「特徴量」や「概念」（例えば、「この文章は猫について述べている」や「この単語は大文字である」など）のリストへと分解しようとする「翻訳機」のようなものだと考えてください。

しかし、問題があります。もし、この翻訳機を、少し異なる初期条件（例えば、開始地点を選ぶためにサイコロを振るようなもの）で2回実行したとしたら、多くの場合、異なる特徴量のリストが得られてしまうのです。両方のリストに共通して現れる特徴量もありますが、多くの特徴量は消え去ったり、完全に変わってしまったりするように見えます。これでは、その翻訳を信頼することが難しくなります。

この論文は、なぜこのようなことが起こるのか、そしてそれが何を意味するのかを調査しています。以下に、分かりやすく解説します。

1. 「2種類の特徴量」の発見

研究者たちは、AIが学習する特徴量が、教室にいる2種類の異なるタイプの生徒のように、2つの明確な陣営に分かれていることを発見しました。

「安定した」生徒たち（信頼できる存在）:
- 彼らの役割: これらの特徴量は、ほぼすべてのバージョンの翻訳機に登場します。彼らは主力であり、AIの思考を理解し、次に何が来るかを予測するために必要な、最も重要な情報を担っています。
- 彼らが話す内容: 彼らは大きなアイデア、文法規則、意味のあるフレーズ（例：「これは質問である」、「これは名前である」、「これは感情を表している」など）を説明します。
- 比喩: ニュースキャスターを想像してください。どのカメラアングルを使っても、キャスターは常にそこにいて、メインニュースを伝えています。
「不安定な」生徒たち（カメレオン）:
- 彼らの役割: 彼らは気まぐれです。翻訳機を再度実行すると、しばしば姿を消したり、他の何かに置き換わったりします。彼ら単体では、それほど重要な重みを持ちません。
- 彼らが話す内容: 彼らは、非常に微細で表面的な細部に焦点を当てます。特定の句読点、奇妙な大文字表記、あるいは短い文字の組み合わせ（例：「『T』の後に大文字が続く単語」など）に反応します。
- 比喩: 教師が赤い帽子を被っている時だけ手を挙げる生徒を想像してください。教師が青い帽子を被ったら、その生徒は黙ったままです。彼らは「レッスン」に反応しているのではなく、ランダムな細部に反応しているのです。

2. 「グループハグ」理論（部分空間）

「不安定な」生徒たちは、単なるノイズや間違いなのではないかと考えるかもしれません。しかし、この論文は、彼らが単なるノイズではないと主張しています。

発見: 個々の不安定な特徴量は変化し続けますが、それらは特定の、より小さな「グループ」または**部分空間（サブスペース）**の中に集まる傾向があります。
比喩: ダンスフロアを想像してください。「安定した」特徴量は、振り付けに従って踊るメインダンサーです。「不安定な」特徴量は、音楽が再開されるたびにパートナーや動きを変え続ける人々のグループです。しかし、彼らは常に部屋の同じコーナーで踊っています。
これが意味すること: AIは、学習すべき特定の「コーナー」（例えば、特定の句読点のパターン）があることを知っていますが、それを表すための「具体的なダンサー」が誰であるかについては合意できていないのです。これは、概念（存在）についての不一致ではなく、その基底（表現の仕方）についての不一致なのです。

3. 「合成による証明」

これを証明するために、研究者たちは、仕組みが完全に分かっている、簡略化された偽のAIモデル（トイ・モデル）を構築しました。

彼らは、「真実」が低次元のグループ（小さなダンスフロアのコーナー）である状況を作り出しました。
結果: AIは、その「グループ（コーナー）」を学習することには成功しましたが、実行するたびに個々のダンサー（特徴量）を入れ替えてしまいました。これにより、この不安定さは、単なるバグではなく、AIが共有された情報を整理しようとする際に自然に発生する現象であることが確認されました。

4. 解決策：「最善の組み合わせ」のプール

この論文は、翻訳の質を損なうことなく、この不安定さを解決する巧妙な方法を提案しています。

手法: 1つの翻訳機を訓練して期待するのではなく、異なるシード値を用いて多くの翻訳機を訓練しました。そして、それらすべてから「安定した」特徴量を取り出し、1つのマスター辞書へと統合しました。
結果: この新しいマスター辞書は、元の不安定な辞書よりもはるかに安定しており（実行間で変化が少なく）、かつ、元の辞書と同じくらいAIの思考をうまく説明することができました。
教訓: 「安定した辞書」か「優れた辞書」かの選択を迫られる必要はありません。多くの試行から得られた信頼できる特徴量を集約することで、その両方を手に入れることができるのです。

まとめ

不安定な特徴量は、単に壊れているわけではありません。それらは実在するパターンですが、AIが単一のラベルとして特定することに苦労している、脆弱なパターンなのです。
安定した特徴量は、核となる意味のある概念です。
不安定さは、AIが同じ小さなパターンのグループを記述する方法を多く持っていることから生じます。これは「基底の曖昧さ（basis ambiguity）」、つまり、概念ではなくラベルに関する不一致です。
解決策: 多くの異なるトレーニング実行から、最も信頼できるベストな特徴量を組み合わせることで、より強力で一貫した翻訳機を構築します。

技術要約：不安定な特徴量、再現可能な部分空間

問題提起

疎な自己符号化器（Sparse Autoencoders; SAEs）は、ニューラルネットワークの活性化を、疎で人間が解釈可能な特徴量へと分解することを目的とした、メカニスティック・インタープリタビリティ（機械論的解釈可能性）の主要なツールである。しかし、決定的な制限としてシード依存性がある。すなわち、同一のデータとハイパーパラメータを用いていても、異なるランダムシードで学習されたSAEは、実質的に異なる特徴量セットを学習することがある。これは根本的な問いを投げかける。特定のあった特徴量が新しい学習実行において現れなかった場合、その基礎となる方向が新しい辞書の中に存在しないのか、それともSAEが単に同じ活性化領域に対して異なる基底を学習しただけなのか？これらの可能性を区別することは極めて重要である。なぜなら、自動的な解釈手法は、非標準的またはランダムな設定においても妥当に見える説明を割り当ててしまう可能性があり、「解釈可能に見える」特徴量が、必ずしも再現可能な分析単位であるとは限らないからである。

手法

著者らは、特徴量の安定性（独立して学習されたSAE間で、余弦類似度マッチング・ルールに基づき、ある特徴量が再出現する確率）を通じて、この問題を調査している。

安定性の推定: 著者らは、同一のデータに対して異なるシードを用いて $N+1$ 個のSAEを学習させる。一つの実行をアンカー（基準）とする。各アンカー特徴量について、他の実行の中に余弦類似度が $\theta \ge 0.7$ （デフォルト値）となる特徴量がいくつ含まれているかをカウントする。これにより、経験的な再出現確率 $\hat{p}_i$ を得る。
分類: 特徴量を、安定（ $\hat{p} \ge 1-\epsilon$ ）または不安定（ $\hat{p} \le \epsilon$ ）として分類する（ここで $\epsilon=0.05$ ）。
比較分析: 安定した特徴量と不安定な特徴量を、以下の複数の次元で比較する：
- 機能的影響: 再構成品質（説明分散）および、活性化パッチングによるダウンストリームの次トークン損失を通じて測定。
- 活性化統計量: 活性化の頻度および大きさ。
- トークン構造: 特徴量をトリガーするトークンのエントロピー（多様性）。
- 自動解釈: SAEBenchによって生成された説明の分析。
幾何学的分析: デコーダ空間の幾何学を分析し、安定した特徴量と不安定な特徴量が張る部分空間の有効ランクを計算し、特異値分解（SVD）およびロジスティック回帰分類器を用いて、これらの部分空間のクロスシード再現性をテストする。
合成による検証: 正解となる特徴量が共有された低ランク部分空間内に存在する、制御された低ランク合成モデルを構築する。SAEをこのデータで学習し、共有部分空間内におけるシード依存の基底の曖昧さが、観察された不安定性のパターンを再現できるか検証する。
特徴量プーリング: 再構成品質を犠牲にすることなく安定性を向上させることができるかをテストするため、複数の独立した実行からユニークな特徴量を抽出し、再出現確率が最も高いものを選別することで、新しいSAEを構築する。

主要な結果

1. 機能的不対称性

安定した特徴量と不安定な特徴性の間には、顕著な機能的不対称性が存在する：

安定した特徴量: 再構成および予測に関連する信号の大部分を担う。これらは高い活性化頻度、より重い高マグニチュードの裾、および高いトークンエントロピー（より広い語彙的・概念的パターンをカバーしている）を示す。
不安定な特徴量: 限界的な影響が弱い。大量の不安定な特徴量をマスクしても、再構成品質や次トークン損失の低下はわずかであるが、少数の安定した特徴量をマスクするだけで、大幅な劣化が生じる。これらは低頻度の表面形式のトリガー（例：句読点、特定のサブストリング、大文字化のパターン）に支配されており、トークンエントロピーも低い。

2. 幾何学的構造：再現可能な部分空間

個々の不安定な特徴量はシード間で再現されないが、それらは純粋なノイズではない。

低ランクへの集中: 不安定な特徴量は、安定した特徴量と比較して、より低次元の部分空間に集中している（有効ランクの減少率が約20–27%）。
部分空間の再現性: 特定の基底ベクトル（個々の特徴量）はシード間で変化するが、それらが張る部分空間は高度に再現可能である。あるシードの不安定な特徴量を識別するように訓練された分類器は、他のシードに対しても効果的に転移し、あるシードのトップの特異部分空間は、他のシードのそれらを正確に近似する。
合成による確認: 合成低ランクモデルは、このメカニズムを裏付けている。低ランクの正解特徴量は部分空間レベルでは回収されるが、共有領域内での基底の曖昧さにより、シード間で個別の潜在変数としては整列しない。

3. 安定したSAEの構築

複数の独立した実行からユニークな特徴量をプーリングし、再出現確率が最も高いものを選択することで、著者らは「シードに頑健な」SAEを構築する。

これらの構築されたSAEは、短いチューニングを経て、ベースラインに近い説明分散（EV）を回復する。
決定的なことに、このアプローチは、この構築設定において安定性と再構成品質がトレードオフの関係にないことを示している。すなわち、高い安定性は高いEVと一致する。
これらのプーリングされたSAEは、SAEBenchの解釈可能性メトリクスにおいて、標準的なTopK SAEと同等の性能を維持している。

4. 堅牢性とベースライン

学習スケール: 学習トークン数を増やすと、不安定性は初期には減少するが、非ゼロのプラトー（約8%の不安定な特徴量）に達する。これは、不安定性が単なる学習不足の結果ではないことを示している。
ランダムモデル: ランダムに初期化されたトランスフォーマーの活性化（「デッド・サーモン」ベースライン）に対してSAEを学習させた場合、安定した割合は崩壊し、不安定性が支配的になる。これは、学習済みモデルにおける安定した特徴量が、単なるSAEの目的関数によるアーティファクトではなく、真の構造を反映していることを裏付けている。
SAEのバリアント: 異なるスパース性メカニズム（TopK, BatchTopK, JumpReLU, Vanilla）は様々な程度の安定性を示すが、安定・不安定な特徴量の二峰性分布はほとんどのバリアントで持続している。

意義と主張

本論文は、SAEにおける不安定な特徴量は、単なる失敗した、あるいはノイズの多い潜在変数ではないと主張している。むしろ、それらは活性化空間内の再現可能な低次元構造を反映しており、標準的なSAEはシードの違いによってその構造を異なる形で解決しているのである。

解釈可能性への影響: 不安定な特徴量の存在は、単一のSAEの辞書が重要なクロスシード構造を隠蔽してしまう可能性があることを示唆している。しかし、この構造は回収可能である。
方法論的貢献: 特徴量をプーリングすることは、再構成品質やダウンストリームの解釈性能を損なうことなく、より安定したSAEを構築するための有効な戦略であることを著者らは提案している。
理論的洞察: 本研究は、シード依存性が、共有された活性化領域内での異なる基底の選択を反映しているのであって、共有された構造の欠如を反映しているのではないという点を明確にしている。この区別は、特徴レベルの解釈可能性の限界と、再現可能な部分空間内で識別可能な個別の特徴量を回収できる可能性を理解する上で極めて重要である。

著者らは、低ランク分析がシード依存性の特定のメカニズムの証拠を提供するものではあるが、現実のLLMにおけるすべての不安定な特徴量がこのメカニズムのみによって生成されることを証明するものではない、と謙虚に述べている。さらに、安定性とEVの間のトレードオフの欠如は、特徴量プーリングによる構築手法に特有の性質であり、単一のSAE学習目的の特性ではない。