💬 NLP

Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects

本論文は、スパースオートエンコーダの機能は因果的な関連性を持ち得る一方で、安定したステアリング方向として機能することは稀であり、代わりに「値のような」機能が構造化された効果を生み出し、「ポインタのような」機能が拡散的で文脈依存的な変化を生み出すという、明確に異なる幾何学的パターンを示すことを実証するために、特徴量・効果幾何解析（FEGA）を導入するものである。

原著者： Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、本が自ら書き進めていく巨大で魔法のような図書館を理解しようとしていると想像してください。この図書館は「大規模言語モデル」と呼ばれる、人工知能の一種であり、インターネット上のほぼすべての内容を読み込み、文章の次の単語を予測することを学習しています。この図書館の中には、モデルが何かについて考えているときに点灯する、「ニューロン」と呼ばれる何百万もの小さく目に見えないスイッチがあります。長い間、科学者たちは、どのスイッチが点灯するかを観察することで、モデルを理解しようとしてきました。彼らは、「もし『パリ』という言葉が出たときにスイッチが点灯するなら、そのスイッチは『パリ・スイッチ』に違いない」と考えていました。

しかし、ここには厄介な問題があります。単にスイッチが点灯しているからといって、それが実際に「仕事」をしているとは限らないのです。それは単に「見ている」だけかもしれません。あるスイッチが実際に何をしているかを知るためには、中に手を入れ、スイッチをオフにし、物語がどう変わるかを見る必要があります。これは「介入（インターベンション）」と呼ばれます。最近、科学者たちは、このスイッチを見つけるための「スパース・オートエンコーダ（SAE）」という特別なツールを作り上げました。SAEを、乱雑に光るスイッチを整理整けいなラベル付きのフォルダへと分類する、超組織的な書類整理棚だと考えてください。私たちの願いは、もし「パリ」というラベルの付いたフォルダを見つけたら、そのフォルダをオンまたはオフにすることで、モデルにパリについて話させたり、あるいは話すのを止めさせたりすることでした。この考え方は「ステアリング（操舵）」と呼ばれます。

しかし、拭いきれない疑念がありました。科学者が「パリ」のフォルダをオンにしたとき、モデルが全くパリについて話さないことがあったのです。フランスについて話したり、混乱したり、あるいは期待とは正反対の結果になったりしました。それはまるで、「音量を上げる」ボタンを押すと、テレビの電源が切れたり、チャンネルが変わったりしてしまうリモコンを持っているようなものでした。大きな疑問は、「なぜこのようなことが起こるのか？」ということです。リモコンが壊れているのでしょうか、それとも、ボタンの仕組みに関する私たちの理解が間違っているのでしょうか？

「Sparse Autoencoders Encode Both Concepts and Functions（スパース・オートエンコーダは概念と機能の両方をエンコードする）」と題されたこの論文は、この謎を解くための探偵任務に挑んでいます。ドイツとインドの研究チームである著者たちは、単にフォルダのラベルを見るのをやめ、スイッチを切り替えた後にストーリーがどうなるかを観察することに決めました。彼らは「特徴量効果幾何学解析（FEGA）」と呼ばれる新しい手法を考案しました。FEGAを、スイッチを切り替えるたびに、単に一度だけでなく、何千もの異なる物語の中で図書館のスナップショットを撮るハイテクカメラだと想像してください。そして、それらのスナップショットの「雲」全体を見て、スイッチが常に物語を同じ方向に押し進めているかどうかを確認します。

彼らが発見したのは、驚くべきことでした。モデル内のスイッチには、彼らが「バリュー型（Value-like）」と「ポインター型（Pointer-like）」と名付けた、2つの非常に異なるカテゴリーがあることを発見したのです。

まず、バリュー型のスイッチがあります。これらは図書館における「事実」のようなものです。もしあるスイッチが「パリはフランスにある」という事実に結びついているなら、それは静的な情報として機能します。このスイッチを切り替えると、モデルの出力は、人々が緩やかな隊列で歩いているような、ある程度組織化された方法で変化します。一本の直線ではありませんが、完全な混乱でもありません。これらのスイッチは、特定の事実を保持するために信頼できます。

次に、ポインター型のスイッチがあります。これらは「リモコン」というアイデアにとっての真のトラブルメーカーです。これらのスイッチは特定の事実を保持しているのではなく、ある「仕事」や「機能」を保持しています。これらはキーボードの「コピー」ボタンのようなものです。「コピー」ボタンは、何をコピーするかには関心がありません。ただコピーするという動作を行うだけです。モデルにおいて、ポインター型のスイッチは「文の前の単語をコピーする」といった役割を担っている可能性があります。もし文章が「猫は大きい（The cat is big）」であれば、スイッチは「大きい（big）」をコピーします。もし文章が「猫は小さい（The cat is small）」であれば、スイッチは「小さい（small）」をコピーします。役割が「そこにあるものをコピーすること」であるため、このスイッチをオンにしても、物語を一方向へ押し進めることはありません。その効果は、塵の雲のように、あらゆる方向に散らばります。

この論文は、これらの「ポインター型」のスイッチに対しては、従来の「ステアリング」の考え方はほとんど間違っていることを示しています。「コピー」のスイッチをオンにして、モデルが常に「コピー」することを期待することはできません。効果は、その瞬間にモデルが何を見ているかに完全に依存します。著者たちは、一部のスイッチ（バリュー型）は構造化された効果を持つ一方で、最も興味深い機能的なスイッチ（ポインター型）の多くは、「拡散した（diffuse）」効果を生み出すことを発見しました。これらはモデルが機能するために不可欠なものです。つまり、モデルがルールに従ったり言葉をコピーしたりできる理由はこれらですが、それらは単一の、予測可能な方向を指しているわけではありません。

要約すると、この論文は、AIのスイッチに対する私たちの考え方を変える必要があることを示唆しています。私たちは、それらすべてを特定のトピックのための単純なオン・オフボタンとして扱うことはできません。いくつかのスイッチは事実のための書類整理棚のようですが、他のものは状況に応じて効果を変える動的なツールのようです。将来、私たちがこれらのAIモデルを制御したいのであれば、単に一つの「パリ」ボタンや一つの「コピー」ボタンを見つけて、それが毎回同じように機能することを期待することはできません。私たちは、多くのツールにとって、その効果は物語によって形を変える複雑な雲であることを理解しなければなりません。著者たちは問題を解決したと主張しているわけではありませんが、混乱がどこにあるのかを示す新しい地図を提供しました。それは、AIのリモコンが、私たちが考えていたよりもはるかに複雑であることを証明しているのです。

技術要約：疎な自己符号化器（SAE）は概念と機能の両方をエンコードする：特徴量効果のダウンストリーム幾何学

1. 問題提起

Sparse Autoencoder（SAE）のメカニズム的解釈可能性への採用が広く進んでいるものの、SAEの特徴量とモデルの振る舞いの間の不一致によって、その活用は現在制限されている。特徴量はしばしば明確な活性化の説明（例：「パリ」や「コピー操作」）を持つ一方で、その因果的効果はしばしば不安定である。先行研究では、ステアリング（操舵）効果がプロンプトによって変化したり、意図した方向と逆転したり、あるいは強い活性化があるにもかかわらず望ましい出力の変化をもたらさなかったりすることが示されている。

既存の解釈可能性のワークフローは、活性化のエビデンス（高活性化例、自動記述、デコーダーの読み出し）に依存して、特徴量を概念と結びつけている。しかし、活性化だけでは因果的な寄与を確立できない。「変化の幾何学」、すなわち特徴量の介入によって引き起こされるロジットの変化に関する理解に決定的なギャップが存在する。具体的には、ある特徴量のダウンストリーム効果が、安定して再利用可能な方向（「ステアリング・ベクトル」）を構成しているのか、それとも複雑で文脈依存的な幾何学的構造を示すのかが不明である。本論文はこの問いに取り組む：ある特徴量を異なる文脈で介入させたとき、そのダウンストリーム効果はどの程度類似しているか？

2. 手法

2.1 特徴量効果幾何学分析 (FEGA)

著者らは、特徴量のアブレーション（除去）によって生じるダウンストリームのロジット変化の幾何学を測定し分類するために設計された、教師なしのオフライン・フレームワークであるFeature-Effect Geometry Analysis (FEGA) を導入する。

介入プロトコル:

再構成相対ベースライン: 特定の特徴量 $j$ $j$ の効果をSAEの再構成誤差から分離するため、本手法は以下の2つのパスを比較する：
- ベースライン: SAEの再構成 $\bar{h}^{(c)}_\ell = D(E(h^{(c)}_\ell))$ 。
- 介入: 特徴量 $j$ をゼロにした再構成 $\hat{h}^{(c)}_{\ell,j\downarrow} = D(z^{(c)} - z^{(c)}_j e_j)$ 。
ダウンストリーム伝播: 両方のパスを凍結されたモデルのテール（後続レイヤー）を通じて、最終的なロジット読み出し $\phi(\cdot)$ まで伝播させる。
効果クラウド: 有効な文脈の集合 $C$ に対して、ロジットの差 $\Delta^{(c)}_j = \phi(\hat{h}^{(c)}_{\ell,j\downarrow}) - \phi(\bar{h}^{(c)}_\ell)$ を計算する。これらの差の集合が特徴量効果クラウド $E_j$ を形成する。

幾何学的診断:
FEGAは、正規化された方向ベクトル $v^{(i)}_j$ に基づく一連の診断を用いて、ロジット空間における $E_j$ の形状を分析する：

指向性レイ（Directed-Ray）の集中度 ( $C_{ray}$ ): すべての効果が同じ符号の方向を向いているかをテストする。
軸または対蹠構造 ( $B_{axis}$ ): 効果が単一の軸に沿っているが、正負の符号に分かれている（例： $u$ と $-u$ ）かをテストする。
方向の混合: von Mises-Fisher 混合モデルを使用して、複数の明確で一貫した方向モードを検出する。
グローバル・スパン・スペクトラム: カーネル行列に対するPCA（主成分分析）を用いて、効果が低次元の部分空間（例：2Dまたは3D）内に存在するかどうかを判定する。
中心残差スペクトラム: 平均方向の周囲の変動を分析し、低次元の偏差を検出する。

フレームワークは、これらの診断に基づいて主要な幾何学的ラベル（例：「指向性レイ」、「軸」、「拡散」）と、二次的なフラグ（例：大きさの不均一性）を割り当てる。

2.2 実験設定

モデル: Gemma-2-2B。
SAEバリアント: レイヤー12以降の残差ストリームに適用されたReLU、TopK、および Matryoshka Batch TopK（幅 $\approx$ 65k）。
タスク・スペクトラム:
- 値型（事実的） (Value-Like/Factual): RAVEL（都市—国属性の分離）。ここでの特徴量は、静的な情報（例：「パリはフランスにある」）を表す。
- ポインタ型（操作的） (Pointer-Like/Operational): 文字列の逐次コピー (LSC)、単語内容 (WC)、PrOntoQA（ルール遵守）、およびトークン翻訳 (TT)。これらのタスクは、固定されたトークンの意味を持たずに、文脈依存的な操作（コピー、バインディング、ルール適用）を必要とする。
特徴量の分離:
- 値型: 属性制御のための SAEBench による微分バイナリマスキングによって選択。
- ポインタ型: ICL タスクにおけるプロンプト・ファミリー全体での高頻度な活性化に基づいて選択され、その後、因果的寄与を検証するためにアブレーションが行われる。

3. 主な結果

3.1 特徴量効果は稀にしか単一の方向にはならない

すべての SAE バリアントおよびタスクにおいて、ダウンストリームの特徴量効果が単一の、文脈に依存しないロジットベクトルに収束することは極めて稀である。特徴量が再利用可能なステアリング方向として機能するという仮説は、例外的なケースである。ほとんどの効果クラウドは、高い指向性レイの集中度を示さない。

3.2 値型とポインタ型特徴量の区別

本論文は、異なる幾何学的特性を持つ2つの機能的役割を区別している：

ポインタ型特徴量: プロンプト局所的な操作（コピー、ルール遵守）に関連する。
- 再帰性: 小規模でコンパクトな特徴量のセットが、異なる ICL タスク（例：LSC, WC, PrOntoQA）の間で再帰的に現れる（特に TopK および Matryoshka Batch TopK アーキテクチャにおいて）。
- 幾何学: これらの特徴量は主に**拡散した効果（diffuse effects）**を示す。これらはタスク間で再帰する場合であっても、再利用可能なロジット方向としては機能しない。その効果は出力空間に散らばっており、これは対象となる値がコピーまたは翻訳される具体的な内容に応じて変化することと一致している。
- 因果性: これらの選択されたセットの共同アブレーションは、大幅な精度低下を引き起こす。これは、幾何学的な方向が安定していないにもかかわらず、それらが因果的な役割を果たしていることを裏付けている。
値型特徴量: 静的な事実的属性（例：RAVEL の都市—国）に関連する。
- 幾何学: これらの特徴量は、ポインタ型特徴量と比較して、より構造化された低次元の効果を示す。
- 構造: しかし、これらの構造化された効果であっても、通常は単一のステアリングベクトルに収束するのではなく、複数の出力方向にわたる。

3.3 互いに素な特徴量セット

ポインタ型タスク（ICL）と値型タスク（RAVEL）のために特定された特徴量セットは互いに素（disjoint）である。ICL タスクのために選択された特徴量は RAVEL の事実的属性セットには現れない。これは、SAE の辞書が、たとえその幾何学的表現が複雑であっても、これらの機能的役割を分離していることを示唆している。

4. 貢献と意義

主な貢献:
本論文は、解釈可能性の焦点を「活性化の記述」から「介入効果の幾何学」へとシフトさせるフレームワークである FEGA を導入する。FEGA は、特徴量効果がどのように構成されているかを測定するための計算可能な診断を提供し、再利用可能な方向、構造化された低次元空間、および拡散したクラウドを区別する。

意義の主張:

ステアリングの仮定への挑戦: 結果は、明確な記述と因果的効果を持つ特徴量が、信頼できる単一のベクトル制御変数として機能できるという一般的な仮定に疑問を投げかけている。特徴量は、解釈可能であり因果的に重要であっても、安定した方向（ステアリング・ベクトル）を提供しない場合がある。
特徴量の役割の精緻化: 「値型」（静的な情報）と「ポインタ型」（文脈依存的な操作）を区別することで、本論文はなぜステアリングの振る舞いが変化するのかを説明している。操作（むしろ静的な概念）をサポートするポインタ型特徴量は、自然と拡散した、文脈依存的な効果を生み出す。
方法論的転換: 本研究は、特徴量レベルの解釈可能性において、「特徴量が何を検出するか」、「それが因果的に重要か」、そして「その効果が文脈によってどのように変化するか」という3つの側面を区別する必要があると主張している。FEGA は、第3の側面を評価するために必要な「効果側の監査」を提供する。

主張の謙虚さ:
著者らは、ロジット空間における方向の安定性が「しばしば限定的である」ことを示唆していると明記している。彼らは、SAE の特徴量がステアリングにとって無用であると主張しているのではなく、単一の再利用可能なステアリングベクトルを期待すること自体がしばしば誤りであると述べている。本論文は新しいステアリング・アルゴリズムを提案するものではなく、現在のステアリング・アプローチの限界を理解するための診断ツールを提供している。幾何学的ラベル（例：「拡散」、「軸」）は、メカニズム的な計算の根拠を説明するものではなく、効果クラウドの記述的な要約として説明されている。