🤖 machine learning

Equivariant Sparse Autoencoders: Mechanistic Interpretability of Neural Networks on Symmetric Data

本論文は、対称的なデータセットにおける標準的なSAEの識別不能性の問題を解決するためにデータの対称性を組み込んだEquivariant Sparse Autoencoderを導入するものであり、それによって、再構成の品質が低くなった場合でも、より有用で解釈可能な特徴量を発見する。

原著者： Ege Erdogan, Ana Lucic

公開日 2026-08-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ege Erdogan, Ana Lucic

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で超知能を持つロボットがどのように思考しているのかを理解しようとしている場面を想像してみてください。あなたはロボットに質問をすることはできません。その代わりに、ロボットが作業している間にその脳の中を覗き見なければなりません。この分野は**メカニスティック・インタープリタビリティ（機械論的解釈可能性）**と呼ばれ、ブラックボックスの秘密のコードを解読しようとする探偵のようなものです。ロボットの脳は、複雑なパターンで点灯する無数の小さなスイッチ（ニューロン）の層で構成されています。問題は、これらのパターンが乱雑であることです。多くの場合、ロボットは一つのスイッチの中に多くの異なるアイデアを混ぜ合わせてしまいます。これは「スーパーポジション（重ね合わせ）」と呼ばれる現象です。それは、あらゆる文章が3つの異なる物語を混ぜ合わせたジャングル状態の読書をしているようなものです。何かが起きていることは分かりますが、それが「何」なのかを判別することができないのです。

この混乱を解決するために、科学者たちは**スパース・オートエンコーダ（SAE）というツールを使用します。SAEを、超整理整頓された司書だと考えてください。その仕事は、その乱雑に点灯したスイッチの塊を取り込み、それを整理された明確な概念のリストへと分類することです。もしロボットが猫の写真を見ているなら、司書は特定の「猫」のスイッチを見つけ出し、それをオンにすると同時に、他のすべてをオフにしようと試みます。長い間、この手法はテキストのように、単語をどう読んでもルールがほぼ同じ場合にはうまく機能してきました。しかし、データが対称的（シンメトリック）**である場合はどうなるでしょうか？現実の世界では、回転させたり反転させたりしても、多くのものは同じように見えます。猫は、左を向いていても右を向いていても、依然として猫です。もし司書がこのルールを知らなければ、混乱して、「左向きの猫」と「右向きの猫」を全く無関係な二つの異なるものだと考えてしまうかもしれません。この論文は、こう問いかけています。「私たちの司書に、これらの対称性を尊重することを教えたらどうなるだろうか？」と。

研究者のエゲ・エルドアンとアナ・ルシッチ（アムステルダム大学）は、回転や反転のルールを扱うために、標準的な司書ツールをアップグレードすることに決めました。彼らは新しいツールをエキィバリアント（等変）スパース・オートエンコーダと呼んでいます。単に乱雑な光をリストに分類しようとするのではなく、彼らは次のようなことを理解するシステムを構築しました。「おい、画像を回転させても、『猫』という概念は消えない。ただリスト内の別の場所に移動するだけだ」。彼らはこのアイデアを、幾何学的な図形のトイモデル、そして銀河や血球の現実世界の画像データセットを用いてテストしました。

ここで、彼らが見つけた驚くべき展開があります。新しい、対称性を考慮した司書たちは、実は古い、乱雑な司書たちよりも、元の画像を完璧に再構成することに関しては劣っていたのです。もし彼らが「元の画像をどれだけうまく再構築できたか」で測定した場合、古いツールが勝利しました。しかし、研究者が別の質問――「どのメモが、ロボットが見ているものを理解するために実際に有用か？」――を投げかけたとき、新しいツールが明確な勝者となりました。古い司書たちは、画像の再構築には完璧に見えるメモを作成していましたが、実際には概念を特定するという点では、それほど有用ではありませんでした。新しい司書たちは、たとえそのメモ自体は見た目が少し乱雑であったとしても、ロボットが何を考えているのかについて、より真実に基づいた姿を提示したのです。

この論文は、対称性を持つデータ（回転する物体など）に対して、標準的なツールの評価方法――入力の再構築がいかに優れているかをチェックすること――は誤解を招くものであると示唆しています。実際、ツールが画像を再構築するのが上手ければ上手いほど、その特徴量は基礎となる概念を理解するためにはるかに使いにくくなる可能性があります。対称性のルールをツールに直接組み込むことで、研究者たちは、コンピュータが形状、銀河のタイプ、細胞のタイプを識別するのに、より優れた特徴を見つけ出すことができました。たとえ最終的な画像の再構成が完璧ではなくてもです。彼らはこれがすべてのAIに対する究極の解決策であると証明したわけではありませんが、彼らのシミュレーションと現実のデータを用いた実験は、対称性を無視することは、AIを理解するためのツールを信頼性の低いものにすることを示唆しており、私たちは「再構築の質」のみを主要なスコアカードとして頼りにすることを止めるべきであることを強く示しています。

技術要約：等変性スパースオートエンコーダ (Equivariant Sparse Autoencoders)

問題提起

機械学習モデル、特に科学分野のモデルは、固有の対称性（例：タンパク質の折り畳みにおける回転、銀河の画像、細胞の顕微鏡像など）を持つデータに対して動作することが多い。スパースオートエンコーダ（SAE）は、高密度なニューラル活性を疎な解釈可能な特徴量へと分解するための主要なツールとして台頭しているが、対称性を持つデータに適用する場合、決定的な限界に直面する：それは**識別不能性（unidentifiability）**である。

標準的なSAEは、活性が疎な線形結合であるという線形表現仮説（LRH）を前提としている。しかし、入力データが対称性（群作用 $G$ ）を持つ場合、バニラなSAEは、同一のセマンティックな概念に対して異なる変換（例：あらゆる回転における「猫」の特徴）のための特徴方向を学習しなければならない。これにより、以下の問題が生じる：

特徴量の絡まり（Feature Entanglement）: モデルは、離散的な入力を再構成するために、非直交で解釈不可能な特徴量を学習してしまう可能性がある。
識別不能性（Unidentifiability）: 異なる説明がデータに対して等しく適合し得るが、そのうちの一つだけが真の基礎構造と一致している。
指標の不一致（Metric Misalignment）: 再構成品質（MSE）が特徴の有用性と相関しないことが多い。なぜなら、SAEは真の概念に対応しない、再構成に特化した特徴を学習してしまうことがあるからである。

本論文は、現在のSAEはこれらの対称性を考慮していないため、このような対称性が蔓延している科学的領域において、解釈が最適ではなくなっていると主張している。

手法：等変性SAE (Equivariant SAEs)

著者らは、群の対称性を明示的に考慮するようにLRHを拡張した等変性スパースオートエンコーダを提案する。

1. 拡張された線形表現仮説

著者らは、入力 $X$ に作用する群 $G$ に対して、ニューラルネットワークの活性 $\psi(x)$ が予測可能な形で変換されると述べることで、LRHを再定式化する。具体的には、 $x$ が $g \in G$ によって変換されるとき、活性は以下の線形写像 $\rho(g)$ を通じて変換される：
$\psi(gx) = \rho(g) \sum_{i=1}^C z(x)_i D_i = \sum_{i=1}^C z(x)_i (\rho(g) D_i)$
ここで、特徴量の大きさ $z(x)$ は不変（疎な係数）であり、特徴ベクトル $D_i$ は群作用に従って変換される。

2. アーキテクチャ設計

等変性SAEは、不変な特徴の学習と変換ルールの学習を分離する：

不変SAE (Invariant SAE): すべての軌道（例：画像のあらゆる回転）内の活性を、単一の**標準的（canonical）**な潜在表現へと写像するように訓練されたエンコーダ・デコーダ対。これは不変な特徴を学習する。
線形変換モジュール (Linear Transformation Module): 標準的な再構成が元の入力空間へとどのように変換されるかをモデル化する、学習可能な行列（ $M, R$ ）のセット。生成元 $g, h$ を持つ群に対して、モデルは以下の行列を学習する：
$M_p R_q D(E(\psi(g^p h^q x))) = \psi(g^p h^q x)$
これにより、SAEは辞書自体に等変性を強制することなく（それは非現実的な数のパラメータを必要とする）、対称性の構造を捉えることができる。

3. 学習戦略

学習は2つの独立したステップ（並列化可能）で行われる：

不変SAEの学習: エンコーダとデコーダは、標準的な入力に対して再構成誤差を最小化しつつ、不変性を強制するように最適化される。著者らは3つの損失目的関数を実験している：
- $L_{Canonical}$ : 軌道のメンバーから標準的なサンプルを再構成する。
- $L_{Latent}$ : 潜在コードに対して直接不変性を強制する（ $E(\psi(x)) \approx E(\psi(gx))$ ）。
- $L_{Output}$ : SAEの出力に対して不変性を強制する。
変換の学習: 行列 $M$ と $R$ は、予測された変換後の活性と、ベースモデルの実際の変換後の活性との間の誤差を最小化するように最適化される。

主な貢献

理論的拡張: 本論文は、線形表現仮説を対称データへと拡張し、特徴係数とベクトルが群作用の下でどのように振る舞うかを形式的に定義した。
アルゴリズム的革新: 群等変な辞書によるパラメータ爆発を回避し、不変な特徴学習と変換モデリングを分離する等変性SAEの設計。
実証的検証: 合成および実世界のデータセット（形状、銀河画像、血球）において、等変性SAEが、特徴の回収およびダウンストリームのプロービング・タスクにおいて、バニラ、Archetypal、およびGroup Cross-coderのベースラインを凌駕することを実証した。
指標への洞察: 対称的な設定においては、再構成品質は特徴の有用性と逆相関するという発見。等変性SAEは、バニラなSAEよりも低い再構成精度（高いMSE）を示すことが多いが、より解釈可能で有用な特徴を生み出す。

実験結果

著者らは以下のデータセットで手法を評価した：

トイモデル: 知られている既知の等変な特徴を持つ合成データ。
Shapesデータセット: $C_4$ （回転）および $D_4$ （回転＋反転）の対称性を持つ合成画像。ベースモデルとしてMLP、CNN、ViTを使用。
GalaxyMNIST: $C_4/D_4$ の対称性を持つ実世界の銀河画像。
MLL23: DinoBloom基盤モデルを用いた末梢血細胞画像。

主な知見:

特徴の回収: トイモデルにおいて、等変性SAEは、干渉が高い過完備レジームにおいて特に、ベースラインと比較して優れた特徴回収（平均コサイン類似度）および検出（F1スコア）を達成した。
ダウンストリーム・プロービング: すべてのデータセットにおいて、等変性SAEの潜在変数で訓練されたプローブは、バニラなSAEの潜在変数で訓練されたものよりも、入力の特性（例：形状の存在、向き、細胞型）を分類する精度が高かった。いくつかのケース（例：GalaxyMNIST）では、ベースモデルの活性から直接訓練されたプローブの性能に匹敵した。
再構成 vs 有用性: 等変性SAEはバニラなSAEよりも高い再構成誤差（劣ったMSE）を示すという一貫した傾向が見られた。しかし、この「劣った」再構成は、真のセマンティック構造により整合しており、ダウンストリームタスクにおいてより有用な特徴に対応していた。
変換モデリング: 学習された線形行列（ $M, R$ ）は、ほとんどのモデルにおいて活性変換の分散の97%以上を説明することに成功し、入力の対称性が活性空間における線形変換を誘発するという仮説を検証した。

重要性と主張

本論文は、解釈可能性の手法の事前分布を、データの既知の構造（具体的には対称性）に合わせることが、忠実な説明を得るために極めて重要であると主張している。著者らは、2つの主要な含意を強調している：

再構成は解釈可能性ではない: 再構成指標（MSEなど）のみに依存してSAEを評価することは、特に対称データにおいては危険である。再構成が不十分なモデルであっても、より有用で解釈可能な特徴を発見できる可能性がある。
ドメイン固有の解釈可能性: 生物学や天文学のような、データの対称性が基本的である科学的応用において、標準的なSAEは不十分である。等変性SAEは、これらの対称性に頑健な特徴を発見する経路を提供し、潜在的に新しい科学的知見や、より信頼性の高いAIシステムをもたらす。

本研究は、将来の解釈可能性の研究が、識別不能性の罠を避けるために、単なる汎用的なスパースコーディングを超え、ドメイン固有の構造的事前分布を取り入れる必要があることを示唆している。