💬 NLP

Disentangling MLP Neuron Weights in Vocabulary Space

この論文では、モデルの重み空間における統計的性質（尖度）を最大化する回転最適化を行うことで、データやフォワードパスを一切必要とせず、MLP ニューロンを解釈可能な「語彙チャネル」に分解する新しい手法「ROTATE」を提案し、Llama-3.1-8B-Instruct や Gemma-2-2B-it などの大規模言語モデルにおいて、従来の活性化ベースの手法よりも優れた解釈性を達成したことを示しています。

原著者： Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva

公開日 2026-04-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、巨大な AI（言語モデル）の「頭の中」にある複雑な仕組みを、データを使わずに、重さ（重み）そのものから解き明かす新しい方法「ROTATE」を紹介しています。

専門用語を避け、日常の例え話を使って解説しますね。

🧩 問題：AI の脳は「ごちゃ混ぜ」になっている

AI は、人間が言葉を理解するときに「ニューロン（神経細胞）」のような小さな部品を何万個も使っています。
これまでの研究では、このニューロンは**「ごちゃ混ぜ（多義的）」**であると考えられていました。
例えば、あるニューロンが「リンゴ」のことも「オレンジ」のことも「果物」のことも同時に扱っているような状態です。これを解きほぐすのは、AI に大量の文章を読ませて「どの時に反応するか」を調べる必要があり、とても大変でした。

🔦 解決策：ROTATE（ローテート）という「回転鏡」

この論文の著者たちは、**「データを読ませなくても、AI の重み（パラメータ）そのものを眺めるだけで、ごちゃ混ぜを解きほぐせる」**と発見しました。

彼らが開発したROTATEという方法は、以下のようなイメージです。

1. 「重み」を「回転鏡」で見る

AI のニューロンは、最初は「ごちゃ混ぜ」の重み（ベクトル）を持っています。
ROTATE は、この重みを**「回転させる鏡」**のように扱います。
「この角度から見たら『リンゴ』が見える」「別の角度から見たら『オレンジ』が見える」というように、重みを回転させて、最も鮮明に一つの意味が浮かび上がる角度を探し出します。

2. 「尖った山」を見つける（カールトス）

ここで使われているのが「カールトス（尖度）」という統計的な指標です。

ごちゃ混ぜの状態：重みの分布は「なだらかな丘」のようになっています。どこにも強い意味がありません。
解きほぐれた状態：重みが特定の単語（トークン）に強く反応すると、分布は**「鋭く尖った山」**になります。

ROTATE は、「この重みを回転させて、一番鋭く尖った山を作ろう！」と計算します。山が尖るということは、そのニューロンが「特定の単語（例：『リンゴ』）」にだけ強く反応し、他のものには反応しない（＝意味が一つに定まる）ことを意味します。

🎨 発見されたもの：「語彙チャンネル」

この方法で見つかった、尖った山のような方向のことを**「語彙チャンネル（Vocabulary Channels）」**と呼んでいます。

従来の方法：AI に「リンゴ」という言葉が含まれる文章を 100 万枚読ませて、「あ、このニューロンが反応した！」と後から探す（データ依存）。
ROTATE の方法：AI の「頭脳（重み）」そのものを数学的に回転させて、「あ、ここには『リンゴ』を扱う回路が隠れている！」とデータなしで発見する。

🌟 なぜこれがすごいのか？

データがいらない：AI に大量の文章を読ませる必要がありません。AI の「設計図（重み）」さえあれば、どんな AI でも解析できます。
正確で、細やか：従来の方法（SAE など）よりも、ニューロンが本当に何を意味しているかを正確に説明できます。
- 例：あるニューロンは「否定文（～ではない）」と「時間（～まで）」の 2 つの役割を同時に持っていました。ROTATE はこれを「否定チャンネル」と「時間チャンネル」に分けて、それぞれが独立して働いていることを発見しました。
AI の説明が上手になる：これらのチャンネルを組み合わせることで、「このニューロンは『リンゴ』と『オレンジ』の区別をしている」といった、人間にもわかりやすい説明を自動生成できます。

📝 まとめ：AI の「設計図」を解読する新しい道具

この論文は、AI のブラックボックスを解くために、「データを集めて反応を見る」という従来のアプローチから、「重みそのものを回転させて、隠れた意味の山を見つける」という新しいアプローチへ転換する画期的な方法を示しました。

まるで、**「ごちゃ混ぜにされたパズルのピースを、箱の中で回転させて、正しい形（意味）を見つけ出す」**ような作業です。これにより、AI がどうやって言葉を理解しているのか、より深く、かつ効率的に理解できるようになるでしょう。

以下は、提示された論文「Disentangling MLP Neuron Weights in Vocabulary Space」の技術的な詳細な要約です。

論文要約：Disentangling MLP Neuron Weights in Vocabulary Space

1. 背景と問題提起

大規模言語モデル（LLM）のメカニズム的解釈性（Mechanistic Interpretability）における重要な課題の一つは、モデルの重み（Weights）に符号化された情報を解読することです。従来のアプローチは、特定の入力データに対するニューロンの活性化パターンに依存しており、データ分布のバイアスや計算コストの問題を抱えています。また、LLM のニューロンは多くの場合「多義的（Polysemantic）」であり、単一のニューロンが複数の異なる概念を混在してエンコードしているため、どの概念がどの部分に対応するかを特定することが困難です。

既存の手法（疎性オートエンコーダ：SAE など）は、活性化データに基づいて単義的な特徴を復元しようとしますが、これには大規模なデータ収集とトレーニングが必要であり、重み自体の構造を直接解釈するアプローチではありません。

2. 提案手法：ROTATE

著者らは、データ（活性化値）を一切使用せず、モデルの重み空間そのものを操作することで、MLP ニューロンの重みを「語彙空間（Vocabulary Space）」で単義的な方向に解きほぐす手法ROTATE（Rotation-Optimized Token Alignment in weighT spacE）を提案しました。

2.1 核心的な洞察

論文の主要な仮説は以下の通りです：

語彙空間での尖度（Kurtosis）の重要性: MLP ニューロンの重みベクトルをモデルの語彙空間（Unembedding 行列 $U$ を用いた射影 $z = wU$）に投影した際、その分布の「尖度（Kurtosis）」が高い場合、そのニューロンは単一の明確な概念（Monosemantic）を強く促進していることを示唆します。
統計的根拠: 語彙トークン分布が尖度が高い（重尾分布）ということは、ニューロンが特定の少数のトークンに対して強く作用し、他の大部分のトークンにはほとんど影響を与えないことを意味します。これは、ガウス分布（尖度 0）のような混合信号ではなく、解釈可能な単一の方向であることを示す指標となります。

2.2 アルゴリズムの概要

ROTATE は、与えられたニューロンの重みベクトル $w$ に対して、以下の最適化問題を通じて「語彙チャネル（Vocabulary Channels）」と呼ばれる単義的な方向ベクトル $\{v_i\}$ を発見します。

回転行列の学習:
重みベクトル $w$ を回転行列 $R$ によって回転させ、新しいベクトル $v = Rw$ を生成します。
目的関数:
以下の損失関数を最小化するように $R$ を学習します。
$L = -\lambda \cdot \text{Kurtosis}(z) + \text{Regularization}(v, w)$
ここで、$z = vU$ は語彙空間への射影です。
- 尖度項: 語彙空間での分布の尖度を最大化し、単義的な方向へ誘導します。
- 正則化項: 発見された方向 $v$ が元の重み $w$ から大きく逸脱しないよう、コサイン類似度を維持する項です。
- 回転行列 $R$ は、ハウスホルダー変換（Householder reflection）を用いてパラメータ化され、直交性を保証します。
反復的マスキング:
単一のニューロンは複数の概念を含むため、一度に一つのチャネルしか発見できません。あるチャネルを発見した後、そのチャネルの尖度に寄与する主要なトークンを「マスキング（無効化）」し、次の反復で新しい高尖度の方向（新しい概念）を発見するようにします。これを $n_{iter}$ 回繰り返すことで、ニューロンの重みを複数の解釈可能なチャネルに分解します。

3. 実験と評価

Gemma-2-2B-it と Llama-3.1-8B-Instruct において、ROTATE の有効性を検証しました。

3.1 忠実性（Faithfulness）

入力側: 発見されたチャネルの説明に基づいて生成された入力文が、対応するニューロンを活性化するかを評価。ROTATE は、SAE ベースの手法（Gemma Scope, Llama Scope）よりも高い忠実度スコアを達成しました（例：Llama-3.1 の層 18 で 0.71 vs 0.49）。
出力側: チャネルをアブレーション（除去）した際、対応する概念トークンの生成頻度が低下するかを評価。自己チャネルのアブレーションではトークン頻度が約 90% 減少し、他チャネルのアブレーションでは変化がなかったため、チャネル間の因果的な分離が確認されました。

3.2 網羅性（Completeness）

ニューロンの活性化スペクトルのどの部分をチャネルが説明できるかを評価。
多様な入力に対して、どのチャネルの説明が最も適切かを LLM ジャッジに判定させました。ROTATE は、SAE 特徴量ベースの手法と比較して、より高いマッチング精度（49%〜60% vs 36%〜49%）を示し、ニューロンの挙動の大部分をカバートできることを証明しました。

3.3 ニューロン説明の生成

発見された複数のチャネルの説明を統合し、ニューロン全体の自然言語による説明を生成しました。
既存の最良のベースライン（MaxAct++ や MaxAct+VocabProj）との対決評価（Head-to-Head）において、ROTATE はすべてのレイヤーとデータセットで 2〜3 倍の勝率を記録しました。特に、極端な活性化例だけでなく、中程度の活性化レベルの概念も捉える点で優れていました。

4. 主要な貢献

高尖度分布と単義性の相関の発見: LLM の重み空間において、語彙空間への射影分布の尖度が高いことが、単義的な方向の強力な指標であることを実証しました。
ROTATE の提案: データ（活性化値）を一切必要とせず、重み空間の回転最適化のみで MLP ニューロンを解釈可能な「語彙チャネル」に分解する手法を開発しました。
性能の優位性: 広範な実験により、ROTATE が SAE ベースの手法よりもニューロン挙動への忠実度と網羅性の両面で優れていることを示しました。
高品質な説明生成: チャネルレベルの分解情報を統合することで、従来の自動化された解釈手法よりもはるかに正確で詳細なニューロン説明を生成できることを示しました。

5. 意義と将来展望

ROTATE は、LLM の内部構造を理解するためのスケーラブルで微細な分析単位を提供します。

データフリー: 大規模なデータセットや推論コストを必要としないため、リソース制約のある環境でも適用可能です。
メカニズムの解明: 重み空間から直接概念を抽出することで、モデルが「何を」学習しているかを、入力データに依存せず直接的に理解する道を開きます。
将来の応用: 発見されたチャネルを用いた、より正確な回路（Circuit）の発見や、ネットワークコンポーネント間の相互作用の研究、あるいはモデルの制御（Steering）やエラサ（Erasure）への応用が期待されます。

この研究は、機械的解釈性の分野において、重み空間そのものを直接解釈する新たなパラダイムを確立する重要な一歩となります。