技術的サマリー：教師なし学習による表現空間の解釈可能な部分空間への分解

問題提起

機械的解釈可能性は、ニューラルネットワークの内部アルゴリズムと回路の解明を目指しています。アテンションヘッドやMLPなどのコンポーネント、スパース特徴（スパースオートエンコーダーを介して）、および特定の部分空間の同定において大きな進展が見られる一方で、既存の手法には限界があります。コンポーネントベースの分析は、因果的介入のために専門的な対照データ（counterfactual data）を必要とすることが多いです。スパース特徴は解釈可能性を提供しますが、モデルの計算を変更する入力依存の回路をもたらします。現在の部分空間ベースのアプローチは、通常、人間が指定した抽象的な因果モデルに導かれた教師あり学習に依存しており、研究者が事前に特定のメカニズムを予測する必要があります。

本論文が扱う核心的な問いは、真実のラベル（ground-truth features）や人間が定義した仮説にアクセスすることなく、純粋に教師なしの手法で、ニューラルモデルの表現空間内に「自然な」解釈可能な部分空間を見出せるかどうかです。

手法：近傍距離最小化（NDM）

著者は、表現空間を直交する基底非整合（non-basis-aligned）の部分空間に分割するための教師なし手法である**近傍距離最小化（Neighbor Distance Minimization: NDM）**を提案します。

核心的な直感

この手法は、特徴グループ内でニューラル表現が相互排他性を示すという仮説に基づいています。ある特徴の集合が相互排他的（同時に1つまたは0つしか活性化しない）である場合、それらは専用の部分空間内で重ね合わせ（superposed）ることができます。逆に、異なるグループからの特徴（同時に発生しうる）は、干渉を避けるために直交的に表現されるべきです。

• 幾何学的解釈: 正しく分割された空間において、特定の部分空間に射影されたデータ点は、いくつかの集中した線上（そのグループの活性化特徴を表す）に位置します。その結果、各点はその部分空間内で非常に近い近傍点を持つことになります。
• 最適化目的: NDMは、直交行列 $R$ と次元構成 $c$ を探索し、各生成された部分空間内における各活性化とその最寄りの近傍点との距離を最小化します。

アルゴリズム

1. 変換: 直交行列 $R$ がモデルの活性化 $h$ を回転・反転させます。変換された空間は、次元構成 $c = [d_1, \dots, d_S]$ に基づいて部分空間に分割されます。
2. 損失関数: 目的関数は、各部分空間 $s$ 内における最寄りの近傍点までの平均距離を最小化します：
   $$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$$
   ここで、$\hat{h}_{n^*}^{(s)}$ は部分空間 $s$ における $\hat{h}_n^{(s)}$ の最寄りの近傍点です。
3. 次元構成: 部分空間の数とそれらの次元が未知であるため、この手法は小さく等しいサイズの部分空間から開始します。トレーニング中、KSG推定量を用いて部分空間間の**相互情報量（Mutual Information: MI）**を定期的に推定します。2つの部分空間間のMIが閾値を超えた場合、それらはマージされます。このプロセスは、どのペアも閾値を超えなくなるまで継続し、結果として部分空間が可能な限り独立している分割を見つけ出します。

主要な貢献と結果

1. トイモデルによる検証

真実の特徴グループが既知の制御されたトイ設定において、NDMは各特徴グループに専属する直交部分空間を正常に回復しました。この手法は最寄りの近傍点までの距離を最小化し、各部分空間が1つの特徴グループのみを符号化するような分割をもたらしました。これにより、相互排他性、重ね合わせ、および部分空間の直交性との間の理論的関連性が検証されました。

2. GPT-2 Small における定量的評価

著者は、既知の回路（間接目的語識別回路およびGreater-than回路）に対する部分空間活性化パッチングを用いて、GPT-2 Small 上で NDM を評価しました。

• 指標: 彼らはパッチング効果の集中度をジニ係数を用いて測定しました。高いジニ係数は、特定の情報（例：直前のトークン）が単一の部分空間に集中していることを示します。
• 性能: NDM は、ベースライン（Identity、Random、PCA、および SAE 特徴クラスタリング）を大幅に上回りました。NDM は平均ジニ係数 0.71 を達成し、満足できる集中度の閾値である 0.6 を大きく上回りました。一方、ベースラインは 0.21 から 0.38 の範囲でした。
• 証拠: 結果は、NDM が特定の値に依存せず、既知の回路における高レベルの「変数」（例：直前のトークンや主語の位置）と整合する部分空間を見出していることを示しています。

3. InversionView による定性的分析

InversionViewを用いて、著者は発見された部分空間の原像（類似した活性化にマップされる入力）を分析しました。

• 解釈可能性: 部分空間は、現在のトークン、直前のトークン、トークンの位置、および全体のトピックなど、文脈の明確で解釈可能な側面を符号化していることが判明しました。
• 一貫性: 部分空間の機能は異なる入力間で一貫していました（例：特定の部分空間が一貫して現在のトークンを符号化する）。これは、これらの部分空間がモデルにとって安定した「変数」として機能していることを示唆しています。

4. 大規模モデルへのスケーラビリティ

この手法は、知識の競合シナリオ（パラメトリック知識対文脈知識）を調査するために Qwen2.5-1.5B および Gemma-2-2B に適用されました。

• 知見: NDM は、パラメトリック知識のルーティングと文脈知識のルーティングを仲介する別々の部分空間を同定しました。パッチング実験により、一方のメカニズムを破り他方を intact に保つように設計された対照入力において、特定の部分空間が強い効果を持つことが示されました。
• 重要性: これは、既知の真実の回路を持たない大規模モデルであっても、NDM が意味のある分離可能な機能的構造を解明できることを示唆しています。

意義と主張

本論文は、NDM が教師なしで表現空間を解釈可能かつ入力に依存しない部分空間に分解することにより、モデル内部の理解に対する新たな視点を提供すると主張しています。

• 新たな基本単位: 著者は、これらの部分空間を部分空間回路のための基本単位として提案しています。入力依存である特徴回路とは異なり、部分空間回路は「変数」（特徴のグループ）上で動作し、モデルの重みを分析すること（例：アテンションヘッドがどの部分空間から読み書きするか）によって構築できます。
• 教師なし発見: この手法は、人間の仮説ではなくデータの統計的構造（相互排他性）に駆動されて、実世界のモデルに「自然な」分割が存在することを示しています。
• 限界: 著者は、現在の分割が十分に微細ではないこと（値のセットが小さい変数用の微小な部分空間が見逃されているなど）や、一部の部分空間の解釈が依然として困難であることを認めています。また、この手法は線形表現仮説に依存しており、最適化が局所最小値に陥ることがあると指摘しています。

結論として、本論文は、近傍距離最小化による教師なし分解が、ニューラルモデルの動作を支配する「変数」や回路を発見するための実現可能な道筋であり、機械的解析のためのスケーラブルかつ解釈可能な枠組みを提供すると論じています。