Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

技術要約：内在的構造：メカニスティックな解釈可能性のためのスペクトル識別可能性

問題提起
メカニスティックな解釈可能性（MI）は、内部回路を特定することによってニューラルネットワークの振る舞いを説明することを目指している。しかし、根本的なギャップが存在する。現在の手法（Sparse Autoencoders: SAEなど）は、異なる訓練シードや辞書の幅によって、同一の活性化から実質的に異なる特徴が回収されるという、実行ごとの変動性に苦しんでいる。発見された構造が、座標系や特定のリカバリアルゴリズムに依存しない、モデル自体の内在的な特性であるという理論的保証は存在しない。本論文は、**識別可能性（identifiability）**という問いに取り組む。すなわち、座標系や特定の発見手順に依存せず、モデル自体によって一意に決定されるメカニスティックなプリミティブを定義できるか、という問いである。

手法
著者らは、トランスフォーマーのフォワードパスを、深さを時間と見なした**制御された動的システム（controlled dynamical system）**として再定式化する。

1. 動的システムの定式化: 層 $\ell$ における残差ストリームの状態を $x_\ell$、外生的な制御入力（アテンションによる書き込み）を $u_\ell$ とする。層の更新は $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$ としてモデル化される。ここで $m$ はMLPサブレイヤーを表す。
2. Koopman Lifting: 非線形ダイナミクス $F$ は、観測関数 $\Psi$ の空間上で作用する線形演算子 $\mathcal{K}$ へとリフトされる。もし辞書のスパン $\mathcal{H}_N$ がK不変（K-invariant）（ダイナミクスの下で閉じている）であれば、演算子は有限次元の行列 $A$ に制限される。
3. Koopman 実現化: システムは、三重項 $(A, B, C)$ として表現される。ここで $A$ は遷移行列、$B$ は制御応答を符号化し、$C$ はリードアウト（読み出し）を表す。スペクトル $\sigma(A)$（固有値）が、座標系に依存しない内在的な対象として提案される。
4. 推定: 著者らは、キャリブレーションデータ（残差状態とアテンションの書き込み）から $(A, B)$ を推定するために、**制御付き拡張動的モード分解（EDMDc）**を使用する。
5. 理論的枠組み: 辞書の豊かさ、持続的な励起、スペクトルの分離といった、スペクトルが回収可能となる条件を本論文では確立している。

主要な貢献

• スペクトル識別可能性定理 (Theorem 6.1): 本論文は、Koopman実現化のスペクトルが、$M$ 個のキャリブレーションサンプルから、置換を除いてパラメトリックな速度 $M^{-1/2}$ で識別可能であることを証明している。
  • 固有値は置換を除いて一意であり、任意の辞書基底の変化に対して不変である。
  • 一致するミニマックス下界（minimax lower bound）（Theorem 7.1）により、いかなる推定器も $M$ に関してこれ以上の速度を達成できないことが確認されている。
  • 最適マッチング（Wasserstein-$\infty$）を用いたギャップフリー固有値保証（Theorem 6.8）が導出されており、固有値回収のために厳密なスペクトル分離を必要としない。ただし、固有ベクトル回収には分離が必要である。
• 重い裾（Heavy Tails）への頑健性 (Theorem 7.2): 著者らは、**中央値の平均（median-of-means）**推定器を用いて、ヘビーテイルを持つ活性化への識別可能性の保証を拡張し、第四モーメント条件下でも $M^{-1/2}$ の速度が保持されることを示している。
• モードと主成分の解離 (Theorem 8.1): 本論文は、構造的な解離を証明している。実現化が非正規（non-normal）である場合（これは経験的な測定でも確認されている）、活性化の主方向（分散を最大化するもの）は、Koopmanモード（ダイナミクスを担うもの）と一致し得ない。これは、「識別可能な対象」（スペクトル）と「判読可能な対象」（主成分）が別物であることを意味する。
• 介入計算の代数的な完全性 (Theorem 9.2): $A$ のスペクトル射影は可換代数を生成し、これは一次介入（活性化パッチング、パスパッチングなど）に対して完全であり、リフトされたダイナミクスに対するあらゆる介入に対して一意の閉じた形式の代表量を提供する。
• SAEの変動の構造的起源 (Theorem 9.5): 本論文は、SAEの実行ごとの変動が、K不変性（DR2）を強制することに失敗しているという、その目的関数の構造的な帰結であることを示している。解決策として、明示的な**不変性ペナルティ（invariance penalty）**が提案されている。
• インスタンス依存の次元削減 (Theorem 10.1): アテンションの書き込みの有効ランクの低さを利用した、認証済みのモデル削減境界が導出されている。これは、トランスフォーマーの領域において、古典的な Enns–Glover 境界よりも厳密に鋭い誤差証明を提供する。

実験結果
理論は、3つの学習済みトランスフォーマー（GPT-2 small, Gemma-2-2B, Qwen3-8B-Base）を用いて評価された。

• 収束性: スペクトルの距離は、$M$ の増加に伴って、分割された半分の推定値間で収束する。Qwen3-8B-Base において、スペクトル辞書は予測された指数 $-0.506 \pm 0.031$ を達成し、理論的な $M^{-1/2}$ の速度と一致した。
• SAE 不変性ギャップ: SAE 辞書は、スペクトル辞書やランダムな辞書と比較して、有意に大きな投影残差（不変性の違反）を示した。これは Theorem 9.5 を裏付けるものであり、このギャップは特徴選択ルール（分散 vs 周波数など）に敏感であることが示された。
• 介入性能: 間接目的語識別（IOI）回路のテストにおいて、Koopman モードはランダムな方向よりも優れた性能を示したが、回路の振る舞いをアブレーション（除去）する能力においては PCA（主成分分析）に劣った。この性能差は、深さの距離が増すにつれて $4.1$ 倍減衰し、これは解離定理と一致している。
• 普遍性基準: モデル間の普遍性を判定するスペクトルテストは、同一アーキテクチャのシード複製間を区別できなかった。これは、辞書の不一致バイアス（単なるサンプリング誤差ではない）が現在の普遍性の主張を制限していることを示唆している。
• 重い裾: 予想に反して、「リフティング」プロセス（ランダム・フーリエ特徴）は残差ストリームの重い裾を効果的に除去しており、特定の辞書（Qwen3 の特定の層を除く）については、ロバストな中央値の平均推定器は不要であった。

意義と主張
本論文は、メカニスティックな解釈可能性を厳密な識別可能性の基盤の上に置くことを主張している。

1. 内在的な指紋: Koopman スペクトルは、発見手法のアーティファクト（人工物）とは異なる、内在的かつモデル固有の指紋である。それは誤差範囲とともに回収可能である。
2. 判読性の限界: 本論文は、識別可能性は判読可能性を意味しないと明示的に主張している。トランスフォーマーの実現化は非正規であるため、数学的に識別可能なモード（Koopman スペクトル）は、人間がしばしば判読可能だと感じる分散ベースの方向（PCA）とは構造的に異なる。
3. 構造的 vs アルゴリズム的: SAE で観察される変動は、チューニングの問題ではなく、ダイナミカルな不変性を強制するための目的関数の構造的な失敗である。
4. 安全性への影響: 行動 $X$ を引き起こすメカニズム $Y$ の特定を必要とする安全性議論において、本研究は、$Y$ が手順ではなくモデルの特性であるという証明書を提供する。しかし、この証明書は、行動の網羅性や人間の判読性を保証するものではないことにも注意を促している。

著者らは、Koopman スペクトルはトランスフォーマーの深さのダイナミクスに対して数学的に健全な識別可能な分解を提供するものの、人間が判読可能な回路発見の直接的な代替物ではなく、両者（識別可能なものと判読可能なもの）は非正規領域にあるモデルにおいて根本的に異なるものであると結論づけている。