Tracking Equivalent Mechanistic Interpretations Across Neural Networks

この論文「Tracking Equivalent Mechanistic Interpretations Across Neural Networks（ニューラルネットワーク間での等価なメカニズム的解釈の追跡）」は、機械的解釈性（Mechanistic Interpretability: MI）の分野における重要な課題である「解釈の一般化と評価の難しさ」に対処するため、**「解釈的等価性（Interpretive Equivalence）」**という新しい概念と、それを推定するアルゴリズムを提案した研究です。

以下に、論文の技術的概要を問題定義、手法、主要な貢献、結果、意義の観点から詳細にまとめます。

---

1. 問題定義：機械的解釈性のスケーラビリティと一般化の課題

機械的解釈性（MI）は、ニューラルネットワークの決定プロセスを人間が理解できるアルゴリズム的プロセス（解釈）として記述することを目指します。しかし、以下の 2 つの根本的な課題により、そのスケーラビリティと一般化が阻害されています。

1. 解釈の正当性の定義の欠如: 何が「有効な解釈」であるかという厳密な定義が存在しない。
2. 解釈生成のアドホック性: 解釈を生成するプロセスが、多くの場合、手作業や試行錯誤に依存しており、体系的ではない。

特に、トップダウン（高レベルのアルゴリズムからモデルへの適合）とボトムアップ（モデル内の回路から解釈の割り当て）の両アプローチにおいて、高レベルのアルゴリズムと低レベルの回路の間に「多対多（many-to-many）」の関係が存在することが示されており（Méloux et al., 2025）、特定の解釈がモデルを完全に忠実に記述しているかを確認することが困難です。

本研究の目的:
モデルを明示的に解釈することなく、**「2 つの異なるモデルが、同じ高レベルのアルゴリズム（解釈）を実装しているかどうか」**を判定する問題（解釈的等価性の問題）を定義し、解決することです。

2. 手法：解釈的等価性の推定アルゴリズム

本研究は、**「2 つの解釈が等価であるための必要十分条件は、それらの実装（Implementations）が等価であること」**という原理を提唱しています。

2.1 核心的な原理

2 つの解釈 $A_1, A_2$ が等価であるとは、それらが実装されるすべてのモデルの集合（実装集合）が、ヒルベルト空間的な距離（ハウスドルフ距離）において互いに近接していることを意味します。

• 実装（Implementation）: ある解釈 $A$ を持つモデルの集合。これは、因果的介入（causal interventions）を用いて、モデルの機能に寄与しない成分を操作（追加、削除、変更）することで生成されるモデルのファミリーとして定義されます。
• 解釈的圧縮（Interpretive Compression）: 1 つの解釈に対して存在し得る実装の多様性（直径）の尺度。圧縮が高いほど、解釈は抽象度が高く、実装の多様性が大きいことを意味します。

2.2 アルゴリズム：Congruity（合同性）

モデル $h_1$ と $h_2$ が解釈的に等価かどうかを判定するアルゴリズム「Congruity」を提案しています。

1. 実装のサンプリング: 対象モデル $h_1, h_2$ に対して、機能に影響を与えない成分への因果的介入を行い、それぞれの実装集合から新しいモデル $h_1^\star, h_2^\star$ をサンプリングします（GetImpl）。
2. 表現の類似性測定: 各モデルの隠れ表現（Hidden Representations）を取得し、線形表現類似度（Linear Representation Similarity, $d_{repr}$）を計算します。
3. 判定ロジック:
   • $h_1$ と $h_1^\star$ の表現距離、および $h_2$ と $h_2^\star$ の表現距離を比較します。
   • もし $A_1$ と $A_2$ が等価であれば、$h_1$ と $h_2$ の表現距離は、それぞれの内部実装間の距離と統計的に区別できないはずです。
   • 具体的には、$d_{repr}(h_1, h_1^\star)$ と $d_{repr}(h_2, h_1^\star)$ の大小関係をサンプリング回数にわたって評価し、等価性を確率的に推定します（Algorithm 1）。

3. 理論的基盤と主要な結果

著者は、因果的抽象（Causal Abstraction）の理論を拡張し、解釈、回路（Circuit）、表現（Representation）を形式的に定義しました。

3.1 主要な理論的保証

• Main Result 1 & 2 (上下界の証明): 表現の類似度（$d_{repr}$）が解釈的等価性（$d_{interp}$）の必要十分条件であることを示す上下界を証明しました。
  • 表現が類似している場合、解釈的等価性の上限が保証されます。
  • 解釈が等価である場合、表現の類似度が下限として保証されます。
  • これらの結果は、モデルの「解釈」「回路」「表現」の 3 つを同時に結びつける最初の理論的保証です。
• Main Result 3: 提案されたアルゴリズム「Congruity」が、解釈的圧縮と解釈的等価性を正しく推定することを示しました。

3.2 理論的洞察

• 解釈の非識別性（Non-identifiability）の克服: 単一の回路に対して複数の解釈が存在しうる問題に対し、個々の回路ではなく「実装のファミリー」を比較することで、この曖昧さを回避します。
• 抽象度への依存: 解釈は特定の計算抽象レベルに依存しており、抽象レベルを変えると解釈も変わるため、等価性の定義には抽象レベルの整合性が不可欠であると論じています。

4. 実験結果

提案手法を、合成タスクと事前学習済み言語モデル（GPT-2, Pythia）に適用し、有効性を検証しました。

4.1 合成タスク（n-Permutation Detection）

• 設定: 6 つの異なるアルゴリズム的解釈（ソートベース、カウントベースなど）を持つトランスフォーマーを RASP 言語でハードコーディングし、それぞれ 100 個の実装バリエーションを生成しました。
• 結果: 同一の解釈を持つモデル間では「Congruity」値が高く、異なる解釈間では低い値を示しました。これにより、アルゴリズムが既知の環境下で、表現の類似性を通じて解釈を正確に区別できることが実証されました。

4.2 複雑なモデルへの適用（Indirect Object Identification: IOI）

• 設定: GPT-2 と Pythia のさまざまなサイズ（85M〜2.9B パラメータ）における IOI タスクの回路を分析。
• 結果:
  • 同一モデルファミリー内（例：Pythia-160M と Pythia-2.8B）では、サイズが異なっても高い Congruity を示し、解釈が等価であることを確認しました。
  • 異なるモデルファミリー間（Pythia と GPT-2）では Congruity が低く、異なる回路構造を持つことが示されました。
  • これにより、大規模モデルの解釈を、等価な小規模モデルの解釈に還元（Reduce）できる可能性が示唆されました。

4.3 複雑なタスクから単純なタスクへの還元

• 設定: 次のトークン予測（Next-token prediction）と、品詞識別（POS）タスクの比較。
• 結果: 文法的なトークン（終端の句読点など）の予測は、POS 識別と高い Congruity を示しましたが、意味論に依存するトークン（冠詞など）では示しませんでした。これは、複雑なタスクの一部が、より単純な構文タスクと解釈的に等価であることを示唆しています。

5. 意義と貢献

1. 解釈評価の厳密化: 従来の MI が抱えていた「解釈が正しいかどうかの検証」の難しさを、モデルの「表現の類似性」という測定可能な指標に置き換えることで、より客観的で自動化可能な評価手法の基盤を提供しました。
2. 解釈の一般化と還元: 大規模モデルの解釈を小規模モデルへ、複雑なタスクを単純なタスクへ還元する手法（Reduction）を可能にします。これにより、計算コストのかかる大規模モデルの解釈分析が不要になる可能性があります。
3. 理論と実践の統合: 因果的抽象の理論を MI に適用し、解釈、回路、表現を統一的に扱う数学的枠組みを構築しました。これは、AI の安全性や信頼性を高めるためのメカニズム的理解を深める上で重要なステップです。
4. 自動化の可能性: 明示的な解釈の記述を必要とせずに、モデル間の機能的等価性を検出できるため、将来的な「自動的かつ一般化可能な解釈発見手法」の開発への道を開きます。

結論

この論文は、機械的解釈性の分野において、モデルの「中身（回路）」を直接解析するのではなく、その「振る舞いの集合（実装）」と「表現の幾何学的構造」を比較することで、解釈の等価性を定量的に評価する新しいパラダイムを提案しました。理論的な保証と実験的な検証の両面から、このアプローチが MI のスケーラビリティと一般化の課題に対する有力な解決策となり得ることを示しています。