テクニカル・サマリー：「Everything, Everywhere, All at Once：メカニスティックな解釈可能性は識別可能か？」

問題提起

AIシステムが高リスクなアプリケーションに導入されるにつれ、その解釈可能性を確保することが極めて重要になっています。メカニスティックな解釈可能性（Mechanistic Interpretability; MI）は、ニューラルネットワークの中に埋め込まれた人間が理解可能なアルゴリズム（計算抽象化）を抽出することで、ネットワークをリバースエンジニアリングすることを目的としています。計算抽象化は、「何が（what）」（説明的なアルゴリズム）と、「どこで（where）」（そのアルゴリズムが実装されているネットワーク内の特定のサブグラフまたは回路）という2つの要素で構成されます。

MIの手法は、モデルの振る舞いに対して一意で正しい説明が存在するという**「説明の一意性（explanatory unicity）」という暗黙の仮定の下で動作することが多いですが、本論文は、この前提を体系的に疑問視しています。統計学における「識別可能性（identifiability）」**（特定の仮定の下で、データからパラメータが一意に推論されること）の概念を引き合いに出し、著者らは次のように問いかけています。「MIが設定した基準の下で、固定された振る舞いに対する説明が、一意であることが保証されるのか？」

本論文では、MIの説明を生成するための2つの主要な戦略を調査しています：

1. Where-then-what（「どこ」から「何」へ）： ネットワークのサブセット（回路）を検出し、その構成要素の解釈を導出する。
2. What-then-where（「何」から「どこ」へ）： 候補となる説明的アルゴリズムから出発し、それらのアルゴリズムが因果的に整合するネットワーク内の活性化部分空間を探索する。

核心となる問題は、これらの戦略が、それぞれの妥当性基準（回路誤差および因果的整合性）の下で、単一の一意な説明をもたらすのか、あるいは、同じ基準を満たす複数の互いに矛盾する説明が存在し得るのか、という点です。

手法

著者らは、大規模なモデルでは不可能な「全探索（exhaustive enumeration）」を可能にする、制御された小規模な設定を用いて、MIの識別可能性のストレス・テストを実施しています。

実験設定

• タスク： ブール関数（具体的にはXOR関数および論理ゲートの組み合わせ）を実装するように訓練された多層パーセプトロン（MLP）の学習。
• アーキテクチャ： 入力サイズ2、隠れ層サイズ $k$、出力サイズ $n$ の小さなMLPを用い、バイナリ入力にガウスノイズを加えて低損失閾値に達するまで訓練。
• 全探索：
  • 「Where-then-what」の場合： ネットワークのあらゆる可能なサブグラフ（回路）を列挙する。各回路を検証データでテストし、「完璧な回路（perfect circuits）」（回路誤差ゼロ）を特定する。各完璧な回路に対し、整合性（マッピングが計算と可換であること）を満たす、ニューロンの活性化から論理ゲート（AND, OR, NOT）へのすべての有効なマッピング（解釈）を再帰的に探索する。
  • 「What-then-where」の場合： ターゲット関数を実装する候補となるブール・アルゴリズム（構文木）を列挙する。その後、**介入交換精度（Intervention Interchange Accuracy; IIA）**によって測定される、アルゴリズムと因果的に完全に整合するニューロンのサブセットとマッピングのすべての組み合わせを探索する。IIAが1であることは、アルゴリズムへの反事実的な介入が、ネットワークの内部状態に対して同一の効果を生むことを示す。

識別可能性の定義

本論文では、現在のMIの基準が2つの互いに矛盾する説明を区別できない場合、その説明は**「非識別的（non-identifiable）」**であると定義しています。不整合は以下の場合に発生します：

1. 2つの説明が、同じ振る舞いに対して異なるアルゴリズムを提示している場合。
2. 同じアルゴリズムが、ネットワーク内の異なる部分空間に埋め込まれている場合。

主な結果

実験の結果、すべての段階において非識別性を示す圧倒的な証拠が得られました。

1. 非一意な回路（Where）： 複数の異なる回路が、モデルの振る舞いを完璧に再現（回路誤差ゼロ）できます。XORの例では、85個のユニークな完璧な回路が見つかりました。
2. 非一意な解釈（What）： 単一の有効な回路に対して、複数の有効な解釈（ニューロンから論理ゲートへのマッピング）が存在します。XORの例では、1つの回路あたり平均535.8個の解釈が見つかりました。
3. 非一意なアルゴリズム（What）： いくつかの異なるアルゴリズムが、ニューラル計算と完全に因果的に整合（IIA = 1）します。XORに対して2つの候補アルゴリズムのみをテストした場合でも、両方が完璧な実装を持つことが判明しました。
4. 非一意な局在化（Where）： 単一の因果的に整合したアルゴリズムに対して、複数の異なる部分空間が等しく整合（IIA = 1）します。XORの例では、わずか2つの候補アルゴリズムに対して、159個の完璧な最小マッピングが特定されました。

定量的知見：

• ネットワークサイズ（$k$）が増加するにつれ、有効な計算抽象化の数は指数関数的に増加します（回路優先のアプローチでは、中央値が38から910,000へと増加）。
• 学習済みネットワークのうち、正確に1つの有効な最小マッピングを含むものは2%未満であり、唯一の回路解釈を持つネットワークは存在しませんでした。
• タスクの複雑さを増大させる（複数の論理ゲートを同時に学習させる）と、解釈の数は減少しましたが、非識別性は解消されませんでした。

主な貢献

1. MIにおける識別可能性の定式化： 本論文は、統計学の概念を応用して、固定された妥当性基準の下での説明の一意性を定義することにより、「説明の識別可能性」という概念をメカニスティックな解釈可能性の分野に導入しました。
2. 体系的なストレス・テスト： 全探索を可能にする小規模モデルを用いることで、現在のMIの基準（回路誤差およびIIA）が、一意な説明を保証しないことを示す初の厳密な経験的実証を行いました。
3. 戦略の分類： 「Where-then-what」と「What-then-where」の両方の戦略を明確に区別し、両者が非識別性の問題を抱えていることを示しました。
4. 不整合の経験的証拠： 訓練された単一のモデルが、標準的な基準をすべて満たしながらも、互いに矛盾する数十万もの計算抽象化をサポートし得ることを示しました。

意義と主張

著者らは、本研究の目的は、AIの説明に関する期待を定式化しようとする継続的な取り組みに対して建設的に貢献することであると述べています。本論文は、MIが役に立たないと主張しているのではなく、むしろ分野内でしばしば想定されている「一意性の直感」に異を唱えるものです。

• 実用的な立場： もし目的が予測や操作可能性であるならば、一意性は必ずしも必要ではなく、複数の有効な説明を受け入れる実用的な立場を取ることができると示唆しています。
• 厳格な立場： もし一意性が真の「理解」を提供するために不可欠であると考えるならば、現在の基準は不十分であり、より制限の強い基準（あるいは複数の補完的な検証を求める「内部解釈可能性」の枠組み）が必要であると論じています。
• 今後の方向性： 本研究は、単一の「真の」メカニズムが存在し、それが現在の手法で容易に発見できるという仮定を超えて、AIにおける説明とは何かという厳密な定義の必要性を強調しています。

結論として、現在のメカニスティックな解釈可能性の状況は、根本的な識別可能性の問題に直面しています。追加の制約や基準がなければ、導き出された説明が、モデルの振る舞いを支配する唯一かつ正しいメカニズムであることを保証することはできないのです。