技術的サマリー：すべての回路はローマに通ず

問題提起

本論文は、機械的解釈性分野における中心的かつ大半が暗黙の前提である「機能異方性仮説」に挑戦する。この仮説は、大規模言語モデル（LLM）内の特定の能力やタスクが、単一の、固有の、またはほぼ固有の内部メカニズム（特定の回路または層）によって支えられていると主張する。この見方によれば、モデルの機能は異方的に分布していると仮定され、すなわち各能力は一つの特権的な部分グラフに対応するとされる。

著者らは、この仮説が回路および層発見（CSD）における支配的な評価パラダイムの基盤をなしていると論じる。そこでは、成功は「真実の」回路を回復すること、またはタスク性能を維持する最小限のメカニズムを見つけることによって測定される。本論文は、これらの手法が実際に固有の基盤メカニズムを特定しているのか、それとも単に多数の可能な実現例の一つを特定しているだけなのかを疑問視する。

手法

競合するメカニズムの存在を体系的に調査するために、著者らは「オーバーラップ感知層反発（OASR）」を導入する。

1. 層発見フレームワーク: この研究は、層発見を微分可能なエッジ選択問題として定式化する「DiscoGP」フレームワークに基づいている。層とは、計算に因果的に寄与し、標準的な回路（パッチングされた活性化に依存する可能性がある）とは異なり、タスク性能を独立して維持できる部分グラフとして定義される。
2. OASR メカニズム: 標準的な発見手法は、ランダムな初期化や最適化の地形により、しばしば類似した解に収束する。OASR は、明示的な「オーバーラップ損失（$L_{overlap}$）」を目的関数に追加することで、目的関数を修正する。
   • 初期の層 $R$ を発見した後、この手法は $R$ 内で既に選択されたエッジの期待活性化に対してペナルティを課す。
   • 組み合わせ目的関数は以下の通りである：$L = L_{fidelity} + \lambda_s L_{sparsity} + \lambda_c L_{complete} + \lambda_o L_{overlap}(R)$。
   • この「反発」は、最適化器に対して、タスクに対して忠実であるが、以前に発見されたものとは構造的に異なる（交差和比、IoU を最小化する）代替の層を見つけるよう強制する。
3. 実験範囲: 著者らは OASR を複数のベンチマークタスク（間接的対象識別 [IOI]、BLiMP、AGA、ANA、DNA 変種、Docstring）およびモデル（GPT-2 Small および Pythia-160M）に適用する。また、ACDC（ヒューリスティック）、EAP（勾配ベースの帰属）、およびエッジ剪定（EP）を含む他の CSD 手法においても、その発見を検証する。

主要な結果

1. 機能的に同等で低オーバーラップの層の存在

主要な実証的発見は、単一の LLM タスクが、構造的に異なる複数の層によって忠実に実行され得るというものである。

• IOI ケーススタディ: OASR を用いて、著者らは IOI タスクに対して 2 つの層を発見し、両方とも 100% の精度を達成した。しかし、それらの構造的オーバーラップ（IoU）はわずか**4.1%**であり、ランダムな確率に近い値であった。
• 一般化: この現象は、テストされたすべてのベンチマークで成り立つ。すべてのタスクにおいて、高い性能を持つが非常に低い IoU（通常 4〜11%）を持つ層のペアが発見された。
• スケーリング効果: 発見された層の数が増加するにつれて（最大 20 回の実行まで）、エッジ間の相互交差は劇的に縮小し（しばしば 1% 未満の IoU まで）、エッジの和集合は増大する。これは、有効なメカニズムの空間が広大であり、単一の核心に収束しないことを示している。

2. 手法を超えた持続性

機能異方性の崩壊は、OASR 手法や DiscoGP 単独の人工物ではない。

• ACDC: 注意ヘッドの探索順序（非意味的な順序選択）を変化させることで、同じ閾値を使用しているにもかかわらず、IoU が低い著しく異なる回路が生じた。
• EAP: タスクと無関係な情報を変更すること（例：IOI プロンプト内の名前の入れ替え）は、体系的に異なる回路をもたらした。これは、帰属ベースの手法の安定性に疑問を投げかける。
• エッジ剪定: タスク固有の損失関数を使用する場合、EP も DiscoGP と同様に、発見された回路において高い多様性を示した。

3. 不可欠なコンポーネントの欠如

著者らは、異方性仮説の「弱体化された」バージョンをテストした。すなわち、複数の層が存在するとしても、それらは不可欠なエッジの小さな「核心」を共有するかもしれないというものである。

• 超疎な層: 彼らは、単独で 86.7% の精度を達成する、超疎な3 辺の層を IOI に対して特定した。
• 非不可欠性: しかし、タスクを分解した場合（例：ABBA テンプレートと BABA テンプレートを分離）またはこれら 3 辺を明示的に禁止した場合でも、発見プロセスは他の疎で高性能な層を見つけた。
• 結論: 機能的に有効なメカニズムのすべてに対して、単一のエッジ（あるいは 3 辺の核心さえも）が厳密に不可欠であるわけではない。核心的な「不可欠性」の apparent（見かけ上の）性質は、タスクを集約された全体として扱った場合にのみ生じる。

4. 理論的解析

本論文は、これらの発見を説明するために「分配高密度回路仮説」を提案する。

• 理論的証明: 緩やかな仮定（残差の加法性と局所線形性）の下で、著者らは、同じタスクに対して $\epsilon$-忠実な、構造的に異なり、低オーバーラップの複数の回路の存在を証明する。
• メカニズム: 高次元空間において、可能なエッジ部分集合の数は組み合わせ的に増大する。線形重ね合わせにより、異なるエッジ部分集合がほぼ同一の読み出しベクトルを生み出すことができる（部分集合和の衝突）。タスクの決定が有限のマージンによって保護されている場合、これらの構造的な違いは最終的な予測に影響を与えず、複数の有効な説明を可能にする。

意義と主張

本論文は、CSD を一つの分野として無効化すると主張するものではなく、むしろ CSD の結果をどのように解釈し評価すべきかについて根本的な再考を呼びかけるものである。

• 唯一性の拒絶: 結果は、LLM における機械的説明が本質的に非標準的であることを示唆する。発見された回路または層は、機能的に同等なメカニズムの空間における多数の有効な実現例の一つを代表するものであり、タスクを裏付ける「唯一の」メカニズムではない。
• 評価への批判: 「真実の」または「最小の」固有回路を求める現在の評価パラダイムは、誤った仮定に基づいている。本論文は、単一の疎で不可欠な部分グラフの探索は、観察された実証的な非唯一性を説明するには不十分であると論じる。
• 分散された視点: 著者らは、タスクの振る舞いが、競合し部分的に冗長なメカニズムの高密度な領域から現れるという分散された計算の視点を提唱する。
• 含意: これは「不可欠な」コンポーネントという概念に挑戦し、LLM における冗長性は、アブレーション時のみ活性化される潜在的なバックアップシステムではなく、通常のモデル動作の基本的な特徴であることを示唆する。

要約すると、本論文は「すべての回路はローマに通ず」という実証的証拠と理論的根拠の両方を提供する。すなわち、複数の構造的に異なる経路が、LLM において同じ機能的振る舞いを支えることができ、かつ実際に支えているという事実である。これは機能異方性の仮説を根底から覆すものである。