技術的サマリー：言語モデル回路の一貫性と特異性の測定

問題定義

機械的解釈可能性の分野は、「回路」を同定することによりニューラルネットワークを逆設計することを目的としている。ここでいう回路とは、特定の振る舞いに対して因果的に責任を負うモデルコンポーネント（通常はアテンションヘッドとMLP層）の疎な部分グラフである。既存の研究は、これらの回路を抽出し、その必要性（回路を除去すると性能が低下する）と十分性（回路のみで振る舞いを再現できる）を評価する方法を確立してきたが、一貫性と特異性という2つの重要な特性は未だ十分に探求されていない。

• 一貫性: 回路がタスクに対するモデルのアルゴリズムを真に捉えているならば、そのタスクの異なる入力インスタンス間でも同じコンポーネントが繰り返し現れるはずである。一貫性がなければ、回路は汎用可能なメカニズムではなく、特定の入力に起因するアーティファクトである可能性がある。
• 特異性: 特定のタスクの回路は、無関係なタスクの回路と意味的に明確に区別されなければならない。特異性がなければ、回路はタスク固有の振る舞いを理解したり介入したりするために使用できず、単に汎用モデルインフラを反映しているに過ぎない可能性がある。

本論文は、アテンションヘッドおよびMLP層のレベルで発見された回路が、多様なタスクおよびモデルファミリーにおいてこれらの特性を示すかどうかを調査する。

手法

実験設定

著者らは、アルゴリズム的推論（加算、ブール論理）、情報検索（間接目的語同定 [IOI]、CopyColors MCQA）、知識集約的ベンチマーク（ARC Easy、ARC Challenge）にまたがる6つのタスクを評価した。これらは、Gemma 2（2B、2B IT）、Llama 3.2（3B、3B Instruct）、Qwen3（4B、8B）、およびOLMo-2（1B、事前学習ダイナミクスに使用）という4つのアーキテクチャファミリーに属する7つのモデルでテストされた。

回路の抽出

本研究では、例ごとの回路を抽出するために**エッジ帰属パッチング（EAP）**を利用した。EAPは勾配情報を用いて因果効果を近似し、絶対的な帰属スコアに基づいてコンポーネントをランク付けする。各タスクについて、$n=1000$の例に対して回路を抽出し、回路サイズ（$K$）を上位コンポーネントの1%から30%まで掃引した。

評価指標

1. 一貫性（再利用）: 著者らは、例ごとの回路の少なくとも割合$P$で出現するコンポーネントを含む「共有コンポーネント集合」（$S_P$）を定義した。そして、この共有集合によってカバーされる例ごとの回路の割合であるreuse@Pを測定した。
2. 必要性: 共有コンポーネントが因果的に重要であることを確認するため、著者らは共有集合$S_P$に対してアブレーション（活性化をゼロ化）を行った。その際の精度低下を、同じサイズのランダムなコンポーネント部分集合をアブレーションした**容量保存コントロール（C3）**と比較した。正の必要性スコアは、単なる容量の減少を超えて共有集合が機能的に不可欠であることを示す。
3. 特異性（タスク間重なり）:
   • タスク間アブレーション: 著者らはタスクAの共有回路をアブレーションし、タスクBにおける性能を測定した。回路が特異的であれば、タスクAの回路をアブレーションすることは、タスクBの回路をアブレーションする場合と比較して、タスクAに対してはるかに大きな悪影響を与えるはずである。
   • 分解: 2つのタスクのペアについて、回路を3つの互いに排他的な集合に分割した。共有コア（$C_A \cap C_B$）、タスク固有（$C_A \setminus C_B$）、および相補的（$C_B \setminus C_A$）である。各集合を独立してアブレーションし、ターゲットタスクおよび他のタスクに対する因果的影響を測定した。

主要な結果

1. 回路はタスク内で一貫している

すべてのモデルおよびタスクにおいて、例ごとの回路の相当な部分が、共有コンポーネント集合から引き出されている。

• 高い再利用率: $K=10\%$において、ほとんどのタスク・モデル組み合わせで再利用率は40%から70%の範囲であった。例えば、LlamaおよびQwenモデルでは、任意の個々の例の回路の約半分、あるいはそれ以上が、ほぼすべての例で共有されるコンポーネントで構成されていた。
• 因果的重要性: これらの共有コンポーネントをアブレーションすると、容量を一致させたランダムな集合をアブレーションした場合に比べて、有意に大きな精度低下を引き起こした。例えば、加算タスクにおいて、共有集合を除去すると、ランダムなコントロールと比較して0.8〜1.0の追加的な精度低下が生じ、これらのコンポーネントが機能的に不可欠であることを確認した。
• 学習ダイナミクス: OLMo-2-1Bにおいて、一貫性は事前学習の初期段階で出現し（約76Bトークンでピークに達したが）、後期の段階では劣化した。しかし、必要性（因果的重要性）は、ベースライン精度が向上するアニーリング段階においてのみ明確に測定可能となった。

2. 回路はタスク間で特異的ではない

異なるタスクが異なるメカニズムに依存するという期待に反し、本研究は無関係なタスク間の回路に広範な重なりがあることを発見した。

• 区別できない性能低下: タスクAの回路をアブレーションしてタスクBを評価した場合、性能低下はタスクB自身の回路をアブレーションした場合と同等であった。例えば、Llama-3.2-3Bにおいて、加算回路を除去すると加算で99%の低下が生じ、他のタスクの回路を除去しても加算で平均99%の低下が生じた。
• 高い重なり: $K=10\%$において、タスクペア間の回路のジャカード重なりは0.46から0.89の範囲であり、ランダムな回路で期待される約5%を大幅に上回った。この重なりは主にMLP層によって駆動されており、これらは小さな回路（$K \le 10\%$）を支配し、共有コアの大部分を構成していた。
• タスク固有のコンポーネントは存在するが微小である: 15〜30%（$K=10\%$時）の回路を占める少数のタスク固有コンポーネントが特定されたが、それらを除去しても、共有コアを除去することによる莫大な影響と比較すると、追加的なダメージはわずかに留まった。共有コアが性能への影響の大部分を占めていた。

3. 構成と粒度

• MLPの支配性: 小さな回路サイズにおいて、回路はほぼ完全にMLP層で構成されている（例：Gemma 2 2B-ITでは$K \le 10\%$で95〜100%）。アテンションヘッドは回路サイズが増大する（$K \ge 20\%$）につれてのみより一般的になる。
• 層分布: LlamaおよびQwenファミリーでは、小さな回路は初期層に集中する傾向があったが、Gemmaモデルではよりタスク依存の変動が見られた。

意義と主張

本論文は、アテンションヘッドおよびMLP層の粒度において、回路発見はどのコンポーネントが重要か（一貫性）を特定する効果があるが、モデルが他のタスクとは区別される特定のタスクをどのように実行するか（特異性）を分離するには失敗すると主張する。

• 汎用インフラ対タスクメカニズム: 発見された回路は、主にタスク固有のアルゴリズムではなく、汎用モデルインフラ（特に共有MLP層）を特定していることを示唆している。高い重なりは、これらの層がすべての下流タスクが依存する基礎的操作（例：パラメトリック知識の保存、トークンのマッピング）を実行しているという事実によって説明される。
• 解釈可能性への示唆: 特異性の欠如は、標的とした理解や介入に対する現在の回路発見手法の有効性について疑問を投げかける。もしタスクAの「回路」がタスクBの回路とほぼ同一であるならば、それを特定することはタスクAにおける特定の振る舞いよりも、モデルの一般的な機能について多くを明らかにすることになる。
• 将来の方向性: 著者らは、タスク固有の構造を回復するためには以下のことが必要であると提案している:
  1. より細かな分析単位: 多義的コンポーネントを解離させるために、MLP層を超えて疎な特徴回路（例：疎なオートエンコーダを使用）へと移行する。
  2. 対照的帰属: 絶対的な値ではなく、他のタスクに対する相対的に高い帰属を持つコンポーネントを特定する。

本論文は、回路の共有コアは（汎用化やコンテキスト内学習を駆動する可能性のある）意味のある研究対象ではあるが、コンポーネントレベルにおけるタスクレベルのモジュール性という仮説は、現在の証拠によってほとんど支持されていないと結論づけている。