Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?

巨大で複雑な機械（巨大な言語モデルのようなもの）を想像してください。この機械は物語を書いたり、数学の問題を解いたり、質問に答えたりすることができます。科学者たちは、この機械が特定のタスクを実行させるための、内部にある特定の「歯車やレバー」を見つけ出す方法を見出しました。これは**回路の局在化（localizing the circuit）**と呼ばれます。

しかし、単に歯車を見つけるだけでは不十分です。私たちは、それぞれの歯車が具体的に何をしているのか、あるいはどのように連携して動いているのかを、まだ正確には理解していません。通常、人間の専門家が機械を何時間も凝視し、部品の役割を推測し、その推測をテストし、そしてやり直すという作業を行う必要があります。これは時間がかかり、退屈で、スケールさせるのが困難な作業です。

この論文はこう問いかけています：「ロボット探偵（言語モデル・エージェント）を雇って、私たちの代わりにこの探偵業務を行わせることはできるだろうか？」

以下に、彼らの実験の構成を、簡単な比喩を用いて解説します。

1. 問題点：「ブラックボックス」の謎

言語モデルを、巨大で鍵のかかった金庫だと考えてください。科学者たちはすでに、その金庫を開けるための特定のツマミ（「回路」）を見つけ出す特別なツールを使用しました。しかし、個々のツマミが何をしているのかは分かっていません。

• 従来の方法： 人間の探偵が、「たぶんこのツマミが鍵を回しているのではないか？」と推測します。彼らはそれをテストします。もし失敗すれば、また別の推測をします。これには長い時間がかかります。
• 新しいアイデア： AI探偵に、思考し、自らの理論をテストするためのコードを書き、そして自分の間違いを修正できる能力を与え、この仕事を任せられないでしょうか？

2. トレーニングの場：「おもちゃの金庫」

AI探偵が機能するかどうかをテストするために、研究者たちは本物の、混沌とした金庫（現実世界の言語モデル）を使うことはできませんでした。なぜなら、正解を確認するための「正しい答え」が分からないからです。

代わりに、彼らは84個の「おもちゃの金庫」（AGENTICINTERPBENCHと呼ばれるもの）を作成しました。

• これらは、ゼロから構築された小さな人工的な機械です。
• 研究者たちは、単純な一連の指示（レシピのようなもの）に基づいてこれらを作ったため、仕組みを完全に把握しています。
• 彼らは、すべての歯車が本来何をすべきかを正確に知っています。これにより、AI探偵を採点することが可能になります。「君の推測は合っていたか？」という具合に。

3. 探偵：HYVE（「仮説・検証・説明」のループ）

研究者たちは、HYVEという名前のAIエージェントを作成しました。HYVEは単に推測するだけではありません。機械内のあらゆる歯車に対して、厳格な探偵のルーチンに従います。

1. 観察（Observe）： HYVEは歯車を観察します。「ふむ、入力が『x』のとき、この歯車は明るい赤色に光る。入力が『y』のときは暗いままだ。」
2. 仮説（Hypothesize）： HYVEは推測を立てます。「これは、『x』のときだけオンになる『赤色ライト検出器』ではないだろうか。」
3. 検証（Validate - テスト）： これが最も重要な部分です。HYVEは、自分の推測をテストするためのコンピュータプログラムを記述します。例えば、「入力が『x』のときでも、この歯車を強制的に暗い状態に保ってみて、機械が壊れるかどうかを見てみよう」といった具合です。
   • もし機械が予測通りに壊れたなら、その推測は確定されました。
   • もし機械が正常に動き続けたなら、その推測は間違いです。HYVEはステップ2に戻り、新しい推測を試さなければなりません。
4. 説明（Explain）： すべての歯車のテストが終わると、HYVEは要約を記述します。「この機械は、文章の中に『x』がいくつ現れるかを数える『分数計算機』である。」

4. 結果：探偵は優秀だが、完璧ではない

研究者たちは、どの大規模言語モデルが最高の探偵になるかを確認するために、4つの異なる「脳」（異なる大規模言語モデル）を用いてHYVEをテストしました。

• 成功： AIエージェントは驚くほど優秀でした！彼らは歯車の役割を79%の確率で正しく特定でき、タスク全体についても83%の確率で正しく記述できました。
• ボトルネック： AIは、最初の推測（仮説）を作ることは得意でした。問題は検証フェーズで発生しました。
  • 時には、AIが作成したテスト計画が曖昧すぎることがありました。
  • 時には、AIがテストを実行するためのコードを書きましたが、そのコードにバグがありました（例：探偵が捜査計画は書いたものの、懐中電灯を持っていくのを忘れてしまったような状態）。
  • 比喩： これは、犯人が誰であるかについての素晴らしい理論を持っているのに、アリバイを確認するために現場へ行こうとしたら、道に迷ったり建物の外に締め出されたりしてしまう探偵のようなものです。

誰が最高だったのか？

• Claude-Sonnetは、実際に（クラッシュすることなく）テストを実行する能力において最も優れていました（バグのないコードを書くこと）。
• Geminiは、最終的な分かりやすい説明を書くことに最も優れていました。
• GPT-5.4は、テストの計画を立てることは得意でしたが、そのコードは実行に失敗することがよくありました。

5. 実世界でのテスト：「Llama」ケーススタディ

「おもちゃの金庫」の外側でもこれが機能するかを確認するために、彼らは自然に訓練された本物の言語モデル（Llama-3-8B）を用いてHYVEをテストしました。

• 彼らは、3つの数字を加算する際にモデルを助ける、他の人間によって発見された回路をAIに与えました。
• 結果： AI探偵は、いくつかの歯車が「転送ヘッド（transfer heads）」（数字を移動させているもの）であることを突き止め、また、他の歯車は単に「冗長（redundant）」（重要に見えるが、実際には必要ないもの）であることを正しく特定しました。
• これにより、この手法が、単なる綺麗な「おもちゃの金庫」だけでなく、乱雑で現実世界の機械においても機能することが証明されました。

まとめ

この論文は、AIエージェントは、AIがどのように機能しているかを説明するための、有望な新しいツールであると結論づけています。彼らは、推測とテストという重労働を行うことができます。しかし、彼らはまだ完璧ではありません。主な課題は信頼性です。AIは、自らの理論を実際にテストするためのコードを、間違いを起こさずに書けるようになる必要があります。

AIが「実験を行う」（検証ループ）ことが上手くなるまでは、人間の専門家が引き続きその作業をダブルチェックする必要があるでしょう。しかし、これは複雑なAIの脳を理解することを自動化するための、大きな一歩です。