What Does Development Add? Multiple-State Evidence Improves Causal Recovery in Constructed Transformer-Circuit Dossiers

探偵のジレンマ：なぜ「過程」を見ることが謎解きの鍵となるのか

あなたは、複雑な機械がどのように機能しているかを突き止めようとしている探偵だと想像してください。通常、あなたは機械が完成し、稼働している最終段階でしかその姿を見ることができません。あなたは機械を突っついたり、レバーを引いたりして、何が起こるかを観察します。これが、現在科学者が人工知能（AI）を研究する方法です。彼らは完成したAIモデルを観察し、テストを実行し、どの部分がその賢い振る舞いに責任を持っているのかを推測しようとします。これは**メカニスティック・インタープリタビリティ（機械論的解釈可能性）**と呼ばれます。それは、マジシャンがどのようにステージを設営したかを一度も見ることなく、最後の種明かしだけを見ているようなものです。

しかし、ここに問題があります。時として、異なるセットアップであっても、最終的には全く同じように見えることがあるのです。ある部品は特定の仕事をするために作られたのかもしれませんし、あるいは単に偶然そこに存在していて、あたかも助けているかのように振る舞っているだけかもしれません。もし最終的な瞬間しか見ることができないのであれば、その違いを判別することはできません。ここで、「発展（開発過程）」という概念が登場します。子供が成長する過程を見ることは、大人になってから出会うよりもその人の性格をよく理解することにつながるのと同じように、AIがステップバイステップで「学習」していく過程を見ることは、その思考の真の物語を明らかにするかもしれません。大きな疑問はこうです。「『訓練日記』（AIが時間の経過とともにどのように変化したかという履歴）を持つことは、単に最終結果を見るよりも、探偵が謎を解く助けになるのだろうか？」

実験：タイムトラベルする探偵

この研究において、研究者のZuo Yuchen氏は、このアイデアを検証するために巨大で制御されたミステリーを用意しました。インターネットから学習する本物の、混沌としたAIを使う代わりに、彼らは24個の「構築されたドシエ（記録）」を作成しました。これらは、レゴブロックで作られた24種類の異なる「偽の機械」のようなものです。研究者は、すべてのピースがどのように接続され、何をすべきなのかを正確に把握していました。彼らは完璧な「グラウンド・トゥルース（正解）」を作成したため、探偵の仕事を100%の精度で採点することができました。

この物語における「探偵」は、非常にスマートなAI言語モデル（GPT-5.6-Terraと呼ばれます）でした。研究者はこの探偵に任務を与えました。それは、偽の機械がどのように機能しているかを解明し、特定の部品を壊した場合に何が起こるかを予測することです。

探偵は2つのチームに分けられましたが、それぞれ異なる手がかりを与えられました。

1. 「最終状態のみ」チーム： このチームは、機械の寿命の最後で撮影された5枚の異なる写真を受け取りました。角度は少しずつ異なりますが、機械は毎回まったく同じ完成状態で写っていました。
2. 「マルチ・ステート（複数状態）」チーム： このチームも5枚の写真を受け取りましたが、これらは機械の組み立ての途中の異なるタイミングで撮影されたものでした。彼らは、機械が赤ちゃん、ティーンエイジャー、そして大人へと成長していく様子、つまりピースが一つずつ組み合わさっていく過程を目撃したのです。

決定的なのは、最後の写真（最終状態）は両方のチームに対して同一であったことです。唯一の違いは、一方のチームには機械がどのように組み立てられたかという「歴史」が見え、もう一方のチームは完成品を何度も眺めるだけだったという点です。

結果：歴史は重要である

結果は明白であり、驚くほど具体的でした。**マルチ・ステート（歴史）**を見たチームの方が、はるかに優れた成績で謎を解きました。

• 接続のマップ作成： 機械の各パーツがどのように接続されているかのマップを描くよう求められた際、「歴史」チームの正解率は97.1%でした。「最終状態のみ」チームは88.8%でした。これは大きな差ではないように聞こえるかもしれませんが、複雑なパズルの世界においては、劇的な改善です。歴史チームは、真の接続を見抜き、最後に怪しく似ているだけの偽の接続を無視することに長けていました。
• 未来の予測： 探偵は、特定のワイヤーや部品を壊した場合に何が起こるかを推測する必要もありました。「歴史」チームは95.4%の確率で結果を正しく予測しましたが、「最終状態のみ」チームは89.1%にとどまりました。
• 天井効果： 興味深いことに、各パーツの名前（例えば「セレクター」や「マッパー」など）を答えるだけのタスクでは、両チームとも100%の満点を記録しました。これは、パーツの名前を特定するのは容易ですが、複雑な接続の網を解き明かすことこそが、歴史の真価を発揮する場面であることを示唆しています。

これが意味すること（および意味しないこと）

この研究は、この特定のタイプのパズルにおいては、発展を見ることが役立つことを示唆しています。それは、パズルが組み立てられていく様子を見ているようなものです。どのピースが最初に置かれ、どのピースが後にミスを修正するために追加されたのかを見ることができます。「最終状態のみ」のチームは、一部の偽の接続が最後には非常に強力に見えたために混乱しましたが、「歴史」チームはそれらの接続がゲームの終盤に現れたものに過ぎず、当初の計画ではなかったことを見抜くことができました。

しかし、論文は過剰な期待を煽らないよう、非常に慎重です。

• シミュレーションであり、現実ではない： この研究の「機械」は、コンピュータプログラムによって注意深く構築されたものであり、AIが数ヶ月かけて自然に学習したものではありません。研究者は、これはあくまで「概念実証（プルーフ・オブ・コンセプト）」であると認めています。これは、制御されたラボ内ではアイデアが機能することを証明していますが、それが世の中にあるすべての実世界のAIモデルに対しても同様に機能することを保証するものではありません。
• 「時間」対「多様性」の問い： 研究者はさらに、探偵が優れた成績を収めたのは、出来事の「順序（時間）」を見たからなのか、それとも単に機械の「異なるバージョン（多様性）」を見たからなのか、とも考えました。これを検証するため、彼らは写真の順番を入れ替えても内容は同じであるという、小さな追加チェックを行いました。探偵は依然として優れた成績を残しました。これは、異なる状態を見ることが鍵であり、必ずしもタイムラインそのものが重要なのではないことを示唆していますが、研究の規模が小さかったため、断定するには至りませんでした。
• 魔法の杖ではない： 「最終状態のみ」のチームが無能であったわけではありません。彼らも十分に優秀でした。歴史を知ることは、単なるブースト（底上げ）を与えたのです。

まとめ

この論文は、遊び心がありつつも真剣な実験を通じて、次のように述べています。「もし複雑なシステムがどのように機能しているかを理解したいなら、完成品を見るだけでは不十分だ。もし可能なら、それがどのように成長したかを見よ。」

この研究を読んでいるAI研究者にとって、これはトレーニングの履歴を掘り下げ始めるための「ゴーサイン」です。そして、私たち一般の人々にとって、これは「文脈こそがすべてである」という教訓です。ある人の幼少期を知ることがその人の大人の選択を理解する助けになるように、AIの「幼少期（トレーニングのステップ）」を知ることが、その真の精神を解き明かす鍵となるかもしれません。ただし、これはあくまで「おもちゃの機械」を使ったテストであったことを忘れないでください。現実の世界はもっと混沌としており、次のステップは、この手法が私たちが日々使用している本物の、成長したAIにも通用するかどうかを確認することなのです。