Causal Structure is Inducible but Functionally Decoupled: The Routing/Readout Boundary of a Typed Mechanism Library

AIの隠された配線盤

巨大で超スマートなロボットがどのように思考しているのかを理解しようとしている場面を想像してみてください。長い間、科学者たちは「回路基板の直感」と呼ばれる単純な考え方に基づいてきました。ロボットの脳を、巨大で複雑な回路基板だと考えてみてください。もしその基板上の特定のワイヤーや小さなスイッチを見つけたら、そのスイッチを切り替えれば、ロボットの振る舞いが即座に変わるはずだ、というのが論理的な推測です。「真実を語る」ためのスイッチを切り替えれば、ロボットは嘘をつくようになるはずだ、という具合に。この考え方は、AIがどのように機能しているのか、そしてどのようにその記憶を修正したり編集したりできるのかを探る研究の基礎となっています。

しかし、もしロボットの脳が回路基板ではなく、全く別のものだったとしたらどうでしょう？ もしそれが、忙しく動き続ける「図書館」のようなものだとしたら？ この図書館には、何千冊もの本（AIの知識）と、非常に整理されたファイリングシステム（AIの内部構造）が存在します。科学者が問いかけている大きな疑問は、「そのファイリングシステムが、ロボットが出す答えを実際に『駆動』しているのか、それとも、単に中身を書き込むことなく、正しい本を見つけるための洗練されたインデックス（索引）として機能しているだけなのか？」ということです。もしファイリングシステムが単なるインデックスに過ぎないのなら、インデックスカードを変更することでロボットを「編集」しようとしても、ロボットが実際に述べる内容を変えることはできないかもしれません。この論文は、内部構造を微調整することでAIを真に制御できるのか、それともその構造は単なる静かな観察者に過ぎないのかという問いを深く掘り下げ、検証しています。

情報を整理するが、語ることはない図書館

研究者たちは、このことをテストするために特別な種類のAIモデルを構築しました。彼らはモデルに「型付きメカニズム・ライブラリ」を与えました。これは、例えば「誰が誰と関係しているか」や「記号が何を意味するか」といった特定の種類の事実を格納できる、600個の明確にラベル付けされた引き出し（またはスロット）のようなものです。彼らは、AIに「ゲーティング・ヘッド（門番）」を使うよう学習させました。これは司書のような役割を果たします。AIが質問を受け取ると、司書は必要な証拠の種類を確認し、質問を正しい引き出しへとルーティング（経路指定）します。

チームは2つのことを確認したいと考えました。第一に、AIは指示通りにこれらの引き出しを整理することを実際に学習するのか、それともそれは偶然起こるものなのか。第二に、一度AIがこれらの引き出しを整理した後、引き出しの中身を変更することが、AIが出す答えを実際に変えることになるのか、という点です。

組織化は実在するが、主導権は握っていない
研究の結果、AIに教え込めば、AIは完璧に引き出しを整理することを学習するということが分かりました。もしあなたがAIに「『関係性』に関する事実はすべて引き出しAに入れなさい」と命じれば、AIは正確にその通りに行います。この組織化は偶然起きたのではなく、特定の学習信号によって誘導されたものでした。しかし、ここに驚くべき展開があります。AIがこの完璧に整理された図書館を持っているにもかかわらず、図書館の内容を変更しても、答えは変わりません。

研究者たちは、ライブラリに対して150通りの異なる編集を行いました。符号を反転させたり、エッジを追加したり、引き出し内の情報を入れ替えたりしました。結果はどうだったでしょうか？ AIの最終的な答えの変化は、ほとんどゼロでした。具体的には、0.00000034（または 3.4 × 10⁻⁶）未満でした。これを例えるなら、もし答えが1から10のスケール上の数値であったとしても、その変化は実質的に目に見えないほど微小なものでした。「司書」（ルーティング・システム）は完璧に仕事をこなしていましたが、「執筆者」（答えを生成する部分）は図書館の変化を無視していたのです。このライブラリは、AIがどこを見るべきかを教えるルーティング・インデックスとして機能していますが、答えを読み取るプロセスとは**機能的にデカップリング（分離）**されています。

「動くヌル（移動する零点）」とスケールの問題
この論文はまた、AIのテストにおけるトリッキーな問題も明らかにしました。研究者たちは、AIが自身をどのように組織化するかという「ベースライン」または「ゼロ地点」が、AIの規模が大きくなるにつれて変化することを発見しました。彼らはAIを2つのサイズでテストしました。パラメータ数が2,260万の小規模なバージョンと、1億2,500万のより大規模なバージョンです。

小規模なサイズでは、引き出しを整理するように教えられなかったAI（教師なし制御）には、組織化が全く見られませんでした。しかし、より大きなサイズでは、同じ未学習のAIであっても、自律的にわずかな組織化を示し始めました。これは、「空の状態」のベースラインが、すべてのサイズのAIで同一ではないことを意味します。もし同じ古いルールを使って、小さなAIと大きなAIを比較すると、ルール自体が変化してしまっているため、混乱が生じる可能性があります。著者はこれを「ムービング・ヌル（動く零点）」と呼んでいます。これを解決するために、彼らは、訓練されたAIを、同じサイズの新鮮で未学習のAIと直接比較するという、より厳格な新しいテスト手法を作成し、比較の公平性を確保しました。

ゼロコストと完全な可逆性
このライブラリと答えの間の奇妙な分離にもかかわらず、システムは極めて良好に機能しています。このライブラリを追加しても、AIの一般的な知能へのコストはゼロでした。パフォーマンスの差は0.0ab2 ナッツ（情報の極めて小さな単位）未満であり、これは実質的にゼロと言えます。さらに、このライブラリは編集に対して完全に安全です。研究者は変更を加えた後、それを元に戻すことができました。これはビット単位での完全な可逆性を持っており、つまりAIは「近似値」ではなく、元の状態と全く同じ状態に戻ったということです。彼らは、3つの異なるトレーニング・ランにわたって、250回の単一編集と1,000回のスタックされた復元をテストしましたが、毎回完璧に動作し、失敗は一度もありませんでした。

これが未来に意味すること

この論文の主な教訓は、「AIの内部パーツを単に編集することでAIを『修正』できる」と期待している人々にとって、謙虚にならざるを得ないものです。この論文は、このような明示的な構造においては、「回路基板の直感」は間違っていることを示唆しています。目の前にスイッチが見えていて、それを切り替えられるからといって、機械がそれに反応するとは限らないのです。この特定のセットアップにおいて、AIの内部組織化は、情報を探すための型付きルーティング・インデックスであり、最終的な出力を駆動するエンジンではありません。

著者は、AIの振る舞いを編集する方法を解決したと主張することに対して、非常に慎重です。実際、彼らの結果は、この特定のアーキテクチャにおいて、構造的な編集が行動の変化にはつながらないことを示しています。この「ライブラリ」は、状態（引き出しの中のカード）としては編集可能ですが、行動としては編集可能ではありません（カードを変えても、ロボットが語る物語は変わりません）。この発見は、測定され、再現され、異なるスケールにおいても安定しており、私たちがこれらのシステムにおいて何を制御でき、何を制御できないのかという明確な境界線を提供しています。それは、AIの複雑な世界において、「構造を見ること」と「結果を制御すること」は別物であるということを思い出させてくれます。