機械の脳内に隠されたコンパス

巨大な図書館を想像してみてください。そこでは、あるロボットがこれまでに書かれたあらゆる本を読み終えています。このロボットは「大規模言語モデル（LLM）」と呼ばれ、人間の話し方を模倣するのが非常に上手いため、詩を書いたり、数学の問題を解いたり、物語を語ったりすることができます。しかし、一つ問題があります。それは、このロボットは完璧な自信を持って「嘘」をつくことができるということです。月がチーズでできていると教えるとき、月が岩でできていると教えるときと同じ滑らかな声で、堂々と語ってしまうのです。科学者たちは長年、このロボットの脳の中に、何かが真実であると知ったときに点灯する、隠された「真実スイッチ」が存在するのではないかと考えてきました。

これを理解するには、ロボットがどのように考えているかを知る必要があります。ロボットは人間のように事実を記憶するのではなく、読んだすべての文章を、まるで秘密のコードのような長い数字のリストに変換します。科学者はこれを「ベクトル」と呼んでいます。これらの数字を地図上の座標だと考えてみてください。もしロボットがある事実を知っていれば、それらの座標はある特定の方向を指しているかもしれません。もしロボлоットが推測しているだけなら、座標はあちこちに散らばっているでしょう。大きな疑問は、「真実」を指し示す単一の直線がこの地図上にあるのか、それとも真実とは、何を話しているかによって変化する、乱雑で多次元的な雲のようなものなのか、ということです。本論文は、単純な針では捉えきれないほど複雑な構造なのか、それとも常に真実を指し示すコンパスを見つけられるのかを探るべく、この地図の深部へと踏み込みます。

---

一方向の真実コンパス

この論文の研究者たちは、小さなロボット（具体的には、Qwen2.5-1.5Bと呼ばれるモデル）の脳内で探偵のような調査を行うことにしました。彼らは、ロボットが「真実である」と知っていることと「偽りである」と知っていることを分かつ、単一の直線――すなわち「真実の方向」を見つけられるかどうかを確かめたいと考えました。

「ミニマル・ペア（最小対）」のマジック
これを行うために、彼らは「ミニマル・ペア」と呼ばれる巧妙なトリックを用いました。例えば、一語だけが異なる双子の文章があると想像してください。

• 文章A：「太陽は恒星である。」（真実）
• 文章B：「太陽は惑星である。」（偽り）

ロボットはこの両方の文章を読みます。研究者たちは、それぞれの文章に対してロボットが生成した秘密の数字コード（隠れた状態）を取り出し、一方から他方を差し引きました。文章がほぼ同一であるため、「ノイズ」はすべて打ち消し合い、真実か嘘かによって生じた差異だけが残ります。彼らは数学的ツール（SVD：特異値分解）を使用して、その差異の主要な方向を特定しました。

大きな発見：真実とは一本の線である、ただし「知っている時」に限って
チームは驚くべき発見をしました。ロボットが実際に「知っている」事実については、真実は確かに単一の直線上に存在していました。彼らがロボットが暗記している事実（首都の名前や化学記号など）でテストを行ったところ、この「真実コンパス」は驚異的な精度を発揮し、93.8%の確率で正解を導き出しました。

しかし、彼らは決定的なルールを発見しました。**「コンパスは、ロボットがその事実を知っている場合にのみ機能する」**ということです。

• ロボットが知っている場合： 真実の信号は鋭く、その単一の線上に集中しています。
• ロボットが知らない場合： 信号はぼやけ、拡散します。ロボットが学習していない無名の事実について尋ねると、「真実」と「嘘」の座標は、まるで二つの霧の雲が混ざり合うように重なり合ってしまいます。ロボットはただ推測しているだけなので、コンパスではそれらを区別できないのです。

また、チームは、真実が単純な線よりも複雑なものではないかを確認するために、多くの突飛な仮説を検証しました。「真実は3D形状なのか？ 回転する位相なのか？ 複雑な回転なのか？」といった問いです。答えは明白な「ノー」でした。彼らは、第二の次元や隠れたパターンを見つけようとして7つの異なる実験を行いましたが、そのたびに、追加の複雑さは単なるノイズであることが判明しました。既知の事実に関する真実は、厳密に一次元的なのです。

嘘の解剖学：誰が真実を書き込むのか？

研究者たちは、線を見つけるだけで満足せず、ロボットの脳内の「誰」がその線を引いているのかを知りたいと考えました。ロボットの脳には、主に2つの働き手が存在します。アテンション（Attention）（言葉に注目し、それらをつなぎ合わせる役割）と、FFN（フィードフォワード・ネットワーク）（記憶の書き手として機能する役割）です。

彼らは、これら2つの働き手の間の興味深いダンスを発見しました。

1. アテンションは「構築者」である： ロボットの脳の中層において、アテンションは真実の信号を構築します。それは事実を集め、線を引きます。
2. FFNは「消しゴム」である： 線が引かれると、次にFFNがやってきて、それを台無しにし始めます。FFNは、特に理解のピーク直後において、真実の信号を正しい方向から「押し戻して」しまうのです。

これは、綱引きのようなゲームです。アテンションがロープを「真実」の方へ引き寄せますが、FFNはそれを「次の単語の予測」の方へと引き戻します。研究者たちは、FFNが次の単語を予測することにあまりに熱中するあまり、自身が作り上げたばかりの真実の信号を、図らずも消し去ってしまうことを突き止めました。

関係性の法則：普遍的なルール

チームはこの検証を、2つの異なるファミリー（QwenとLlama）に属する4つの異なるロボットに対しても行いました。そして、サイズや学習内容に関わらず、すべてのロボットに適用される普遍的な法則を発見しました。

• アテンションは、自身が書いたものではない真実のフレームを常に伝播（前方へ運搬）させます。
• FFNは、常に現在の瞬間の真実のフレームに反対し、次の瞬間のための材料を書き込みます。

それはまるで、アテンションという働き手が「これが真実だ！」と言い、FFNという働き手が「分かった、それを受け取るが、今度は自分のアイデアで次の文章を上書きするよ」と言うかのようです。これにより、真実の信号が上昇し、ピークに達し、そしてロボットが次の単語の予測へと進むにつれて消えていくというサイクルが生まれます。

カテゴリの秘密の地図

最後に、研究者たちはロボットが「国」「言語」「スポーツ」といった異なる種類の事実をどのように扱っているかを調査しました。その結果、ロボットはあらゆる事柄に対して同じ線を使っているわけではないことが分かりました。代わりに、カテゴリごとに異なる線の「地図」を持っているのです。

ここが最も衝撃的な部分です。QwenとLlamaという、設計も学習データも異なる2つのロボットのファミリーであっても、両者は全く同じ方法でこの地図を描き出していました。

• もしQwenの地図上で「言語」と「国」が反対方向を指していれば、Llamaの地図でもそれらは反対方向を指しています。
• もし「スポーツ」が何とも一致しない孤立した存在であれば、それは両方の地図において孤立した存在です。

このことは、真実がどのように組織されているかはランダムなものではなく、知識そのものに備わっている性質であることを示唆しています。ロボットたちは、世界の背後にある隠れた幾何学を共に発見しているのです。ただし、この一致は、両方のロボットが実際にその事実を「知っている」場合に限られます。推測している場合、地図は崩壊してしまいます。

これが意味すること（そして意味しないこと）

本論文は、自らの発見を過大評価しないよう、細心の注意を払っています。以下のことは明確に否定されています。

• 真実は3Dオブジェクトではない： （既知の事実については）一本の線です。
• FFNは真実を助けない： ピーク後はむしろ真実を損なわせます。
• コンパスは魔法ではない： ロボットが事実を知らない場合、完全に機能しません。

研究者たちは、自分たちの考えが間違っていないかを証明するために「反証実験」を用いるなど、厳格なコントロールを用いて測定を行っており、その結果に自信を持っています。彼らは、以前の思考（信号の「反転」に関するもの）の中に誤りを見つけ、それを修正しました。これは、信号が単なる特定の層における偶然の現象ではなく、普遍的な法則であることを示しています。

要約すれば、この論文は、ロボットの脳内において、真実とは単純な一本の直線であることを示しています。ただし、それはロボットが答えに確信を持っている時に限られます。推測しているとき、その線は霧の中に溶けて消えてしまいます。そして、ロボットの脳は複雑ですが、真実を整理する方法は、知識の本質そのものに組み込まれているかのような、美しく普遍的な幾何学に従っているのです。