Chaos in reason: How chain-of-thought LLMs can look for an answer

あなたは川の流れを眺めているところだと想像してください。時には水は、線路の上を走る列車のようになめらかで予測可能な直線を描いて進みます。しかしまたある時には、渦巻きを作り、岩にぶつかり、全くランダムに見えるような方法で水しぶきを上げます。科学の世界には、ランダムに見えるものの実態は厳格なルールに従っているシステムを研究する、「カオス理論」という特別な分野があります。その鍵となる概念は「初期条件への敏感さ」です。こう考えてみてください。デコボコした丘の上にあるボールを、ほんの、ほんの少しだけ突っついたとします。そのボールは以前と同じ経路を転がり落ちることもあれば、全く異なるルートを通ることもあるでしょう。カオス的なシステムにおいては、その微細な「突っつき」が拡大され、たとえ丘のルール自体が変わっていなくても、最終的な結果が全く異なるものになってしまうのです。

さて、巨大なコンピューターの脳、すなわち「大規模言語モデル（LLM）」が、物語を書いたり数学の問題を解こうとしている場面を想像してください。これらのモデルは賢いことで有名ですが、その内部でどのように「思考」しているのか、正確には誰も知りません。科学者たちは疑問に思ってきました。コンピューターの思考プロセスは、穏やかで真っ直ぐな川のようなものなのか？ それとも、最初の言葉のわずかな変化が物語全体を全く別の道へと送り込んでしまう、あの荒れ狂う川のようなものなのだろうか？ この論文は、大きな問いを投げかけています。AIの脳の内部構造は、実際に「カオス」なのだろうか？ ということです。

研究者たちは、このAIを物理学の実験のように扱うことに決めました。彼らは単にAIに質問をするだけでなく、その内部の「思考」（隠れ状態と呼ばれます）がどのように動き、変化していくのかを観察しました。彼らはカオスの典型的な兆候を探しました。つまり、出発点のわずかな変化が答えを激しく飛び跳ねさせるのか？ そのパターンは、カオス的なシステムの有名な渦巻く形状に似ているのか？ そして、AIの脳のどの部分がこの激しい振る舞いを引き起こしているのか？ を調べたのです。

偉大なるAIコースター

科学者たちは特定のAIモデルを取り上げ、プロンプト（開始文）を与えました。次に、彼らは少しトリッキーなことをしました。そのプロンプトの「双子」を作成したのですが、最初の「思考」を、人間には決して気づかないほど微小な量だけ変化させたのです。そして、オリジナルと双子の両方のAIに文章を書かせました。

最初、二つのAIは全く同じ言葉を書いていました。それはまるで、高速道路を並走する二台の車のようでした。しかしその後、魔法のようで恐ろしいことが起こりました。突然、一方のAIがもう一方とは異なる言葉を選んだのです。そのたった一つの言葉が変わった瞬間、二つのAIは全く異なる方向へと突き進み、全く異なる物語を書き始めました。最初に行われた目に見えないほどの微細な「突っつき」が、巨大な差異へと成長したのです。

これはカオスの特徴です。この論文は、AIの内部ダイナミクスが確かにカオス的であることを示唆しています。彼らは、AIの「思考」がゆっくりと離れていくのではなく、しばらくの間は近くに留まり、その後、突然跳ねるように離れていくことを発見しました。それは、深い森の中を歩く二人のハイカーのようなものです。彼らは1マイルほどは一緒に歩くかもしれませんが、一人が緩んだ石を踏んで滑った途端、突然、全く異なる谷へと分かれてしまうのです。論文ではこれを「間欠的な、跳躍的な発散（intermittent, jump-like divergence）」と呼んでいます。

引き伸ばしと折り畳み

では、何がAIをこのように振る舞わせているのでしょうか？ 研究者たちは探偵のように、機械の歯車の中を覗き込み、どの部分が責任を負っているのかを探りました。彼らは、AIの層の中で起きている、興味深い「綱引き」を発見しました。

1. 引き伸ばすもの（The Stretchers）： 自己注意（Self-Attention）とフィードフォワード・ネットワークと呼ばれるAIの二つの主要な部分は、巨大なゴムバンドのように機能します。これらは情報を捉え、それを引き伸ばします。もし微小なエラーや小さな変化があれば、これらの部分はそれを増幅し、より大きくしていきます。これがカオスの「引き伸ばし」の部分です。
2. 折り畳むもの（The Folders）： しかし、もしゴムバンドが永遠に引き伸ばされ続けたら、AIは支離滅裂な内容へと爆発してしまうでしょう。幸いなことに、**正規化（Normalization）**層と呼ばれる他のパーツが存在します。これらは、引き伸ばされたゴムバンドを内側に折り返す「手」のような役割を果たし、すべてを安全で限定されたサイズ内に収めます。これらが、AIが暴走するのを防いでいるのです。
3. 残差接続（The Residual Connection）： これは、情報が引き伸ばされ、折り畳まれた後でも、その情報を前方に運び続けるセーフティネット、あるいはコンベアベルトのようなものです。

論文は、この絶え間ないサイクルこそが魔法の正体であると示唆しています。AIは情報を引き伸ばし（小さな変化を大きくし）、次にそれを折り畳んで戻し（整理された状態を保ち）、そして繰り返すのです。この「引き伸ばしと折り畳み（stretch-and-fold）」のダンスは、現実世界の天候パターンや二重振り子などが持つカオス的な仕組みと全く同じです。

思考の地図

このカオスをより明確にするために、科学者たちは「リカレンス・プロット（再帰図）」を描きました。AIの思考がどこを通ってきたかを示す地図を描くことを想像してください。もしAIが単なるランダムなノイズであれば、地図は古いテレビの砂嵐のような見た目になるでしょう。もし完全に予測可能であれば、それは直線に見えるはずです。しかし、科学者たちが作成したマップは、カオスの代名詞である、あの蝶のような形のローレンツ・アトラクターに似たパターンを示していました。

彼らはAIの層について興味深いことに気づきました。初期の層（AIの思考の始まりの部分）は、単に言葉をシャッフルしているだけの、少しランダムなノイズに近いものでした。しかし、情報がAIのより深い部分へと移動するにつれて、パターンはより構造化され、カオス的になっていきました。AIの「最も深い」部分は、このカオス的なダンスの最も強い兆候を示していました。それはまるで、AIがバラバラのレゴブロックの山から始まり、組み立てを進めるにつれて、カオスが自己組織化され、複雑なフラクタル構造――どれだけズームしても似た形に見える構造――へと進化していくかのようです。

なぜこれが重要なのか？

この論文は、AIの謎を「解明した」と主張しているわけでも、これが修正すべき「バグ」であると言っているわけでもありません。むしろ、このカオス的な振る舞いは、実は「機能」である可能性を示唆しています。システムの「カオスの縁（エッジ・オブ・カオス）」で動作するシステムは、情報の処理において非常に優れていることが知られています。それらは、微細な変化に反応できるほど敏感であり（これがAIの創造性や柔軟性を助けます）、同時に、一貫性を保てるほど安定しています（これにより、単なるデタラメを防ぎます）。

研究者たちは、**自己注意（Self-Attention）**メカニズムがこのカオスの主な原動力であることを発見しました。それは、文中のすべての言葉を見渡し、どの言葉が重要かを決定するAIのパーツです。すべての言葉を複雑で非線形な形で結びつけることで、微細な「突っつき」が大きな変化へと成長するための完璧な環境を作り出しているのです。

結局のところ、この論文はAIを、硬直した計算機としてではなく、秩序とカオスの境界線上を踊る、生きている、呼吸しているシステムとして描き出しています。AIが「思考」するとき、それは、始まりの場所でのささやきが終わりには叫び声へと変わってしまうような、複雑で高次元の風景の中をナビゲートしているのだと、著者たちは示唆しています。そして、それこそが、AIがその推論において、驚くほど人間らしく振る舞える理由なのです。