Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought

本論文は、連続的思考（continuous CoT）を用いた大規模言語モデルにおいて、勾配に基づく学習を通じて探索と利用のバランスを保つ「重み付けされた複数の推論経路の重ね合わせ（superposition）」メカニズムが、思考生成段階と予測段階の 2 つのフェーズを経てどのように自然に獲得されるかを、理論的解析と実験的検証によって明らかにしたものである。

要約

この論文は、**「AI がどうやって『考える』力を身につけるのか」**という不思議な現象を、まるで「迷路を解くゲーム」のように解き明かした研究です。

タイトルは少し難しそうですが、内容を噛み砕いて、日常の例え話で説明しましょう。

🧠 物語の舞台：「連続的思考」という新しい魔法

まず、従来の AI（大規模言語モデル）は、思考するときに**「単語」**というブロックを一つずつ積み上げていました。これは「A なら B、B なら C…」と、一本の道しか歩けない状態です。もし道が分岐して迷ったら、間違った道を選んだら最初からやり直し（バックトラック）が必要です。

しかし、この論文で紹介されている**「連続的思考（Continuous CoT）」という新しい方法は、思考を「単語」ではなく、「滑らかな液体」のような状態にします。
液体なら、複数の道を行き来する「波」を同時に作ることができます。つまり、「A かもしれないし、B かもしれない」という複数の可能性を、一度に全部抱えて並行して考えることができるのです。これを論文では「重ね合わせ（Superposition）」**と呼んでいます。

🕵️‍♂️ 発見：AI はどうやってこの魔法を覚えたのか？

以前の研究で、「この液体のような思考を使えば、AI は迷路（グラフ探索問題）を簡単に解ける」ということはわかっていました。でも、**「なぜ、AI は訓練（勉強）をすれば、自然とこの『液体の思考』を覚えるのか？」**という疑問が残っていました。

この論文は、その「魔法が生まれる瞬間」を、**「2 つの段階」**に分けて解明しました。

第 1 段階：「探検家」の育成（思考生成フェーズ）

AI はまず、迷路の入り口から「どこに行けるか」を次々と探っていきます。
ここで重要なのが**「索引マッチング・ロジット（Index-matching logit）」という数値です。これを「探検の熱意」や「集中力」**と想像してください。

• 集中力が低すぎると： AI は「あっちもこっちも」というように、何もない場所も全部同じように見てしまい、迷路の構造を活かせません（無計画な散策）。
• 集中力が高すぎると： 「ここが人気だ（入り口が多い）」という理由だけで、一つの道に固執してしまいます。すると、実は正解だった別の細い道を見逃してしまいます（早とちり）。

論文の驚きの発見：
AI が正解を目指すために勉強すると、この「集中力」は**「ほどよい強さ」で止まる**ことがわかりました。

• 「ほどよい強さ」があるおかげで、AI は「この道が良さそう！」と自信を持って進みつつも、「いや、あの道も捨てがたいな」という複数の可能性を同時に保持できるようになります。
• この「複数の可能性を同時に抱える状態」こそが、**「重ね合わせ（Superposition）」**の正体です。AI は、正解がどれかわからないときは、すべての候補を「液体」の中に混ぜて並行して探検するのです。

第 2 段階：「答え」の選び手（予測フェーズ）

迷路の出口（正解）にたどり着いた後、AI は「液体」の中から、**「本当に正解だった道」を浮き上がらせて選びます。
ここでは、「候補を押し上げる力」と「探検で得た情報を引き継ぐ力」**のバランスが重要になります。AI は訓練を通じて、このバランスを完璧に調整し、正解の確率を 100% に近づけていきます。

🎨 簡単な例え話：「料理の味付け」

この現象を料理に例えてみましょう。

• 従来の AI（単語思考）：
  料理を作る時、「塩」か「砂糖」か、どちらか一方しか選べません。味見をして「あ、甘すぎた！」と思ったら、最初から作り直さなければなりません。

• 新しい AI（連続的思考）：
  料理を作る時、「塩と砂糖を混ぜた液体」を使います。
  最初は「どれくらい混ぜればいいかわからない」ので、両方を少しずつ入れます。
  すると、「塩っぽさ」と「甘さ」が同時に存在する状態になります。
  訓練（味見）を繰り返すうちに、AI は「正解の味」を見つけるために、**「塩と砂糖の比率を絶妙に調整する」**ことを学びます。

  • 比率が極端すぎると（塩だけ、砂糖だけ）、失敗します。
  • 絶妙なバランスを保つことで、AI は「塩っぽさと甘さの両方」を同時に感じ取りながら、最も美味しい味（正解）を見つけ出すことができます。

この「絶妙なバランスを保つこと」こそが、論文が示した**「重ね合わせの出現」**です。

🌟 この研究のすごいところ

1. なぜ「並列思考」ができるのか？
   AI が「正解がわからない時は、あえて一つの道に決めつけず、複数の道を行く」という賢い戦略を、**「集中力（ロジット）を適度に抑える」**という単純な仕組みで自然に身につけることを証明しました。
2. 理論と実験の一致
   数式で「集中力は一定の範囲に収まるはずだ」と予測し、実際に AI を訓練してログ（記録）を見たら、本当にその通りになっていたことを確認しました。

💡 まとめ

この論文は、**「AI がどうやって『考える』力を身につけるか」という謎の核心に迫りました。
AI は、「自信過剰にならず、かといって迷走もしない『ほどよいバランス』」**を見つけることで、複数の可能性を同時に抱える「超能力（重ね合わせ）」を自然に獲得するのです。

これは、AI がより複雑な問題を解決できるようになるための重要なステップであり、今後の AI 開発にとって非常に心強い発見です。

技術概要

論文「EMERGENCE OF SUPERPOSITION: UNVEILING THE TRAINING DYNAMICS OF CHAIN OF CONTINUOUS THOUGHT」の技術的サマリー

この論文は、大規模言語モデル（LLM）の推論能力を向上させる手法である「連続的思考連鎖（Chain of Continuous Thought: 連続 CoT）」の訓練ダイナミクスを理論的に解析し、なぜ「重ね合わせ（Superposition）」メカニズムが自然に学習されるのかを解明した研究です。ICLR 2026 で発表されました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定と背景

背景

• 連続 CoT の利点: 従来の離散トークンベースの CoT（Chain of Thought）に対し、連続潜在空間で推論を行う「連続 CoT（COCONUT）」は、複数の推論経路を同時に保持（重ね合わせ）できるため、複雑なタスクにおける推論能力の向上が示されています。
• 既存研究の限界: 先行研究（Zhu et al., 2025）は、2 層トランスフォーマーが連続 CoT を用いることで、有向グラフの到達可能性問題を効率的に解くためのパラメータ構成を構築的に示しました。しかし、勾配ベースの訓練方法（勾配降下法）を通じて、そのような超位置（重ね合わせ）メカニズムがどのように自然に学習されるのかは未解明でした。

研究課題

• 勾配ベースの学習が、超位置（複数の推論経路を並列に保持する状態）を自然に導くのか？
• その学習ダイナミクスを理論的に証明できるか？

2. 手法と理論的枠組み

著者らは、有向グラフの到達可能性問題（始点 $r$ から特定の終点 $c_1, c_2$ のどちらに到達可能かを判定するタスク）を対象とし、簡略化された 2 層トランスフォーマーの訓練ダイナミクスを解析しました。

主要な構成要素

1. タスク定義:

   • 入力：グラフ構造、始点、2 つの候補終点。
   • 出力：到達可能な終点の特定。
   • 連続 CoT の使用：離散トークンの代わりに、連続ベクトルとして推論ステップ $[t_1], [t_2], \dots$ を生成します。

2. 訓練ステージの分割:

   • 思考生成ステージ (Thought Generation Stage): モデルが自己回帰的に連続思考を生成する段階。ここでは、探索されたノードの重ね合わせを維持します。
   • 予測ステージ (Prediction Stage): 生成された思考を用いて、最終的な答え（到達可能な候補）を予測する段階。

3. 鍵となる指標：インデックス・マッチング・ロジット ($\mu$)

   • モデルの「局所探索能力」の強さを定量化するパラメータです。
   • 現在の思考状態から、次のステップでどのノードに注意を向けるかを制御します。
   • この $\mu$ の振る舞いが、探索（Exploration）と利用（Exploitation）のバランス、ひいては超位置の形成を決定づけます。

3. 主要な理論的発見

思考生成ステージにおける $\mu$ の有界性

• 発見: 連続 CoT を用いた訓練（COCONUT 損失関数）において、インデックス・マッチング・ロジット $\mu(t)$ は、初期に増加した後、**有界（bounded）**な値に収束することが証明されました。
• 対照的な結果: 従来の離散 CoT や、すべての到達ノードを明示的に予測させる損失（COCONUT-BFS）を用いた場合、$\mu$ は対数的に発散（無限大へ成長）します。
• メカニズムの解明:
  • $\mu$ が小さすぎる場合：局所探索ができず、ランダムな推測になる。
  • $\mu$ が大きすぎる場合：局所的特徴（例：ノードの入次数）に過剰に依存し、正しい経路を早期に捨ててしまう（過信）。
  • $\mu$ が有界であることが重要：モデルは局所構造を利用しつつも、不確実な状況下では複数の妥当な経路に比較的重みを割り当て、超位置（重ね合わせ）を維持します。これにより、暗黙的な並列探索（並列 BFS）が可能になります。

予測ステージにおける収束

• 予測ステージでは、残差ストリームからの信号（$\mu_A$）と候補ノードへの信号（$\mu_R$）が学習されます。
• 理論解析により、これらのパラメータが勾配流に従って成長し、到達可能な候補ノード $c^*$ が他のノードよりも明確に高いロジットを持つように収束することが示されました。
• 訓練データで学習された方向（マージン最大化方向）が、未見のグラフに対しても汎化し、正しい予測を行うことが保証されます。

4. 実験結果

理論的予測を検証するための実験を行いました。

• モデル設定: GPT-2 スタイルの 2 層トランスフォーマー（$d_{model}=768$）。
• データセット: ProsQA のサブセット（有向グラフ到達可能性タスク）。
• 思考生成ステージの結果:
  • 連続 CoT 損失（$L_{coco}$）で訓練した場合、注意ロジットの差（$\mu$ の代理指標）は増加した後、理論予測通り**飽和（有界化）**しました。
  • 一方、BFS 損失（$L_{BFS}$）で訓練した場合、ロジットは飽和せず、理論通り発散し続けました。
  • 初期段階で超位置が形成されると、その後のステップ（長さ一般化）でも効率的に再利用されることが確認されました。
• 予測ステージの結果:
  • 予測フェーズに入ると、残差キャリーオーバーと候補リフトの信号が急速に学習され、精度が安定して高くなりました。
  • 最終的なテスト精度は 96.2% を達成しました。

5. 主要な貢献

1. 超位置の学習ダイナミクスの理論的解明:
   • 勾配降下法を通じて、なぜ連続 CoT が「重ね合わせ」を自然に学習するのかを初めて理論的に証明しました。
   • 「有界な注意ロジット」が探索と利用のバランスを取り、超位置を可能にするというメカニズムを特定しました。
2. 損失関数の影響の比較:
   • 従来の損失関数（発散するロジット）と、連続 CoT 特有の損失関数（有界なロジット）の振る舞いの違いを明確にしました。
3. 実証的検証:
   • 理論で予測されたロジットの成長パターン（有界化 vs 発散）が、実際の訓練ダイナミクスと一致することを示しました。

6. 意義と今後の展望

• メカニズムの理解: 連続 CoT が単なる計算コストの削減ではなく、モデルの内部表現において「並列推論」を可能にする本質的なメカニズムであることを示しました。
• スケーリングへの示唆: 超位置メカニズムがどのように学習されるかが理解できれば、より複雑な推論タスクに対して、連続 CoT をより効率的かつ信頼性高くスケーリングする道が開けます。
• 将来の方向性: より深いネットワークや、より複雑な推論タスクにおける超位置の役割の解明、およびこの知見を他の latent reasoning パラダイムに応用することが期待されます。

---

結論:
本論文は、連続 CoT の驚異的な推論能力の背後にある「超位置」というメカニズムが、勾配ベースの訓練を通じてどのように自然に出現するかを理論と実験の両面から解明した画期的な研究です。特に、「有界な注意ロジット」が探索と利用のバランスを保ち、並列思考を可能にするという発見は、LLM の推論メカニズム理解において重要なマイルストーンとなります。