💬 NLP

A Formal Comparison Between Chain of Thought and Latent Thought

本論文は、潜在思考推論が本質的に逐次的な思考連鎖よりも効率的な並列計算を可能にする一方で、後者は確率的デコーディングを通じて近似数え上げとサンプリングを独自に支援することを示す形式的分析を提示し、それによってタスクの要件に基づいて適切な推論パラダイムを選択するための実践的な指針を提供する。

原著者： Kevin Xu, Issei Sato

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kevin Xu, Issei Sato

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、少し融通が利かないロボットアシスタントがいると想像してください。あなたはそのロボットに複雑なパズルを解いてほしいと考えています。今回取り上げる論文は、このロボットが問題を解決するために「考える」2 つの異なる方法を比較しています。

2 つの方法は以下の通りです：

思考の連鎖（Chain of Thought：CoT）： ロボットは問題について自分自身に語りかけ、すべての手順を声に出して書き留めます。
潜在思考（Latent Thought）： ロボットは自分の「脳内」（連続的で不可視な空間）で静かに考え、最終的な答えを出す準備ができるまで何も書き留めません。

研究者たちは知りたいと考えていました：どちらの方法が優れており、どのような種類の問題に対して優れているのか？

以下に、彼らの発見を簡単なアナロジーを用いて解説します。

1. 「組立ライン」対「スーパーブレイン」（並列処理）

シナリオ： 1,000 部屋もある家の壮大で複雑な設計図があり、すべての部屋に必要な塗料の総量を計算する必要があると想像してください。

思考の連鎖（組立ライン）：
ロボットは部屋 1 の計算を書き留め、次に部屋 2、そして部屋 3 と続けます。次の部屋に取り掛かる前に、必ず 1 つの部屋を完了させなければなりません。これは組立ライン上の単一の作業者のようなものです。
- 結果： 設計図が巨大な場合、ロボットが手順を一つずつ実行しなければならないため、この作業には長い時間がかかります。大規模な並列処理のタスクにおいては、この方法は遅いです。
潜在思考（スーパーブレイン）：
ロボットは何も書き留めません。代わりに、内部の「隠れた空間」を使って、設計図全体を一度に見渡します。部屋 1、部屋 2、部屋 3 の塗料の量を、単一の「思考」の中で同時に計算することができます。
- 結果： 多くのことを同時に計算できるような大規模で複雑な問題（家の設計図など）においては、この方法の方がはるかに高速で効率的です。この論文は数学的に証明しており、このような「並列」タスクにおいては、静かに考える方が勝ります。

2. 「ギャンブラー」対「計算機」（近似計数）

シナリオ： 次に、数百万個の異なる色のビー玉が入った壺があり、赤いビー玉が何個あるか推測する必要があると想像してください。しかし、一つずつ数えることはできません。それには永遠にかかってしまいます。良い「推定値」が必要です。

思考の連鎖（ギャンブラー）：
ロボットは手順を書き留めるため、「サイコロを振る」戦略を使うことができます。「よし、赤いビー玉は 100 個だと推測しよう、次に 105、次に 98…」と、異なる可能性をランダムにサンプリングして言うことができます。これを何度も繰り返すことで、非常に正確な「平均」推定値を得ることができます。
- 結果： この方法は、「近似計数」や確率の推測に優れています。ランダム性を利点として利用します。
潜在思考（計算機）：
静かなロボットは決定論的です。脳内で厳格で論理的な経路をたどります。「サイコロを振る」ことはしません。ルールに基づいて正確な答えを計算しようとします。
- 結果： ランダムなサンプリングに基づいた大まかな推定が必要な問題（ビー玉を数えることや、巨大な混乱の中から特定のパターンを見つけることなど）においては、静かなロボットは行き詰まります。話すロボットが行うような「ランダムな推測」を容易にシミュレートすることができないからです。この論文は、これらの特定の種類の計数やサンプリングタスクにおいては、実際には思考の連鎖の方が優れていることを示しています。

大きな結論

この論文は、どちらか一方の方法が全体的に「優れている」と言っているのではありません。むしろ、以下のように言っているのです：

静かな思考者（潜在思考）を使う： 巨大で構造化された問題を抱えている場合、つまり、同時に解決できる多くの部分に分解できる問題（巨大なリストのソートや複雑な数学方程式の解法など）の場合です。これは並列処理におけるスピードの鬼です。
話す思考者（思考の連鎖）を使う： ランダム性に基づいた良い推測をする必要がある場合、または正確に特定するのが難しいものを数える必要がある場合（カードのデッキを並べる方法が何通りあるか推定するなど）です。これは確率と推定の達人です。

要約： この論文は、AI の推論に関する「取扱説明書」を提供しています。もしあなたの問題が速度と並列処理に関するものであれば、静かにしてください。もしあなたの問題が推定とランダム性に関するものであれば、声に出して書き留めてください。

技術的概要：思考連鎖（Chain of Thought）と潜在的思考（Latent Thought）の形式的比較

問題定義

大規模言語モデル（LLM）は、中間トークンを明示的に生成することで推論を誘発する**思考連鎖（Chain of Thought: CoT）**を通じて、高度な推論能力を実証してきました。一方、**潜在的思考（Latent Thought）**のパラダイム（Chain of Continuous Thought/Coconut や Looped Transformers など）は、離散的な言語トークンを生成することなく、連続的な隠れ状態空間において直接動作し、反復処理を行います。両アプローチとも表現力を高めるために反復計算を利用しますが、それらの能力間の根本的な理論的隔たりは未だ十分に探求されていません。具体的には、潜在的思考が CoT よりも普遍的に表現力が高いのか、あるいは特定の計算領域において一方のパラダイムが他方を厳密に凌駕するケースが存在するのかが不明確です。

手法

著者らは、CoT と潜在的思考の表現力を比較するために、形式的な計算量理論的分析を採用しています。手法は以下の通りです：

形式的定義：本論文では、CoT、Coconut、および Looped Transformers を、トランスフォーマーブロックの反復適用として定義しています。CoT は自己回帰的にトークンを生成するのに対し、潜在的思考モデル（Coconut および Looped TF）は、隠れ状態を埋め込みとしてフィードバックする（Coconut）か、またはシーケンス全体を再計算する（Looped TF）ことで、隠れ状態を反復的に更新します。
計算モデリング：
- 決定問題：推論は、ブール回路を表す有向非巡回グラフ（DAG）の評価として形式化されます。著者らは、これらの問題を解決するために、入力サイズ $n$ に応じてどのように推論ステップ数（CoT の場合）または反復回数（潜在的思考の場合）がスケーリングするかを分析します。
- 計算量クラス：本研究は、これらのモデルを標準的な計算量クラス、特に多項式対数深さの閾値回路 $TC_k$ および近似数え上げに関連するクラス（$FPRAS $対$ FPTAS$）にマッピングします。
- 確率的設定：分析は確率的モデルに拡張され、CoT は中間トークンをサンプリングするために確率的デコードを利用するのに対し、潜在的思考は潜在空間における決定論的変換の下で分析されます。
理論的証明：著者らは、各パラダイムに対する上限と下限を示す証明を構築します。ブール回路への帰着と自己還元性の関係の性質を利用して、分離を確立します。
実証的検証：理論的主張は、基本的なアルゴリズム的推論タスク（単語問題、グラフ連結性、算術評価、編集距離）および近似数え上げ/サンプリングタスク（DNF 数え上げ、グラフ彩色）において検証されます。

主要な貢献

1. 潜在的思考は効率的な並列推論を可能にする

本論文は、並列計算を必要とする問題において、潜在的思考が CoT よりも厳密に効率的であることを確立しています。

並列性：潜在的思考モデルは、DAG の評価を層ごとにシミュレートできます。計算グラフの深さが $d$ である場合、潜在的思考モデルは $O(d)$ 回の反復でこれを解決できます。
CoT の逐次制限：対照的に、CoT はその自己回帰的な性質により DAG をノードごとにシミュレートする必要があり、 $O(\text{size}(G))$ ステップを要します。
形式的分離：多項式対数反復（ $O(\log^k n)$ ）の下では、潜在的思考（Coconut および Looped TF）は計算量クラス $TC_k$ の能力を正確に捉えます。しかし、同じステップ数の CoT は $TC_{k-1}$ に厳密に制限されます。これは、潜在的思考が本質的に逐次的な CoT よりも効率的な並列計算を許容することを証明しています。

2. CoT は確率性を通じて近似数え上げを可能にする

本論文は、CoT が潜在的思考を厳密に凌駕する領域、すなわち近似数え上げおよびサンプリングを特定しています。

確率的デコード：CoT は明示的に中間推論トークンをサンプリングします。この確率性により、CoT は完全に多項式時間の確率的近似スキーム（FPRAS）といったランダム化アルゴリズムを模倣できます。
決定論的制限：潜在的思考は、（推論中のトークンレベルのサンプリングなしに）連続空間において決定論的に動作するため、決定論的近似スキーム（FPTAS）に制限されます。
形式的分離：自己還元性の関係に対して $FPTAS \subsetneq FPRAS$ が成り立つと仮定（標準的な計算量仮定）すると、著者らは CoT が潜在的思考では不可能な近似数え上げ問題やターゲット分布からのサンプリングを可能にすることを証明します。具体的には、CoT は潜在的思考が近似に失敗する分布を生成でき、CoT 側に有利な初の形式的分離を提供します。

3. 実証的検証

実験は、理論的分離を確認しています：

並列タスク：グラフ連結性や算術評価などのタスクにおいて、Looped Transformers は、問題サイズに比例するステップ数を必要とする CoT に比べて、入力サイズに対して対数的なはるかに少ない反復回数で高い精度を達成します。
数え上げ/サンプリングタスク：DNF 数え上げおよびグラフ彩色のサンプリングにおいて、CoT は Looped Transformers に比べて、一様ターゲット分布に近い分布（総変動距離が低い）を生成する能力を実証し、確率的近似におけるその優れた能力を検証しています。

結果

表現力の分離：表現力には厳密な分離が存在します。潜在的思考は、深さに依存し並列化可能な問題（多項式対数領域）において優れており、一方 CoT は確率的近似および数え上げを必要とする問題において優れています。
反復効率：潜在的思考は、 $O(\log n)$ 回の反復で並列タスクにおいて CoT と同等の性能を達成しますが、CoT は $O(n)$ または $O(\text{size}(G))$ ステップを必要とします。
サンプリング能力：CoT は、特に自己還元性の数え上げ問題の文脈において、決定論的潜在思考モデルがアクセスできない分布を近似できます。

意義

本論文は、タスクの性質に基づいて推論パラダイムを選択するための厳密な理論的枠組みを提供します：

潜在推論は、並列計算を通じて効率的に解決可能な問題（例：グラフアルゴリズム、算術評価）に適しており、反復効率において大幅な向上をもたらします。
**思考連鎖（Chain of Thought）**は、確率的近似、数え上げ、またはサンプリングを必要とする複雑な問題においてより効果的であり、ここでトークン生成の確率性は欠点ではなく計算上の資産となります。

著者らは、どちらのパラダイムも普遍的に優位ではなく、むしろその強みは並列化可能性と確率性のトレードオフによって決定され、相互補完的であると結論付けています。この研究は、モデル設計とタスク選択に関する実用的な指針を提供し、将来のアーキテクチャはハイブリッドアプローチまたはタスク固有の推論メカニズムの選択から恩恵を受ける可能性を示唆しています。