💬 NLP

A Formal Comparison Between Chain of Thought and Latent Thought

本文提出了一项形式化分析，表明尽管潜在思维推理比固有的链式思维支持更高效的并行计算，但后者通过随机解码独特地支持近似计数与采样，从而为根据任务需求选择合适的推理范式提供了实践指导。

原作者： Kevin Xu, Issei Sato

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Kevin Xu, Issei Sato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常聪明但略显僵硬的机器人助手。你希望它解决一个复杂的谜题。你所询问的这篇论文比较了该机器人解决此问题的两种不同“思考”方式。

这两种方法是：

思维链（Chain of Thought, CoT）： 机器人自言自语地梳理问题，大声写下每一个步骤。
潜在思维（Latent Thought）： 机器人在其自身的“大脑”（一个连续的、不可见的空间）中静默思考，直到准备好给出最终答案之前，不写下任何内容。

研究人员想知道：哪种方法更好，适用于何种类型的问题？

以下是他们发现的简要说明，使用了简单的类比。

1. “流水线”与“超级大脑”（并行性）

场景： 想象你有一张包含 1,000 个房间的庞大而复杂的房屋蓝图，你需要计算每个房间所需的油漆总量。

思维链（流水线）：
机器人写下房间 1 的计算，然后是房间 2，接着是房间 3，依此类推。它必须完成一个房间，才能开始下一个。这就像流水线上的单个工人。
- 结果： 如果蓝图非常巨大，这将耗时很长，因为机器人必须一步步地工作。它在处理大型并行任务时速度较慢。
潜在思维（超级大脑）：
机器人不写下任何内容。相反，它利用其内部的“隐藏空间”一次性审视整张蓝图。它可以在单次“思考”中同时计算房间 1、房间 2 和房间 3 的油漆用量。
- 结果： 对于许多事物可以同时计算的大型复杂问题（如房屋蓝图），这种方法要快得多且更高效。论文从数学上证明，对于这类“并行”任务，静默思考者更胜一筹。

2. “赌徒”与“计算器”（近似计数）

场景： 现在，想象你有一个装满数百万颗不同颜色弹珠的罐子，你需要猜测其中有多少颗是红色的。但你无法一颗一颗地数，那将耗时无穷。你需要一个良好的估计值。

思维链（赌徒）：
由于机器人会写下其步骤，它可以使用“掷骰子”策略。它可以说：“好吧，我猜 100 颗红弹珠，然后猜 105 颗，接着 98 颗……"通过随机采样不同的可能性。通过多次这样做，它可以获得非常准确的平均估计值。
- 结果： 这种方法非常适合“近似计数”或猜测概率。它利用随机性作为优势。
潜在思维（计算器）：
静默的机器人是确定性的。它在脑内遵循一条严格、逻辑的路径。它不“掷骰子”。它试图根据规则计算确切答案。
- 结果： 对于需要基于随机采样进行粗略估计的问题（如计算弹珠数量或在巨大的混乱中寻找特定模式），静默机器人会陷入困境。它无法轻易模拟说话机器人所做的“随机猜测”。论文表明，对于这类特定的计数和采样任务，思维链实际上更优越。

主要结论

这篇论文并非声称某种方法在总体上“更好”。相反，它就像是在说：

使用静默思考者（潜在思维） 当你面对一个巨大的结构化问题，且可以将其分解为许多可以同时解决的片段时（例如对海量列表进行排序或解决复杂的数学方程）。它是并行工作的速度恶魔。
使用说话思考者（思维链） 当你需要基于随机性做出良好猜测，或者需要计数那些难以精确确定的事物时（例如估算一副扑克牌有多少种排列方式）。它是概率和估计的大师。

总之： 这篇论文提供了一份 AI 推理的“用户手册”。如果你的问题关乎速度和并行处理，请选择静默。如果你的问题关乎估计和随机性，请选择大声思考并写下来。

技术摘要：思维链与潜在思维的形式化比较

问题陈述

大型语言模型（LLMs）已通过**思维链（Chain of Thought, CoT）**展现出增强的推理能力，该方法通过显式生成中间令牌来激发推理。相反，**潜在思维（Latent Thought）**范式（如连续思维链/Coconut 和循环 Transformer）直接在连续隐藏状态空间中运行，在不生成离散语言令牌的情况下进行迭代。虽然这两种方法都利用迭代计算来增强表达能力，但它们能力之间的根本理论界限仍未被充分探索。具体而言，尚不清楚潜在思维是否在所有情况下都比 CoT 更具表达力，或者是否存在特定的计算领域，其中一个范式严格优于另一个。

方法论

作者采用形式化复杂性理论分析来比较 CoT 与潜在思维的表达能力。方法论包括：

形式化定义：本文将 CoT、Coconut 和循环 Transformer 定义为 Transformer 块的迭代应用。CoT 自回归地生成令牌，而潜在思维模型（Coconut 和循环 Transformer）则通过迭代更新隐藏状态，要么将隐藏状态反馈为嵌入（Coconut），要么重新计算整个序列（循环 Transformer）。
计算建模：
- 决策问题：推理被形式化为有向无环图（DAG）的评估，代表布尔电路。作者分析了推理步数（针对 CoT）或迭代次数（针对潜在思维）如何随输入规模 $n$ 缩放以解决这些问题。
- 复杂性类：该研究将这些模型映射到标准复杂性类，特别是 $TC_k$ （多项式对数深度的阈值电路）以及与近似计数相关的类（$FPRAS $与$ FPTAS$）。
- 概率设置：分析扩展到概率模型，其中 CoT 利用随机解码采样中间令牌，而潜在思维则在潜在空间中的确定性变换下进行分析。
理论证明：作者构建了证明，展示了每种范式的上界和下界。他们利用归约到布尔电路和自可约关系的性质来确立分离性。
实证验证：理论主张在基础算法推理任务（文字问题、图连通性、算术评估、编辑距离）以及近似计数/采样任务（DNF 计数、图着色）上得到了验证。

主要贡献

1. 潜在思维实现高效的并行推理

本文确立了对于需要并行计算的问题，潜在思维严格优于 CoT。

并行性：潜在思维模型可以逐层模拟 DAG 的评估。如果计算图的深度为 $d$ ，潜在思维模型可以在 $O(d)$ 次迭代中解决它。
CoT 的序列局限性：相比之下，由于其自回归性质，CoT 必须逐节点模拟 DAG，需要 $O(\text{size}(G))$ 步。
形式化分离：在多项式对数次迭代（ $O(\log^k n)$ ）下，潜在思维（Coconut 和循环 Transformer）精确捕捉了复杂性类 $TC_k$ 的能力。然而，具有相同步数的 CoT 则严格受限于 $TC_{k-1}$ 。这证明了潜在思维比固有的序列式 CoT 允许更高效的并行计算。

2. CoT 通过随机性实现近似计数

本文识别出 CoT 严格优于潜在思维的领域：近似计数和采样。

随机解码：CoT 显式采样中间推理令牌。这种随机性使 CoT 能够模拟随机算法，特别是完全多项式时间随机近似方案（FPRAS）。
确定性局限性：潜在思维在连续空间中确定性运行（在推理过程中不进行令牌级采样），仅限于确定性近似方案（FPTAS）。
形式化分离：假设对于自可约关系 $FPTAS \subsetneq FPRAS$ （这是一个标准的复杂性假设），作者证明了 CoT 可以近似计数问题并从潜在思维无法达到的目标分布中采样。具体而言，CoT 可以生成潜在思维无法近似分布的分布，提供了首个有利于 CoT 的形式化分离证据。

3. 实证验证

实验证实了理论上的分离：

并行任务：在图连通性和算术评估等任务上，与需要步数与问题规模成正比的 CoT 相比，循环 Transformer 以显著更少的迭代次数（输入规模的对数级）实现了高精度。
计数/采样任务：在 DNF 计数和图着色采样上，与循环 Transformer 相比，CoT 表现出能够产生更接近均匀目标分布的分布（更低的总变差距离），验证了其在随机近似方面的优越能力。

结果

表达能力分离：存在严格的表达能力分离。潜在思维在深度驱动、可并行化的问题上（多项式对数域）更优越，而 CoT 在需要随机近似和计数的问题上更优越。
迭代效率：在并行任务上，潜在思维仅需 $O(\log n)$ 次迭代即可达到与 CoT 相当的性能，而 CoT 需要 $O(n)$ 或 $O(\text{size}(G))$ 步。
采样能力：CoT 可以近似确定性潜在思维模型无法触及的分布，特别是在自可约计数问题的背景下。

意义

本文为根据任务性质在推理范式之间进行选择提供了严格的理论框架：

潜在推理更适合那些可以通过并行计算高效解决的问题（如图算法、算术评估），在迭代效率方面提供显著增益。
思维链对于需要随机近似、计数或采样的复杂问题仍然更有效，在这些情况下，令牌生成的随机性是一种计算资产而非负担。

作者得出结论，没有任何一种范式是普遍主导的；相反，它们的优势是互补的，由并行性与随机性之间的权衡所决定。这项工作为模型设计和任务选择提供了实践指导，表明未来的架构可能受益于混合方法或针对特定任务的推理机制选择。