💬 NLP

Training Continuous Chain of Thought Models: A Tale of Two Regimes

本文介绍了 C-MTP，一种用于训练连续思维链（Chain-of-Thought）模型的更快速的直接监督方法，该方法优于先前的直接方法，并在短推理轨迹上达到了与较慢的间接方法相当的性能，同时揭示了当前的连续思维链技术在应用于具有较长推理链的复杂任务时表现出显著的困难。

原作者： Varun Yerram, He He, Eunsol Choi

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Varun Yerram, He He, Eunsol Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人如何解开一个棘手的谜题。在过去，机器人只会脱口而出答案，因为它们往往没有经过思考，所以经常出错。后来，科学家们发现了一个魔术技巧：如果他们先让机器人“大声思考”，把推理的每一个微小步骤都写下来，机器人的解题能力就会大大提高。这被称为“思维链”（Chain-of-Thought）。这就像学生在数学考试中展示解题过程一样；写的步骤越多，得到正确答案的可能性就越大。

然而，这里有一个代价。写出每一个步骤需要耗费大量的时间和计算能力。这就像要求一名跑步者在每走一步之后都要停下来写一段日记一样。这会让他们的速度慢得像蜗牛爬。于是，研究人员开始思考：“我们能不能让机器人在一种秘密的、压缩过的语言中思考？它能否利用简短、密集的笔记在脑海中完成所有的思考，而不是使用长句子？”这个想法被称为“连续思维链”（Continuous Chain-of-Thought）。目标是保留聪明的思考能力，但丢掉那些缓慢、冗长的表达。但这里有一个大问题：我们真的能教会机器人使用这些秘密笔记进行思考，而不丢失它的聪明才智吗？

这篇题为《训练连续思维链模型：两种范式的寓言》（Training Continuous Chain of Thought Models: A Tale of Two Regimes）的论文深入探讨了这个问题。作者 Varun Yerram、He He 和 Eunsol Choi 扮演着侦探的角色，测试了两种教授机器人这种秘密语言的方法。他们将这两类方法称为“直接监督”（Direct Supervision）和“间接监督”（Indirect Supervision）。

把间接监督想象成一位老师，观察着学生在白板上一层层解决问题的过程。老师使用一种特殊的过程，让机器人自回归地预测中间思维（潜变量）。为了引导这种缓慢的、序列化的预测，老师模型（它已经通过完整文本解决了问题）会与学生机器人分享其内部的“大脑状态”（激活状态）。机器人学习模仿这些内部状态，从而生成自己的思维序列，一个接一个，就像一排多米诺骨牌依次倒下。这种方法很准确，但很慢。

直接监督——作者将其称为一种名为 C-MTP 的新方法——更像是老师递给学生一叠索引卡。每张卡片代表一段思考过程。老师说：“这是关于这一整块思考内容的答案；你只需要学习预测这张卡片上的词语即可。”这使得机器人可以同时学习许多步骤，就像阅读整页书而不是一个字母一个字母地读。这比间接方法更快、更高效。

研究人员在三个不同难度的水平上测试了这两种方法，就像攀登一座设有三个营地的山峰。

营地 1：简单、结构化的路径。
在那些思考过程短小且规整的简单数学问题上（例如“18 乘以 12 等于 216”），新的直接监督 (C-MTP) 方法表现得像个超级明星。它训练速度更快，学习所需的样本更少，而且与旧的、缓慢的间接方法相比，它在解决从未见过的题目时表现得更好。它就像一名短跑选手，虽然训练量较少，却能跑得和马拉松选手一样快。

营地 2：冗长、唠叨的路径。
当问题变得复杂一些，需要长篇大论、喋喋不休的解释（比如为每一个步骤编写完整的句子）时，情况发生了逆转。间接监督方法占据了上风。为什么呢？因为它被设计用于将长而杂乱的思考压缩成简短的笔记。直接法在这里遇到了困难，因为它试图预测长篇解释中的每一个单词，如果它犯了一个微小的错误，整个思维链就会崩溃。这就像试图通过猜测每个单词来抄写一个长故事；一个拼写错误就会毁掉整个段落。

营地 3：现实、混乱的顶峰。
最后，研究人员在最难、最真实的题目上测试了两种方法——即包含数百个推理单词的复杂数学谜题，就像人类写作那样。在这里，故事走向了悲剧。两种方法——快速的直接法和谨慎的间接法——都失败了。它们的表现相比于让机器人写出所有想法的标准方法下降了约 65%。

作者发现，在这些现实且漫长的任务中，两种方法都无法处理其中的复杂性。直接法不断产生微小的数学错误并不断累积，而间接法则无法足够准确地压缩长而杂乱的思考。事实证明，当前“连续思维链”的这种“秘密语言”还不具备应对现实世界的能力。论文指出，我们用来测试这些机器人的简单基准测试可能会误导我们，让它们在面对真实、混乱的问题时看起来比实际情况更聪明。

最终，这篇论文并没有宣布单一的赢家。相反，它告诉我们，虽然新的直接法是处理简单、结构化任务的极佳且快速的工具，但要让机器人能够用秘密代码处理复杂的现实世界问题，我们还有很长的路要走。实现一个既能快速思考又无需写出所有内容的机器人梦想，仍处于进行时。

问题陈述
大语言模型（LLMs）通过生成冗长的思维链（Chain-of-Thought, CoT）轨迹在复杂推理任务上取得了高性能。然而，自回归地生成这些冗长的标记序列在推理过程中会产生显著的计算成本。连续思维链（Continuous Chain-of-Thought, ContinuousCoT）方法旨在通过将离散的推理标记替换为短的稠密潜表示来缓解这一问题。现有方法大致分为两类：间接监督，即训练模型自回归地预测稍后会被解码或蒸馏的潜变量（例如 COCONUT、CODI）；以及直接监督，即尝试将推理轨迹直接映射到潜空间（例如 CoLaR）。

间接方法由于采用自回归潜变量生成方式，导致训练过程缓慢且具有顺序性，并且通常依赖复杂的蒸馏流水线。直接方法虽然能够实现并行训练，但在历史上一直面临优化挑战，例如对潜空间中复杂分布的建模问题，并且与标准的 CoT 微调相比，在处理冗长或现实的推理轨迹时表现出性能下降。

方法论：C-MTP
作者引入了 C-MTP（基于多标记预测的连续思维链），这是一种旨在更高效地模拟连续潜推理的新型直接监督框架。

核心概念： C-MTP 不再将潜变量建模为参数化的高斯分布（如 CoLaR 中那样）或自回归地预测它们（如间接方法中那样），而是将中间潜变量视为原始 CoT 轨迹中一段标记的聚合标记嵌入（aggregated token embedding）。
训练目标： 模型使用**多标记预测（Multi-Token Prediction, MTP）**进行训练。给定一个推理轨迹 $y$ ，将其划分为若干个不重叠的 $s$ 个标记的跨度（spans）。每个跨度通过对标记嵌入取平均值来压缩为一个单一的潜向量 $z_i$ 。随后，模型在给定输入提示词和先前潜变量的条件下，并行地预测组成每个潜跨度的 $s$ 个标记。
损失函数： 该目标结合了多标记预测损失（预测每个跨度内的标记）和标准的答案生成损失。作者还采用了 CoT 教师进行知识蒸馏（ $L_{KD}$ ）以引导训练，尽管消融实验表明即使没有 $L_{KD}$ ，C-MTP 依然有效。
推理： 在推理阶段，模型在每一步采样 $s$ 个标记，通过聚合它们的嵌入来形成下一个潜变量，并重复此过程，直到生成结束思考标记（end-of-thinking token）。随后，模型切换到标准的自回归生成以得出最终答案。

主要贡献

C-MTP 框架： 一种新的直接监督方法，利用 MTP 将连续潜推理与标准预训练目标对齐，通过教师强制（teacher forcing）实现完全的并行训练。
系统性的范式比较： 在三种不同的 CoT 轨迹范式下进行了全面的实证评估：
- 结构化（Structured）： 紧凑的数学表达式（例如 GSM8k-Aug）。
- 半自然（Semi-Natural）： 冗长的自然语言解释（例如 GSM8k-Aug-NL）。
- 现实（Realistic）： 由强 LLM 生成的长且复杂的轨迹（例如 MATH 数据集）。
识别局限性： 论文表明，虽然 C-MTP 在结构化设置中表现出色，但直接监督和间接监督方法在处理现实的、长时程推理任务时，都无法达到标准 CoT 微调（CoT-SFT）的水平。

实验结果

结构化轨迹 (GSM8k-Aug)： 在所有压缩率下，C-MTP 的表现均显著优于现有的直接监督方法 (CoLaR)。它在准确率上达到或超过了间接监督方法 (CODI)，同时速度更快（约 2 倍的训练加速）且样本效率更高。与间接方法的顺序训练相比，C-MTP 还展示了更优越的分布外问题结构的泛化能力。
半自然轨迹 (GSM8k-Aug-NL)： 在冗长轨迹上，间接监督 (CODI) 的表现优于直接方法。作者将其归因于间接方法的“压缩”特性，即迫使模型丢弃填充词（filler tokens），而直接方法在通过教师强制被迫预测完整的冗长轨迹时，难以应对误差累积问题。
现实轨迹 (MATH)： 在包含数百个推理标记的复杂任务上，两种监督范式（直接和间接）均出现了崩溃，仅能达到标准 CoT-SFT 准确率的约 30–35%。分析表明，早期推理步骤中的错误（特别是算术表达式中的错误）会发生不可逆转的级联效应，导致错误的最终答案。

意义与主张
论文声称，目前依赖于结构化或半自然轨迹的基准测试高估了 ContinuousCoT 方法的实际效用。虽然 C-MTP 为结构化推理任务提供了一个更高效、更有效的解决方案，但将长而复杂的推理轨迹压缩进固定潜预算（latent budgets）的基本局限性仍未解决。作者建议，未来的进展可能需要混合方法，即在标记化推理和连续推理之间进行自适应切换，而不是仅仅依赖于单一的监督范式。这项工作强调了在现实的长时程任务上进行评估对于真正评估潜变量推理可行性的必要性。

类似论文