💬 NLP

CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning

CopT 是一种无需训练的推理框架，它通过首先生成草稿答案，随后利用连续空间对比验证器仅在必要时动态触发策略内反思，从而逆转了标准的思维链范式，进而在各类推理任务中显著提升准确率并降低 token 成本。

原作者： Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位试图解开谜团的杰出侦探。

旧方法（思维链）：
传统上，当大语言模型（LLM）尝试解决问题时，它们就像一位坚持在说出凶手是谁之前必须先写好一份 10 页警方报告的侦探。它们思考、思考、再思考，写下每一步，然后才给出答案。

问题所在： 有时，侦探在第一秒就已经知道答案了。但因为规则要求“先思考”，它们仍会坚持写完报告。这浪费了时间（token）和能量，即使答案显而易见。这被称为“表演性推理”——仅仅为了思考而思考。

新方法（CopT）：
这篇论文介绍了CopT（对比式在线策略思考）。它彻底颠覆了剧本。CopT 不像是在回答之前先思考，而是像一位立即喊出草稿答案的侦探。

第一步：直觉检查。 模型说：“我认为答案是 X。”
第二步：魔镜。 在接受这个答案之前，CopT 使用一面特殊的“魔镜”（一种对比机制）来检查答案是否可信。
- 它通过标准视角（离散 token）审视答案。
- 它通过“模糊、不确定”的视角（包含模型考虑过的所有“可能”的连续嵌入）审视答案。
- 如果模型很自信，这两种视角会完美匹配。如果模型在猜测或困惑，这两种视角就会冲突。
第三步：决策。
- 如果魔镜说“看起来不错”： 侦探立即接受答案。无需撰写长篇报告。结果： 极大地节省了时间和金钱。
- 如果魔镜说“看起来不稳”： 侦探说：“好吧，我需要更多思考。”但这里有个巧妙之处：它们不会仅仅忘记最初的猜测。它们使用一个“可见性开关”。如果最初的猜测让它们困惑，它们可能会将其隐藏；如果它是一个有用的提示，它们则保持其可见，同时进行深入思考以修正它。

核心隐喻：“模糊透镜”与“清晰透镜”

要理解“魔镜”（对比验证器），想象通过两种不同的透镜看一幅画：

清晰透镜（离散输入）： 你看到了模型决定绘制的最终、清晰的笔触。这就是“草稿答案”。
模糊透镜（连续输入）： 你看到了模型在选定最终笔触之前所考虑的整个调色板。这包括了所有的“如果”和不确定性。

CopT 如何利用这一点：
CopT 问道：“清晰透镜看起来和模糊透镜一样吗？”

是：模型很确定。答案很可能是正确的。停止思考，节省 token。
否：模糊透镜显示模型实际上非常困惑，或者正在考虑许多不同的可能性，尽管它选定了一种特定的颜色。答案很可能是错误的。开始思考（在线策略思考）以修正它。

为什么这很重要（根据论文）

论文声称，这种方法是一个游戏规则的改变者，因为它阻止了模型进行不必要的“表演性”思考。

速度与成本： 在模型能立即知道答案的简单问题上，CopT 完全跳过了漫长的思考过程。论文显示，在某些情况下，这将“成本”（生成的单词/token 数量）削减了近一半。
更聪明的思考： 在第一个猜测错误的难题上，CopT 不会轻易放弃。它利用“魔镜”意识到：“等等，我很困惑”，然后仅在必要时进行深入思考。
无需训练： 这不是一个需要多年训练的新模型。这是一种使用现有模型的新方式。这就像给一位聪明的侦探一套新规则去遵循，而不是教它们一门新语言。

“可见性开关”

当模型意识到需要更多思考时，它必须决定是否继续盯着它最初的（可能是错误的）猜测。

如果思考过程变得混乱，CopT 可以隐藏第一个猜测，以免模型被自己的错误搞糊涂。
如果第一个猜测中包含一个好的提示，CopT 会显示它以帮助引导修正。
这一过程由思考过程中的第二个“魔镜”检查来控制。

总结

CopT 是一种更智能的 AI 推理使用方式。它不再强迫 AI 在开口前思考很长时间，而是让 AI 先开口，利用一种特殊的“不确定性检测器”检查该言论是否可信，并且仅当检测器说“嘿，那看起来不对”时才强迫其深入思考。这使得 AI 更快、更便宜，并且在难题上同样聪明（甚至更聪明）。

技术摘要：CopT：面向通用与智能体推理的连续空间对比式在线策略思考

问题陈述

思维链（CoT）提示已成为激发大语言模型（LLM）推理能力的标准方法。然而，主流的 CoT 范式将思考视为回答的严格前提，迫使模型在生成最终答案之前必须生成完整的推理轨迹。最近的观察表明，LLM 经常表现出“表演性推理”，即即使在内部已识别出合理答案后，仍继续生成推理步骤。这种行为延迟了获取正确答案的时间，并产生了不必要的 token 成本。此外，现有利用连续嵌入（Latent CoT）的方法往往牺牲了显式推理的可读性，或者在直接用于生成时引入未见表示和漂移至噪声等问题。

方法论：CopT

作者提出了CopT（对比式在线策略思考），这是一种无需训练的推理流程，它颠倒了标准操作顺序：先回答，后思考。该方法包含两个主要阶段和一个新颖的对比验证机制。

1. 逆向推理流程

草稿答案触发：模型不再先进行思考，而是被强制立即输出 <answer> 标记，并基于输入问题 ( $q$ ) 生成草稿答案 ( $a$ )。
在线策略思考：如果草稿答案被认为不可靠，模型会触发一个以草稿为条件的后续思考阶段。这仅在必要时才允许进行反思和修正。

2. 对比式可靠性估计

为了确定草稿答案是否可信或是否需要进一步思考，CopT 引入了一种归一化序列级反向 KL 估计器 ( $\kappa$ )。该机制利用连续嵌入作为推理时的验证器，而不将其用于生成。

离散与连续输入：在生成过程中，模型为每一步缓存两种表示：
1. 离散前缀：给定离散 token 历史，所选 token 的标准概率 $p_t$ 。
2. 连续前缀：一个连续嵌入 $e_t$ ，计算为所有词汇嵌入的概率加权平均值，保留了不确定性信息。
估计器：在生成长度为 $T_a$ 的草稿后，模型比较生成 token 在离散前缀下的概率 ( $p_\theta(a_t | q, a_{<t})$ ) 与在连续前缀下的概率 ( $p_\theta(a_t | q, e_{<t})$ )。
$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$
解释：较高的 $\kappa_a$ 表明，当考虑不确定性信息（连续嵌入）时，该答案的支持度显著降低，暗示草稿不可靠。如果 $\kappa_a$ 超过阈值 $\tau_a$ ，模型则进入在线策略思考阶段。

3. 动态可见性控制

在在线策略思考阶段，草稿答案可能仍包含有用的部分信息，但如果其根本存在缺陷，也可能误导模型。CopT 通过动态控制后续思考块中草稿答案的可见性来解决这一问题。

思考轨迹被划分为多个块。
为每个块计算第二个 KL 估计器 ( $\kappa_r$ )，以评估当前思考过程的稳定性。
如果 $\kappa_r$ 指示不稳定（差异较大），则在下一个块中隐藏草稿答案 ( $m_k=0$ )，以防止模型被误导。如果稳定，则草稿保持可见 ( $m_k=1$ )。

4. 理论基础

论文提供了理论分析，表明在“混合线性”假设下，反向 KL 估计器的期望值等于未解决的潜在推理状态 $S$ 与发出的答案 token $A$ 之间的互信息 $I(S; A)$ 。这证明了该估计器测量的是与答案相关的不确定性，而非潜在状态中的任意不确定性。因此，只有当连续嵌入中保留的不确定性实际上改变了模型对生成 token 的支持度时，该分数才会增加。

主要贡献

逆向范式：提出了一种无需训练的流水线，LLM 首先生成草稿答案，仅在草稿被认为不可靠时才调用在线策略思考，从而实现更早获取答案和选择性修正。
对比验证：引入了一种机制，将连续嵌入（此前在 Latent CoT 中用于生成）重新定义为推理时的验证器。通过对比离散和连续输入，它估计草稿的可靠性并调节草稿的可见性，同时不牺牲显式 CoT 的可读性。
理论洞察：证明了所提出的估计器测量了潜在状态与答案之间的互信息，解释了其为何能有效捕捉与答案相关的不确定性。
实证验证：在数学、编码和智能体推理任务中广泛验证了该方法，显示出相比标准 CoT 基线的一致性提升。

实验结果

作者在 Qwen3 和 Qwen3.5 模型（2B、8B 和 35B 规模）上评估了 CopT，涵盖了 10 个基准测试，包括 GSM8K、Math500、AIME、HumanEval、LeetCode-Contest 以及智能体基准（BFCL v4, ZebraArena）。

准确率与效率：与标准 CoT 相比，CopT 在相当或更高的准确率水平下，将峰值准确率提高了高达23%（例如在 ZebraArena 大分割集上），并将 token 使用量减少了高达57%。
数学与编码：在 GSM8K 上，CopT 实现了 +0.23% 的准确率提升，同时 token 减少了 55.1%。在具有挑战性的 AIME 基准测试中，它将准确率提高了 +3.34%（AIME24）和 +2.92%（AIME25）。
智能体推理：在多轮智能体任务（ZebraArena）中，CopT 在大分割集上将准确率提高了 +23.03%，同时将 token 使用量减少了 19.6%。
与潜在方法的比较：与使用连续嵌入进行生成的无需训练方法（如 Soft-Thinking, SwiReasoning）不同，CopT 保持了完全显式、可读的推理，同时以更少的 token 实现了更高的准确率。
延迟：token 的节省直接转化为延迟的降低，CopT 在 HumanEval 上将平均每个样本的延迟降低了高达 69%。

意义与主张

论文声称，CopT 提供了一条通往推理时更具成本效益的 LLM 推理的实用路径，无需额外训练。通过颠倒思考与回答的顺序，并利用连续嵌入作为对比验证器，CopT 成功平衡了准确率、效率和推理透明度之间的权衡。作者强调，这种方法避免了直接连续生成（如去多样化和噪声）的陷阱，同时利用连续空间中固有的不确定性信息，更智能地决定何时思考以及何时停止。该方法被呈现为一个可泛化的框架，适用于各种模型架构和推理领域。