🤖 AI

Confidence-Aware Alignment Makes Reasoning LLMs More Reliable

本文介绍了 CASPO，这是一个通过直接偏好优化将令牌级置信度与逻辑正确性对齐，并借助置信度感知思维（CaT）机制实现对不确定推理分支的动态剪枝，从而提升大型推理模型可靠性与效率的框架。

原作者： Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位才华横溢但过于自信的学生去解决复杂的数学问题。这位学生，我们称他为“推理机器人”，擅长得出正确的最终答案，但他往往是通过走错路、意识到错误，然后在不承认自己曾感到困惑的情况下神奇地自我纠正而达到终点的。更糟糕的是，他可能会自信地走进死胡同，坚信自己是对的，结果仅凭运气才偶然 stumbled 到正确答案。

问题不仅仅在于他答对或答错；而在于他不知道何时自己是不确定的。他可能对实际上毫无意义的步骤抱有 99% 的自信，却对完全合乎逻辑的步骤只有 10% 的自信。这使得他在高风险情境（如医疗或金融）中不可靠，因为在这些领域，你需要信任旅程中的每一步，而不仅仅是目的地。

这篇论文介绍了一种新的训练方法，称为CASPO（置信度感知步骤偏好优化），以及一种新的思维方式，称为CaT（置信度感知思维）。以下是它们的工作原理，使用简单的类比来说明。

问题：“虚假自信”陷阱

目前，这些 AI 模型就像背熟剧本的演员。如果某句台词听起来流畅自然，演员就会以高度自信的语气说出来，即使这句台词在逻辑上毫无意义。

缺陷：模型混淆了“听起来流畅”与“正确”。
结果：它生成了看似连贯、具有说服力的推理链条，但实际上充满了逻辑漏洞。

解决方案：CASPO（“诚实教练”）

作者希望教会模型诚实地面对自身的不确定性。他们创建了一个训练系统，就像一位严格的教练，不仅关注最终的考试成绩，还观察学生做出的每一个动作。

工作原理：

“诚实”指标：系统不依赖外部专家检查每一步（这既缓慢又昂贵），而是倾听模型自身的内部“声音”。它测量模型的“犹豫”程度（使用一个称为熵的概念）。
- 类比：如果模型在生成句子时对下一个词非常确定，其内部的“犹豫”就很低。如果它在多个词之间猜测，其“犹豫”就很高。
训练游戏：系统创建一个游戏，比较两条路径：
- 路径 A：一个正确的步骤，但模型对此感到意外地不确定（高犹豫）。
- 路径 B：一个错误的步骤，但模型对此非常自信（低犹豫）。
- 教训：模型因选择正确的步骤而获得奖励，即使它当时不确定；同时因在过度自信时选择错误步骤而受到惩罚。
目标：随着时间的推移，模型学会校准自身。它明白“高置信度”只应在逻辑真正可靠时出现，而“低置信度”应在逻辑不稳时出现。

结果：CaT（“智能导航员”）

一旦模型被训练得能够诚实地表达其置信度，作者便引入了一种在解决问题时使用它的新方法，称为CaT。

想象你正在茂密的森林（推理过程）中徒步，寻找宝藏（答案）。

旧方法（自一致性）：你派出 100 名徒步者沿着随机路径前进。你等待所有人完成，然后选择大多数人找到的答案。这既缓慢又昂贵。
CaT 方法：你派出少数几名徒步者。他们在行走时，会检查自己的内部指南针（校准后的置信度）。
- 如果一名徒步者到达岔路口且指南针开始疯狂旋转（低置信度），CaT 会立即指示他们停止并折返。
- 如果一名徒步者行进顺畅且指南针稳定（高置信度），CaT 则让他们继续前进。

为何这很重要：

速度：它不会浪费时间探索死胡同。它尽早切断错误路径。
效率：它比那些试图生成数千个答案的方法取得更好的结果，但几乎不需要额外的计算资源。
可靠性：由于模型已被训练为仅在正确时才表现出自信，因此它所选择的路径更有可能在逻辑上是可靠的。

证据

研究人员在十个不同的基准测试中测试了该方法，包括困难的数学竞赛（如 AIME）和逻辑谜题。

结果：经过 CASPO 训练的模型持续获得比其他顶级方法更高的分数。
惊喜：即使不使用任何外部“奖励模型”（这些模型类似于昂贵的人工评分员），模型也能学会信任自身的内部置信度信号。
可扩展性：该方法在较小的模型和非常庞大、强大的模型（如 Qwen3）上均表现良好，证明它是面向未来的稳健工具。

简而言之

这篇论文认为，要使 AI 推理可靠，我们不应仅仅教会它得出正确答案。我们必须教会它知道何时它知道，以及知道何时它不知道。通过训练模型使其内部置信度与逻辑真理保持一致，我们可以创造出不仅靠猜测走向正确答案，而是凭借稳定、诚实的指南针稳步前行的 AI。

技术摘要：置信度感知对齐使推理大语言模型更可靠

1. 问题陈述

大型推理模型（LRMs），如 OpenAI-o1 和 Qwen-3，已通过逐步生成展示了在数学和科学问题解决方面的显著能力。然而，存在一个关键弱点：这些模型经常通过逻辑有缺陷的中间步骤得出正确的最终答案。这导致了最终准确率与推理可靠性之间的差异。

根本原因在于模型内部置信度（token 级概率）与逻辑正确性之间的错位。当前的 LRMs 经常在句法有效但逻辑错误的步骤（幻觉）上表现出高置信度，而在严谨但不熟悉的推导上表现出低置信度。现有的对齐策略，如过程奖励模型（PRMs）或大规模采样（例如自一致性），依赖于外部验证器或计算昂贵的搜索，限制了可扩展性，并且未能利用模型固有的不确定性进行自我验证。

2. 方法论：CASPO 框架

作者提出了CASPO（置信度感知逐步偏好优化），这是一个将 token 级置信度与逐步逻辑正确性对齐的统一框架。该框架在两个相互关联的阶段运行：

A. 训练：置信度感知逐步偏好优化

CASPO 不再仅针对最终轨迹的正确性进行优化，而是专注于在步骤级别校准模型的不确定性。

不确定性度量：该框架利用 token 级分布的香农熵作为无参考的固有不确定性度量。高熵表示低置信度。
数据构建：一个离线强模型（评估器）验证推理步骤的正确性。偏好对基于正确性与置信度之间的相互作用构建：
- 正确但不确定：如果某一步骤正确但置信度低，则将其视为优于高置信度竞争候选的优选响应（ $y_w$ ）。
- 错误但自信：如果某一步骤错误，则正确答案优于模型的错误生成。
- 正确且自信：这些步骤被省略，以避免冗余学习。
优化：模型使用**迭代直接偏好优化（DPO）**进行训练。目标模型 $\pi_\theta$ 被优化以增加优选步骤相对于非优选步骤的相对可能性，使用上一轮迭代的模型作为参考（ $\pi_{ref}$ ）。这使模型能够在推理期间无需单独的奖励模型的情况下，自我纠正置信度校准错误。

B. 推理：置信度感知思维（CaT）

在推理过程中，校准后的置信度用于动态导航推理空间。

机制：模型探索一个推理树，其中每个节点对应部分轨迹。通过乘以每一步的归一化置信度来计算累积置信度分数 $C(z_{1:t})$ 。
剪枝：仅当累积置信度超过阈值 $\tau$ 时才扩展路径。低置信度分支会被尽早剪枝。
效率：该策略将计算预算重新分配给有希望的路径，充当具有可忽略延迟开销（ $O(V)$ ，其中 $V$ 是词汇表大小）的固有自我校正过滤器，避免了外部过程奖励模型的 $O(L^2d)$ 复杂度。

3. 主要贡献

CASPO 框架：一种统一方法，通过迭代 DPO 将固有 token 级熵与逻辑正确性对齐，消除了推理期间对外部评估器的依赖。
CaT 策略：一种解码策略，利用校准后的置信度动态剪枝不确定的推理分支，从而提高效率和可靠性。
逐步数据集：发布带有置信度标注的逐步数据集，以支持对推理可靠性的细粒度分析。
可扩展性：证明了该方法可扩展至更强的基础模型（例如 Qwen3-8B-Base），并且在不使用奖励模型数据的情况下，优于树搜索基线。

4. 实验结果

作者在十个基准测试（包括 MATH500、AIME'24、AIME'25、OlympiadBench 以及代码生成和阅读理解等非数学任务）和多个模型系列（Qwen2.5、Llama-3.1）上评估了 CASPO。

性能提升：在 Qwen2.5-7B-Instruct 上，CASPO 将平均准确率从 44.4% 提升至 50.6%。结合 CaT 推理策略，准确率达到 56.1%。
优于基线：CASPO 始终优于轨迹级优化基线（GRPO、Simple-RL-Zero、PURE-VR、DPO-VP）和推理时方法（CoT、自一致性）。
可扩展性：在 Qwen3-8B-Base 上，CASPO 在 AIME'24 和 AIME'25 上超越了 rStar-Math 和 Satori 等树搜索基线，尽管使用了零奖励模型数据（而基线需要数百万个样本）。
校准质量：训练后，MATH-500 上的期望校准误差（ECE）从 0.184（Base）显著下降至 0.081（CASPO），表明高预测置信度现在与有效的逻辑步骤严格相关。
效率：CaT 在显著更低的延迟下实现了比自一致性更高的准确率（在 Qwen2.5-7B-Instruct 上为 2.8 秒/查询，而自一致性为 12.5 秒/查询）。
泛化性：该方法显示出向非数学领域（包括代码生成（HumanEval）和阅读理解（RACE））的稳健迁移，表明置信度与正确性的对齐是一种基本的推理能力。

5. 意义与主张

该论文声称，CASPO 从根本上增强了推理过程的忠实度，而不仅仅是提高基准分数。通过将置信度与外部监督解耦并利用固有的 token 级不确定性，该框架使模型能够：

自主识别并纠正逻辑不一致性。
在不依赖外部裁判或大规模采样的计算负担下实现可靠的推理。
提供一个可扩展且透明的框架，以提高推理可靠性。

作者强调，他们的方法解决了当前推理研究中的“粒度差距”，从轨迹级奖励转向逐步置信度校准。他们指出，虽然该方法依赖离线评估器进行初始数据构建，但核心学习信号源自模型自身的熵，确保了即使评估器偶尔错误标记路径，系统也能保持稳定。这项工作表明，将内部概率与外部正确性对齐，是在高风险领域实现可验证的可靠推理轨迹的一条可行路径。