💬 NLP

CALIBER: Calibrating Confidence Before and After Reasoning in Language Models

本文介绍了 CALIBER，这是一种通过区分推理前和推理后的置信度状态，并针对每种状态使用与其特定信息上下文相匹配的目标进行监督，从而改进推理语言模型校准的方法，该方法显著降低了各种基准测试和模型规模下的校准误差。

原作者： Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在参加一场非常困难的数学考试。在两个时刻，你可能会想问自己：“我有多少把握能答对？”

在开始思考之前： 你看着题目，猜测道：“嗯，这看起来很难。我可能会做对，也可能做不对。”
在解题之后： 你已经写下了答案并检查了你的过程。现在你问自己：“好吧，看着我刚刚写的这个具体答案，它真的正确吗？”

论文 CALIBER 指出，大多数当前的 AI 模型犯了一个错误：它们将这两个时刻视为同一件事。它们试图给出一个单一的“置信度分数”来同时完成这两项工作。作者说，这就像是要求气象预报员使用同一个数字来既预测“今天会下雨吗？”（在看天空之前），又预测“今天下午是否下过雨？”（在暴风雨过后）。这会造成混乱并导致错误的判断。

问题所在：混淆了“之前”与“之后”

把 AI 模型想象成一个正在侦破谜案的侦探。

“之前”的置信度： 这是侦探观察犯罪现场后说：“基于现场的混乱程度，我有 60% 的把握能破解此案。”这是关于谜题的难度。
“之后”的置信度： 这是侦探看着自己的最终结论和收集到的证据后说：“基于我发现的这些具体线索，我有 95% 的把握我的结论是正确的。”这是关于特定答案的质量。

现有的方法通常强迫 AI 只给出一个数字。如果 AI 说“我有 80% 的把握”，那是因为谜题很简单，还是因为 AI 找到了极好的线索？论文认为你无法得知，这也是为什么 AI 的置信度经常是“失准的”（即它在错误时表现得很有信心，或者在正确时表现得不确定）。

解决方案：CALIBER（推理前后的校准）

作者创建了一个名为 CALIBER 的新系统。与其要求 AI 给出一个猜测，不如在不同时间要求它给出两个猜测：

“思考前”的猜测： 在 AI 开始其“思考”过程之前，它先给出一个置信度分数。这个分数被训练用来预测：“解决这类问题成功的概率是多少？”
“思考后”的猜测： 在 AI 完成思考并写出答案后，它给出第二个置信度分数。这个分数被训练用来预测：“我刚刚写的这个特定答案真的正确吗？”

秘诀所在： 论文发现，这两个猜测需要以不同的方式进行“教导”。

**“思考前”**的猜测是通过观察一组尝试来教导的。如果 AI 在类似问题上每 10 次中有 7 次答对，那么在开始之前，它应该学会说“70%”。
**“思考后”*的猜测是通过观察特定的答案来教导的。如果 AI 答对了这个特定*的答案，它应该学会说“100% 确定”；如果答错了，它应该说“0% 确定”。

通过将这两个任务分开，并用正确的“作业”（数据）来教导它们，AI 变得更擅长了解自己的知识边界。

测试结果如何？

研究人员在数学题和常识问题（如百科知识）上测试了它。他们将 CALIBER 与其他仅要求单一置信度分数的方法进行了对比。

结果： CALIBER 在保持诚实方面表现得更好。
- 当 CALIBER 说它有“90% 的把握”时，它实际上在 90% 的情况下是正确的。
- 其他方法经常说自己有“90% 的把握”，但实际正确率只有 60%（过度自信），或者在实际正确率达 90% 时却说只有“50% 的把握”（置信不足）。
“分布外”测试： 他们还在 AI 从未见过的题目上测试了它（例如从数学谜题切换到百科知识）。即使在这些全新的、棘手的任务中，CALIBER 也比其他方法更能诚实地反映其置信度。

“差距”是有用的

论文中提到的一件很酷的事情是这两个数字之间的差距。

如果 AI 最初的置信度较低（例如：“我不确定能否解决这个问题”），但最后置信度很高（例如：“但现在我已经解出来了，我很确定！”），那么这个差距说明思考过程确实起到了作用。
如果 AI 最初置信度很高，但最后变低了，这意味着思考过程揭示了一个错误。

总结

简单来说，CALIBER 通过意识到“猜测问题是否可解”和“猜测特定答案是否正确”是两种不同的技能，从而修复了 AI 的置信度问题。通过将这两件事分开并分别正确地教导 AI，AI 变成了一个更加可靠的伙伴，它知道何时可以信任自己，以及何时需要保持谨慎。

技术摘要：CALIBER —— 推理语言模型前后置置信度校准研究

问题陈述

推理语言模型不仅被要求解决复杂问题，还被要求能够评估自身成功的可能性。现有的校准方法通常在生成过程中的特定点提取单一的置信度估计：要么是在开始思考之前（思考前），要么是在产生最终答案之后（思考后）。

作者认为，推理模型的置信度是依赖于状态的（state-dependent）。

**思考前置信度（Pre-thinking confidence）**仅以提示词（ $x$ ）为条件。它应当估计模型当前策略解决该提示词的概率，而不受即将生成的具体推理轨迹的影响。
**思考后置信度（Post-thinking confidence）**以提示词、已实现的推理轨迹（ $z$ ）以及最终答案（ $\hat{y}$ ）为条件。它应当估计该特定已实现的响应的正确性。

当前的方法通常将这些不同的信息状态混为一谈，即对单一估计应用单一的监督目标，或者使用与信息状态不匹配的目标（例如，使用实例级的正确性目标来训练思考前的估计）。这种模型被要求估计的内容与训练目标之间的不匹配，会导致校准效果不佳，尤其是在分布偏移的情况下。

方法论：CALIBER

作者引入了 CALIBER（Calibration Before and After Reasoning，推理前后校准），该框架在单个响应中提取两个截然不同的置信度估计，并根据其信息状态分别进行监督。

1. 状态依赖型校准

CALIBER 将模型的输出结构化为包含以下内容：

前置置信度 ( $p_{pre}$ )：在思考轨迹之前发出。它仅以提示词为条件。
思考轨迹与答案：标准的推理过程。
后置置信度 ( $p_{post}$ )：在思考轨迹和答案之后发出。它以完整的已实现响应为条件。

2. 监督目标

该框架根据估计的位置分配特定的校准目标：

前置置信度目标（组级/Group-wise）：针对当前策略在提示词上的经验成功率（ $\hat{p}(x)$ ）进行监督，该指标计算为该提示词下 $N$ 次采样展开（rollouts）的平均正确率。这反映了提示词的可解性（solvability）。
后置置信度目标（实例级/Instance-wise）：针对特定展开的二元正确性（ $c_i$ ）进行监督。这反映了已实现答案的正确性（correctness）。

3. 训练目标

训练利用了带有可验证奖励的强化学习（RLVR）。单次展开 $i$ 的总奖励是四个权重相等的组成部分的之和：

准确率奖励 ( $R_{acc}$ )：答案的二元正确性。
格式奖励 ( $R_{fmt}$ )：确保模型输出所需的标签和有效的置信度值。
前置置信度校准奖励： $1 - (p_{pre} - \hat{p}(x))^2$ 。
后置置信度校准奖励： $1 - (p_{post} - c_i)^2$ 。

为了解决由于低方差的组级前置置信度奖励被高方差的实例级奖励所主导而导致的优化困难，CALIBER 采用了两阶段训练方案：

预热阶段（Warmup）：仅优化前置置信度的组级奖励，以建立多样化的估计。
联合训练阶段（Joint Training）：同时优化前置置信度、后置置信度和准确率奖励。

核心贡献

状态依赖型框架化：论文将推理模型的置信度定义为基于信息状态的不同量：思考前置信度对应于问题的可解性（组级），而思考后置信度对应于答案级的正确性（实例级）。
CALIBER 框架：提出了一个统一的协议，提取两种估计并将其分别与适当的监督目标对齐，避免了以往单置信度方法中存在的失配问题。
受控对比：作者通过在共享的训练和评估协议下，将 CALIBER 与一组受控的基线模型（RLCR, COREA-lite, CoCA-lite, DCPO-lite）进行对比，从而隔离了“位置-目标对齐”的贡献，消除了诸如分段信用分配等设计选择带来的干扰。
诊断差距：该框架允许分析前置与后置置信度之间的差距，从而作为衡量模型不确定性在推理过程中如何演变的逐例信号。

结果

域内性能 (BigMathDigits)

7B 模型：与最强的单置信度基线（DCPO-lite）相比，CALIBER 将期望校准误差（ECE）降低了 52.5%。它在保持准确率与最优水平差距在 2.1 个百分点以内的同时，实现了最佳的 ECE、Brier 分数和 AUROC。
30B 模型：CALIBER 实现了最佳的 ECE（0.022），同时保持了具有竞争力的 AUROC（0.797），这使其区别于像 CoCA-lite 这样虽然 ECE 低但判别力差（AUROC 约为 0.5）的方法。

分布外（OOD）泛化能力

在 GPQA、TriviaQA 和 SimpleQA 上进行的评估显示：

校准性能：在 GPQA 和 TriviaQA 上，CALIBER 在两种模型规模下均一致地实现了最佳的 ECE 和 Brier 分数。
SimpleQA：在这种极端的分布偏移下，CALIBER 为 7B 模型实现了最佳的 ECE 和 Brier 分数。对于 30B 模型，虽然 DCPO-lite 的 ECE 略低，但 CALIBER 实现了显著更高的 AUROC，表明其具有更好的校准-判别权衡。
可靠性：可靠性图表显示，CALIBER 避免了严重的过度自信，并在高置信度区域与对角线保持良好一致。

消融实验

通过交换目标（用实例目标训练前置置信度，用组级目标训练后置置信度）进行的消融实验表明：

域内表现：结果褒贬不一；30B 模型从正确的对齐中获益显著，而 7B 模型表现出的指标则较为复杂。
分布外表现：位置-目标对齐至关重要。CALIBER 在所有 OOD 数据集和模型规模上均一致优于交换后的基线，显著降低了 ECE。这表明，将监督目标与信息状态相匹配对于在分布偏移下实现鲁棒校准是必不可少的。

意义与主张

论文声称，CALIBER 证明了推理模型的校准应当被视为一个动态问题，而非附加在答案上的静态标量。

对齐是关键：其主要意义在于证明了“位置-目标对齐”（即将思考前置信度与组级成功率、思考后置信度与实例正确性相匹配）是驱动校准改进（尤其是在分布偏移下）的关键因素。
诊断效用：前置与后置置信度之间的差距提供了一个有意义的诊断信号，用于衡量模型在推理过程中不确定性的变化，而非仅仅是一个静态的置信度分数。
安全性与信任：通过在不显著牺牲任务准确性的情况下提高校准度，CALIBER 支持了推理模型在错误代价较高的场景中的安全部署，因为它允许用户更好地信任模型的自我评估。

作者总结道，未来的工作应将这种状态依赖的方法扩展到两个以上的观察点，更直接地测试提示词层级的可解性假设，并在更多模型家族和任务领域验证这些发现。