🤖 AI

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

本文介绍了 C3RL，这是一种能够同时提高大语言模型准确性与校准度的强化学习算法，并利用这些经过良好校准的置信度分数来驱动 CAS（一种自适应测试时扩展策略），该策略在显著降低推理成本的同时，性能还优于现有方法。

原作者： Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但过度自信的学生正在参加一场非常困难的考试。这个学生是一个人工智能（AI），他擅长解决问题，但他有一个坏习惯：当他不确定答案时，他还是会硬着头皮猜，并且面不改色地宣称：“我 100% 确定！”在 AI 的世界里，这被称为“幻觉”。这就像这个学生自信满满地写下“法国的首都是伦敦”，结果却答错了。

你分享的论文介绍了一个两步走的系统，旨在纠正这个学生的行为，并让他们的学习时间变得更高效。

第一步：“诚实教练”（C3RL）

解决方案的第一部分是一种新的训练方法，称为 C3RL（正确性与置信度校准强化学习）。你可以把它想象成一位严厉但公正的教练，同时教给学生两件事：

把答案答对。（不要只是瞎猜。）
对自己的确定程度保持诚实。（如果你在瞎猜，请承认。）

通常，当我们训练 AI 时，我们只奖励他们答对答案的行为。这使得他们迫切地想要答对，因此会对自己的信心进行“撒谎”。C3RL 改变了规则。如果学生答对了且表示自己很有把握，你会给他们一颗“小金星”。如果他们答错了但承认自己不确定，你也会给他们一颗“小金星”。

然而，如果他们答错了却声称自己 100% 确定，你会给他们一个“大大的红叉”。如果他们答对了却声称自己完全没头绪，你同样会给他们一个“大大的红叉”。

结果是：AI 学会了在实际是在瞎猜时说“这个我不确定”，并在确实知道答案时说“我非常有信心”。它停止了这种“自信的谎言”。

第二步：“聪明预算管理者”（CAS）

一旦学生学会了诚实，系统的第二部分就会介入。这被称为 CAS（基于置信度的自适应测试时缩放）。

想象一下你就是那个正在批改考试的老师，但你的时间和精力是有限的。你不能在每个问题上都花费 10 个小时。

旧方法（多数投票法）： 你要求学生把每个问题回答 64 遍，然后取出现次数最多的答案。这种方法很准确，但极其浪费。这就像要求一个学生为了确保答案正确而把一道数学题做 64 遍。
新方法（CAS）： 你要求学生回答一次问题。
- 如果学生说：“我有 90% 的把握是 A”，你就立即相信他们，写下答案，然后继续下一个。你节省了时间！
- 如果学生说：“我只有 40% 的把握”，你就知道他们在挣扎。于是，你让他们再试一次，再试一次，直到他们有信心为止，或者直到你尝试了足够多次。

因为在第一步中，学生（AI）已经学会了对其置信度保持诚实，所以你可以信任他们的“我确定”信号。这使得你可以停止在简单问题上浪费时间，并将精力集中在那些真正困难的问题上。

最终结果

论文表明，这种组合效果显著：

更好的诚实度： AI 在不降低实际解题能力的前提下，变得更擅长识别自己何时不知道答案。
巨大的节省： 通过使用“聪明预算管理者”，该系统节省了大量的计算资源。在某些测试中，它使用的计算资源比旧方法少了 12 倍，同时获得了相同（甚至更好）的结果。

简而言之，这篇论文教会了 AI 停止在自己所知领域进行虚张声势，并利用这种诚实，通过仅在真正需要时才努力工作，从而节省了时间和金钱。

技术摘要：自信地扩展（Scaling with Confidence）

问题陈述

虽然强化学习（RL）在提升大型语言模型（LLM）的推理和问答能力方面取得了显著进展，但现有的 RL 奖励设计通常优先考虑响应的正确性，而忽略了置信度的校准。这种忽视导致了一个关键的失效模式：当模型处于不确定状态时，往往会对错误的输出表现出过度自信（即幻觉）。现有的校准方法面临三个主要局限性：

粒度粗糙： 它们通常将校准简化为二元分类（确定 vs 不确定），无法捕捉细微的不确定性。
准确性与校准的权衡： 校准能力的提升往往以牺牲准确性为代价，因为模型可能会学习通过提供刻意错误且低置信度的答案来最小化校准损失。
利用不足： 校准后的置信度很少被用于下游决策，例如自适应推理和资源分配。

方法论

本文提出了一个由两个核心组件组成的统一框架：C3RL（训练）和 CAS（推理）。

1. 正确性与置信度校准强化学习 (C3RL)

C3RL 是一种新型 RL 算法，旨在同时优化正确性和校准性，且不牺牲性能。它使用一个由三个不同部分组成的复合奖励函数 ( $R_{C3RL}$ ):

正确性奖励 ( $R_{correctness}$ )： 标准的指示奖励（正确为 $+1$ ，错误为 $0$），确保模型向事实准确性的方向更新，防止出现“虽经校准但错误”的捷径。
校准奖励 ( $R_{calibration}$ )： 该组件激励口头表达的置信度与实际正确性之间的一致性。使用阈值 $t=5$ ，模型对于“确定且正确”和“不确定且错误”的响应获得奖励 ( $+\beta$ )，对于“确定且错误”和“不确定且正确”的响应受到惩罚 ( $-\beta$ )。
参考准确性奖励 ( $R_{reference}$ )： 为了防止模型在原本具有高正确概率的问题上产生幻觉，该奖励利用了基于数据集的信息参考标签。
- 如果一个问题最初是“全错”的（基于基座模型采样），但模型回答正确，则获得正向奖励 ( $+\alpha$ )。
- 如果一个问题最初是“全对”的，但模型产生了错误的幻觉回答，则受到负向惩罚 ( $-\alpha$ )。

训练数据构建： 作者从数学、科学和逻辑推理领域构建了一个高质量的数据集。对于每个训练样本，基座模型生成 10 个响应，以分配参考准确性标签：“全对”、“部分正确”或“全错”。

2. 基于置信度的自适应测试时扩展 (CAS)

利用 C3RL 产生的经过良好校准的口头置信度，作者引入了 CAS，这是一种在推理阶段动态分配计算资源的策略。

机制： CAS 不依赖于频率或熵（这些指标通常未经校准），而是使用唯一答案的口头置信度之和。
停止准则： 算法使用基于 Beta 分布的公式，计算最自信的答案 ( $c_1$ $c_{1}$ ) 支配第二自信答案 ( $c_2$ $c_{2}$ ) 的概率。
- 如果 $Prob(c_1, c_2) \geq P_{stop}$ （表明顶层答案具有高度支配地位），则提前停止采样。
- 否则，继续采样。
资源分配： 该策略有效地将计算预算从高置信度样本（需要较少采样即可确认）转移到低置信度样本（通过增加采样获益更多）中。

核心贡献

C3RL 算法： 一种新型 RL 方法，能够同时提高正确性和校准性，在保持整体性能的同时减少过度自信。它是首个将参考准确性信息整合进奖励函数的算法，从而稳定学习过程。
CAS 策略： 一种用于测试时扩展的早停机制，利用校准后的置信度来动态分配推理预算，将更多计算资源投入到不确定的样本中。
统一框架： C3RL 与 CAS 的协同作用创造了一个连贯的流水线，使 LLM 能够表达校准后的置信度并自适应地控制推理成本。

实验结果

该框架在 8 个文本和多模态数据集（包括 AGIEval、MMLU、MMMU 和 MathVista）上使用 Qwen2.5VL-7B-Instruct 和 Llama-3.2-3B-Instruct 进行了评估。

校准 vs. 准确性： C3RL 在平衡性能与可靠性方面优于当前的 SOTA RL 方法（RLCR）和其他基线（SaySelf, RLVR）。在分布外（OOD）数据集上，C3RL 实现了卓越的校准效果（更低的预期校准误差 ECE），同时保持或超过了 RLCR 的准确性。值得注意的是，C3RL 避免了其他侧重校准的方法中所出现的准确性下降问题。
推理效率： 在测试时扩展实验中，CAS 显著降低了达到标准多数投票（MV）准确度所需的推理预算。
- 与 MV 相比，CAS 在 OOD 文本数据集上减少了高达 12.33 倍 的所需采样次数。
- CAS 在 OOD 文本任务上始终优于自适应一致性（AC），在保持竞争性准确度的同时，使用的采样预算不到 AC 的一半。
分层分析： 实验证实，低置信度样本通过增加采样获得的收益显著高于高置信度样本（准确度从 ~49% 跃升至 ~54.5%），验证了 CAS 的资源转移逻辑。

重要性与主张

作者声称，他们的工作解决了模型性能与可靠性之间的关键差距。通过整合正确性、校准性和参考准确性，C3RL 使模型能够在不牺牲正确回答能力的前提下，“在不确定时发出低置信度信号”。

这项工作的意义在于训练与推理之间的协同作用：

C3RL 提供了必要的“经过良好校准的口头置信度”。
CAS 高效地利用这一信号来优化资源使用。

论文得出结论，这一统一的流水线为部署更可靠且高效的 LLM 铺平了道路，特别是在避免过度自信幻觉至关重要的安全关键领域。作者也指出了局限性，包括由于科学领域数据稀缺可能导致的训练偏差，以及尽管 C3CL 的校准效果优于侧重准确性的 RL 方法，但在孤立对比时仍落后于纯校准方法（如 SaySelf）。