💬 NLP

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

本文介绍了 RLCR（带校准奖励的强化学习），这是一种新颖的训练方法，通过在二元正确性奖励中引入 Brier 分数，同步提升语言模型的准确性与校准置信度，从而缓解标准强化学习常引发的幻觉与校准退化问题。

原作者： Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一名非常聪明的学生参加一场高难度的考试。目标不仅仅是让他们答对题目，更是要让他们知道何时是在猜测，以及何时是确定的。

这篇题为《超越二元奖励》的论文，提出了一种训练这些 AI“学生”（语言模型）的新方法，使它们变得更聪明，同时也更诚实地反映其置信度。

问题：“猜谜游戏”陷阱

目前，当我们训练 AI 去解决难题（如数学或常识问答）时，使用的是一个简单的评分系统，称为二元奖励。

规则：如果答案正确，得一分；如果错误，得零分。
缺陷：这个系统并不关心 AI 是如何得出答案的。无论 AI 是通过深度逻辑推理得出答案，还是胡乱猜测并侥幸猜中，它得到的分数都是一样的。
结果：AI 学会成为一个“自信的赌徒”。即使它完全不知道自己在说什么，也会以 100% 的置信度开始猜测答案。在现实世界中，这是危险的，因为 AI 可能会“幻觉”（胡编乱造），并且对其谎言表现得非常确信。

解决方案：RLCR（“诚实教练”）

作者提出了一种新的训练方法，称为RLCR（带有校准奖励的强化学习）。你可以将其想象为聘请了一位同时从两个方面给学生打分的教练：

你答对了吗？（准确性）
你的置信度水平准确吗？（校准度）

它是如何工作的：
AI 不再仅仅被要求回答“对”或“错”，而是被迫说出：“这是我的答案，以及一个从 0 到 1 的数字，代表我有多确定。”

教练使用一种特殊的评分规则（称为Brier 分数）来评估置信度：

如果 AI 说“我有 90% 的把握”并且答对了，它会得到极好的分数。
如果 AI 说“我有 90% 的把握”但答错了，它会受到严厉的惩罚。
如果 AI 说“我有 50% 的把握”（不确定）并且答错了，它受到的惩罚会较小。

这教会了 AI 一个至关重要的道理：与其自信地犯错，不如不确定地犯错。

类比：天气预报员

想象两位天气预报员：

预报员 A（旧方法）：总是说：“明天肯定会下雨！”如果下雨了，他们是天才；如果是晴天，他们只是错了，但他们从不承认自己是在猜测。他们是“过度自信”的。
预报员 B（RLCR 方法）：会说：“有 60% 的概率会下雨。”如果下雨了，他们是对的；如果是晴天，他们会承认：“嗯，我说了 60%，所以我错了，但我当时知道存在这种可能性。”

论文表明，预报员 B（即 RLCR 模型）要可靠得多。他们不仅更频繁地给出正确答案，还能确切地告诉你何时是在猜测，这样你就知道何时可以信任他们，何时需要再次核实。

实验结果

研究人员在涉及事实（例如"1969 年谁赢得了欧洲歌唱大赛？”）和数学问题的难题上测试了这种方法。

更高的诚实度：RLCR 模型停止了胡乱猜测。当它们不确定时，会降低置信度分数。
依然聪明：关键在于，让 AI 变得“诚实”并没有让它变“笨”。它在已知的问题上保持了高准确率。
泛化能力：即使 AI 面对从未见过的问题（域外问题），与旧的“自信猜测者”模型相比，它对其不确定性的诚实度也高得多。
测试时提升：由于 AI 的置信度分数现在值得信赖，研究人员可以利用它们来改进最终答案。例如，如果 AI 生成了 10 个不同的答案，他们可以选择置信度分数最高的那个，它更可能是正确的。

结论

这篇论文证明，通过教会 AI“思考其自身的思考”，并奖励其诚实地面对不确定性，我们可以构建出不仅准确而且可靠的推理系统。它们不再假装无所不知，而是开始告诉你何时它们仅仅是在猜测。

）。
2. 一个最终答案（<answer>）。
3. 对不确定性的分析（<analysis>）。
4. 一个数值置信度分数（<confidence>）。

训练目标将标准的正确性奖励与Brier 分数（一种用于置信度估计的严格评分规则）相结合。奖励函数 $R_{RLCR}$ 定义为：
$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$
其中：

$y$ 是模型预测的答案。
$y^*$ 是真实答案。
$q$ 是语言化的置信度分数（ $q \in [0, 1]$ ）。
$\mathbb{1}_{y \equiv y^*}$ 是正确性的指示函数。

理论保证

该论文证明，此奖励函数同时激励了准确性和校准性。具体而言，当满足以下条件时，期望奖励达到最大化：

模型输出最有可能正确的答案（ $y = \arg\max_{y'} p(y' \equiv y^*)$ ）。
置信度分数 $q$ 准确反映正确性的真实概率（ $q = p(y \equiv y^*)$ ）。

作者证明，这一结论适用于任何有界的严格评分规则。他们将其与对数分数（log-loss）进行对比，后者虽然是严格评分规则，但无界。理论分析和玩具实验表明，使用无界分数（如对数损失）结合正确性项可能导致“奖励黑客”行为，即模型为了最大化校准项而牺牲准确性，输出置信度为零的错误答案。

主要贡献与结果

1. 在不牺牲准确性的情况下提升校准性

在HotpotQA（多跳推理）和Big-Math（数学推理）上的实验表明，RLCR 在保持与标准 RLVR 相当的任务准确性的同时，显著提升了校准性。

分布内（In-Distribution）： 在 HotpotQA 上，RLCR 将期望校准误差（ECE）从 0.37（RLVR）降低至 0.03。在数学数据集上，ECE 从 0.26 下降至 0.10。
分布外（OOD）： 虽然标准 RLVR 往往会恶化分布外任务的校准性，但 RLCR 却能改善它。例如，在分布外基准测试中，RLCR 实现了 0.21 的 ECE，而 RLVR 为 0.46，同时保持了相当的准确性。

2. 显式不确定性推理的作用

消融研究表明，RLCR 的成功源于两个独立组件：

校准感知奖励： 使用 Brier 分数奖励进行训练是校准性提升的主要驱动力。
显式不确定性推理： 提示模型生成关于其不确定性的 <analysis> 分析，能进一步提升校准性，特别是在模型较小或容量受限时。然而，即使没有显式分析，RLCR 在校准性方面也显著优于 RLVR。

3. 测试时扩展与自一致性

论文表明，RLCR 生成的语言化置信度分数可在测试时被利用以提升性能：

置信度加权扩展： 利用语言化置信度对多数投票进行加权或选择最佳 N 个响应，比基于似然的选择或普通多数投票能获得更高的准确性和更好的校准性。
自一致性： RLCR 模型在针对同一答案的多个推理链中，置信度分数的方差更低，表明其不确定性估计更稳定且更具自一致性。

4. 泛化能力

该方法在不同模型家族（Qwen2.5-7B、OlMo-2-7B 和 Qwen3-8B）上得到了验证，显示出相对于 RLVR 基线在校准性方面的一致性提升。

意义与主张

该论文主张，通过严格评分规则显式优化校准性，是对现有推理训练流程的一种简单修改，能够产生更可靠的推理模型。作者认为：

校准性是可学习的： 模型不仅可以被训练为正确回答问题，还可以被训练为准确评估自身的确定性。
鲁棒性： RLCR 生成的模型对分布偏移更具鲁棒性，在标准 RL 模型失效的地方仍能保持校准性。
实用价值： 语言化置信度分数不仅仅是诊断工具；它们是可操作的，能够启用测试时扩展方法，在不依赖外部奖励模型或额外监督的情况下，同时提升准确性和可靠性。

作者对结果保持谦逊，承认虽然 RLCR 显著降低了校准误差，但绝对意义上的域外校准误差仍然可能很高，且模型偶尔仍会对矛盾的答案赋予高置信度。尽管如此，这项工作确立了一条通往既准确又能传达不确定性的推理系统的道路。