💬 NLP

Calibrating LLMs with Semantic-level Reward

本文提出了语义奖励校准（CSR）框架，该框架通过将不一致的言语化置信度分数替换为一种语义级奖励，鼓励正确输出之间达成一致并抑制错误输出之间的虚假一致性，从而提升大语言模型的不确定性校准能力，在各类基准测试中实现了显著更低的错误率和更高的可靠性。

原作者： Fengfei Yu, Ruijia Niu, Dongxia Wu, Yian Ma, Rose Yu

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fengfei Yu, Ruijia Niu, Dongxia Wu, Yian Ma, Rose Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《Calibrating LLMs with Semantic-Level Reward》（利用语义级奖励校准大语言模型）的解释。

问题：过度自信的猜谜游戏

想象你正在参加一场非常重要的考试，比如医师资格考试。你有一个学习伙伴（即人工智能）帮你回答问题。

目前，大多数人工智能训练方法就像一位只关心最终答案是对还是错的老师。

如果你的学习伙伴以 100% 的自信猜“天空是绿色的”并且猜错了，老师会给它零分。
如果你的学习伙伴以 100% 的自信猜“天空是蓝色的”并且猜对了，老师会给它一颗金星。

问题出在哪里？老师将自信的错猜和自信的对猜在“对/错”信号方面完全等同对待。这教会了人工智能成为一个“自信的赌徒”。它学会了大声且肯定地回答是好事，哪怕它是错的。在高风险情境下（如法律或医学），一个自信的错答案是非常危险的，因为你可能会过度信任它。

旧方案：要求人工智能“说出它有多确定”

研究人员曾试图通过教导人工智能说“我有 80% 的把握”来解决这个问题。如果它的自信数值与其实际答对的频率相匹配，就会给予奖励。

缺陷： 论文指出，这就像要求一个人在纸上写下自己的自信程度。但如果你用略微不同的方式向同一个人问同一个问题（例如，“天空是什么颜色的？”对比“告诉我天空的颜色”），即使他们感觉一样，也可能对前者写下"80%"，对后者写下"90%"。

论文表明，这些“口头表达的自信”分数是不稳定的。它们会根据你提问的方式而改变，而不是基于实际真理。这就像一位天气预报员，仅仅因为你让他穿蓝衬衫而不是红衬衫，就改变了他的预测。

新方案：CSR（利用语义奖励进行校准）

作者提出了一种名为CSR的新方法。与其让人工智能说它有多自信，不如让它通过行为来展示自信。

类比：“探险家小队”

想象你派 8 名不同的探险家（称为“ rollout"，即 rollout 采样）进入森林寻找隐藏的宝藏（正确答案）。

如果宝藏很容易找到（正确答案）：
- 使用 CSR 时： 所有 8 名探险家都回来并说：“我们在大橡树那里找到了它！”他们意见一致。因为他们对地点的含义达成一致，系统就知道：“哇，人工智能非常自信且很可能正确。”
- 奖励： 人工智能因这种一致性获得加分。
如果宝藏很难找到（错误答案）：
- 使用 CSR 时： 探险家们带着不同的故事回来。一个说：“它在河边。”另一个说：“它在洞穴里。”还有一个说：“它在岩石下面。”他们都在谈论不同的事情。
- 奖励： 系统看到这种混乱，会说：“这个人工智能很困惑，很可能错了。”它会因缺乏一致性而惩罚人工智能。

魔法成分：
论文引入了一种特殊的“语义奖励”。它不在乎探险家们是否使用完全相同的词语（例如，“橡树”对比“那棵大橡树”）。它使用一个裁判来判断他们是否意指相同的事物。

如果人工智能是对的，奖励会促使 8 名探险家聚拢成一个紧密的群体（高一致性）。
如果人工智能是错的，奖励会促使 8 名探险家散开到不同的方向（低一致性）。

为什么这更好

不需要“自信标记”： 人工智能不必停下来并说“我有 90% 的把握”。它只需回答问题。系统通过观察 8 个不同答案之间的一致性程度来推断自信度。
结果稳定： 因为它关注的是答案的含义而不是具体的措辞，所以不会因为提问方式的不同而感到困惑。
更好的安全性： 论文在三种不同的人工智能模型（Llama、Qwen、Mistral）和四种不同类型的问题上测试了这种方法。他们发现，CSR 使人工智能在判断自己何时正确、何时错误方面表现更好。
- 它将“期望校准误差”（衡量人工智能困惑程度的指标）降低了高达 40%。
- 它将正确答案排名高于错误答案的能力提高了高达 31%。

总结

论文指出：停止要求人工智能告诉你它有多确定。相反，要求它给你 8 个不同的答案。如果这 8 个答案都意味着相同的事情，那么人工智能是自信的且很可能是对的。如果这 8 个答案各不相同、杂乱无章，那么人工智能是困惑的且很可能是错的。

这种方法使人工智能更安全、更可靠，而无需它编写关于其感受的额外句子。

技术摘要：基于语义级奖励的大语言模型校准

问题陈述

随着大语言模型（LLMs）被部署于医疗问答和法律推理等高利害领域，评估输出结果可能正确的能力至关重要。标准的可验证奖励强化学习（RLVR）针对二元正确性进行优化，但未能考虑模型的置信度。这种二元奖励结构对置信度水平漠不关心，在结构上 incentivize 过度自信的猜测，因为表达确定性不会带来任何惩罚。因此，经 RL 训练的模型往往表现出更高的幻觉率和较差的校准性。

近期尝试解决此问题的方法是训练模型在生成答案的同时输出口语化置信度分数（例如“我有 80% 的把握”）。然而，本文指出，口语化置信度是衡量不确定性的不可靠代理。实证分析表明，即使底层语义含义完全相同，这些分数也对提示措辞和答案文本的变化高度敏感。口语化置信度往往无法追踪模型实际生成的语义分布，其校准的只是报告接口，而非模型真正的语义不确定性。

方法论：基于语义奖励的校准（CSR）

作者提出了基于语义奖励的校准（CSR），这是一个直接在语义空间校准大语言模型的框架，无需显式的置信度报告接口。

核心概念

CSR 将校准问题表述为语义级不确定性：即模型对同一问题重复采样时所产生的语义分布。如果模型满足以下条件，则被视为校准良好：

正确预测形成集中的语义簇（高语义一致性）。
错误预测产生分散的、语义多样的输出（低语义一致性）。

不确定性利用语义熵从答案分布中事后估计，无需模型生成置信度 token。

奖励结构

CSR 采用通过组相对策略优化（GRPO）进行优化的双重奖励系统：

可验证正确性奖励（ $r_{RLVR}$ ）：标准的二元奖励（若生成结果与真实标签匹配则为 1，否则为 0）。这将概率质量向正确的语义模式转移。
语义校准奖励（ $r_{calibration}$ ）：一种新颖的奖励，旨在使成对语义一致性与正确性对齐。
- 对于一组 $K$ 个生成结果，如果某个生成结果 $C^{(j)}$ 与其他生成结果 $C^{(i)}$ 的一致性与其相对于真实标签的正确性不匹配，则该结果会受到惩罚。
- 具体而言，它最小化成对一致性指示符 $J(C^{(j)}, C^{(i)})$ 与正确性指示符 $J(C^{(j)}, C^*)$ 之间的二元交叉熵。
- 效果：这鼓励正确的生成结果相互一致（形成紧密簇），并鼓励错误的生成结果相互不一致（促进探索，远离错误的模式）。

训练目标

作者观察到，单独优化校准奖励会导致退化的失效模式（要么坍缩为单一错误答案，要么生成最大多样性的错误答案）。为防止这种情况，他们采用了课程学习调度：
$r_{CSR}^{(j)}(t) = r_{RLVR}^{(j)} + \lambda(t) r_{calibration}^{(j)}$
其中 $\lambda(t)$ 是一个非递减函数（实验中使用了线性调度）。这确保模型首先通过 $r_{RLVR}$ 建立非零准确率，随后校准信号再塑造分布结构。

集成

CSR 与 GRPO 无缝集成。由于 GRPO 本身已采样一组生成结果以计算优势值，CSR 利用同一组结果来评估成对语义一致性，因此不产生额外的采样开销。

主要贡献

语义校准公式：从口语化置信度转向语义级不确定性，提供了一种原则性的替代方案，摆脱了对提示依赖的置信度接口。
CSR 框架：一种强化学习方法，将成对语义一致性与正确性对齐，使模型能够在没有显式置信度监督的情况下学习校准后的不确定性。
实证验证：在三个模型系列（Llama、Qwen、Mistral）和四个问答数据集（HotpotQA、TriviaQA、MSMARCO、NQ-Open）上进行了验证。

实验结果

实验在 10,000 个 HotpotQA 训练样本上进行，并在每个数据集的 1,000 个样本（包括分布外集合）上进行评估。

校准性能：CSR 在几乎所有设置中均实现了最低的期望校准误差（ECE）和最高的 ROC 曲线下面积（AUROC）。
- ECE 降低：与口语化置信度基线（RD、RLCR）相比，降低幅度高达40%。
- AUROC 提升：与口语化置信度基线相比，提升幅度高达31%。
- 泛化性：CSR 在分布外（OOD）数据集上保持了强大的校准性能，而口语化方法则表现出不一致的增益。
准确率：CSR 保持了与标准 RLVR 相当的准确率，避免了单独优化校准奖励时出现的准确率崩溃。
效率：
- Token 成本：CSR 的 Token 成本与 Base 和 RLVR 模型相当，且显著低于（2.7 倍至 5.7 倍）需要顺序推理和置信度生成的 RLCR。
- 判别器效率：作者探索了用轻量级的 Token 级 F1 阈值替代基于 LLM 的语义判别器。虽然 LLM 判别器更为稳健，但 F1 代理保留了 CSR 大部分校准增益，提供了一种计算高效的替代方案。
鲁棒性：校准增益在不同的生成预算（ $K$ ）下持续存在，并且对课程调度选择具有鲁棒性。

意义与主张

本文主张，CSR 解决了口语化置信度方法的根本局限性：它们依赖于对表面形式和提示变化敏感的报告接口。通过直接校准模型的语义分布，CSR 实现了：

鲁棒的泛化性：校准行为能有效迁移到具有不同词汇内容但语义不确定性结构相似的新数据集。
可靠性：它为高利害场景下的下游决策提供了更可靠的不确定性信号。
实用性：它避免了与口语化置信度相关的解析失败和格式限制（例如 RLCR 的推理轨迹或 RD 的整数分箱），在所有测试配置中实现了 100% 的解析率。

作者总结认为，语义级校准代表了可靠不确定性估计的一个有前景的方向，尽管他们承认语义等价判别的计算开销是目前的一个局限性，并建议未来开展基于规则的一致性指标研究。