💬 NLP

Aligning Language Models with Selective Prediction

本文提出了选择奖励强化学习（RLSR），这是一种新颖的后训练对齐框架，通过直接针对风险覆盖率曲线下面积（AURC）进行优化，使大语言模型实现选择性预测，从而显著改善风险与覆盖率之间的权衡，并增强在高风险决策场景中的可靠性。

原作者： Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：过度自信的 AI

想象一下，你雇佣了一位非常聪明但过度自信的助手，来帮助你做出重要的决策，比如诊断病人或分析股票。这个助手（AI）很擅长回答问题，但它有一个坏习惯：它从不承认自己不知道。 即使在瞎猜的时候，它说话也带着 100% 的确定性。

在涉及高风险的场景中（如法律或医疗），一个自信的错误是极其危险的。你宁愿助手说：“我不确定，让专业人士检查一下”，也不愿它自信满满地给你一个错误的答案。这正是这篇论文试图解决的核心问题：我们如何教会 AI 在何时保持沉默？

解决方案：“选择性预测” (Selective Prediction)

论文提出了一种称为**“选择性预测”**的策略。你可以把它理解为教 AI 成为一个“选择性过滤器”。

AI 不再回答每一个问题，而是被训练去执行以下操作：

回答那些它非常有把握的问题。
弃权（说“我不知道”）对于那些它不确定的问题。

通过过滤掉那些冒险的猜测，AI 在它确实回答的问题上的整体准确率会显著提高。

为什么以前的方法不起作用

作者解释说，以往修复这一问题的尝试依赖于**“校准” (Calibration)**。

校准类比： 想象一位天气预报员说：“有 70% 的概率下雨。”如果每 10 次预报中有 7 次真的下了雨，那么这位预报员就是“经过校准的”。
缺陷： 论文指出，仅仅做到“校准”是不够的。你可能会遇到一位预报员，虽然他完全符合校准标准，但他仍然会将一个“可能”的答案排在“确定”的答案之前。
论文的洞察： 你真正需要的不仅仅是一个能诚实表达概率的预报员，而是一个能够完美排序的裁判——能将答案从“最有可能正确”到“最有可能错误”进行精准排序。论文称之为**“选择性预测”**，这与单纯的“校准”是不同的目标。

新方法：RLSR（用于选择奖励的强化学习）

作者创建了一种新的训练方法，叫做 RLSR。它是如何工作的呢？我们可以用一个简单的比喻：

“分院帽”类比：
想象 AI 是一个正在参加考试的学生。

旧方法 (RLVR)： 老师只根据答对与否给分。如果学生猜对了，得一分；如果猜错了，得零分。在这种情况下，学生会学会回答所有问题，哪怕是在瞎猜。
新方法 (RLSR)： 老师改变了规则。老师不仅关心答案是对是错，还关心排序。
- 老师观察学生所有的答案并说：“我希望你最有信心的答案是正确的，而你最没信心的答案是错误的。”
- 如果学生答对了一个难题，但表示自己只有“50% 的把握”，他会得到很少的奖励。
- 如果学生答错了一个简单题，但却表示自己有“99% 的把握”，他会受到巨大的惩罚。
- 如果学生答对了一个难题，并且表示自己有“99% 的把握”，他会得到极大的奖励。

这种被称为 RLSR 的方法使用了一种特殊的评分系统（基于一个称为 AURC 的指标），通过奖励 AI 在“确定”的答案和“不确定”的答案之间创造出一个清晰的差距。

结果：更好的过滤器

论文在各种困难任务（如数学题和复杂的百科知识）上测试了这种新方法，并将其与旧方法进行了对比。

结果： 经过 RLSR 训练的 AI 变得更擅长判断何时该说话，何时该保持沉默。
证明： 当研究人员设定一个规则，例如“仅在有 90% 把握时才回答”时，经过 RLSR 训练的 AI 比其他模型准确率显著更高。它成功地过滤掉了其他模型不断犯下的“自信错误”。
现实世界测试： 他们甚至在一个医学数据集（MedQA）上进行了测试。当他们强制要求 AI 只能回答那些能保证高水平准确性的问题时，RLSR 模型是唯一一个能够持续达到这种高安全标准的模型。

总结

简而言之，这篇论文教会了 AI 模型停止做“自信的猜谜者”。与其试图对所有事情都给出答案，不如让 AI 成为一个聪明的守门人。它学会了说“我知道这个”和“我不知道那个”，从而确保当它开口说话时，极大概率是正确的。这使得 AI 在处理关键现实工作时更加安全、可靠。

技术摘要：使语言模型实现选择性预测对齐

问题陈述

大语言模型（LLMs）正越来越多地被部署在金融、医疗和法律等高风险领域。在这些场景中，错误决策的代价往往显著高于向人类求助的代价。标准的 LLM 训练范式要求模型必须回答每一个查询，无论其内部确定性如何，这导致了“自信的错误”和幻觉现象。

虽然**置信度校准（Confidence Calibration, CC）通常被视为选择性预测（Selective Prediction, SP）**的先决条件，但作者认为，CC 对于有效的 SP 而言既非充分也非必要。

CC 确保分配的置信度分数与正确概率相匹配（例如，80% 的置信度意味着有 80% 的概率是正确的）。
SP 则要求基于置信度将正确的预测排在更高的位置，从而允许模型在低置信度查询中进行弃权，以降低所选子集的错误率。

论文证明了完美的校准并不保证完美的选择性预测（如原文图 1 所示），反之亦然，即使置信度是失校的，只要排序是正确的，也可以实现完美的 SP。现有的对齐方法，如带有可验证奖励的强化学习（RLVR）和带有校准奖励的强化学习（RLCR），分别侧重于准确率或校准指标，但未能直接优化 SP 所需的风险-覆盖度权衡（risk-coverage trade-off）。

方法论：用于选择奖励的强化学习 (RLSR)

作者提出了 RLSR，一种全新的对齐框架，旨在利用 组相对策略优化（Group Relative Policy Optimization, GRPO） 算法，直接针对选择性预测性能优化 LLMs。其核心目标是最小化 曲线下面积（Area Under the Risk-Coverage Curve, AURC），这是一个总结错误率（风险）与已回答输入比例（覆盖度）之间权衡的标准指标。

关键技术挑战与解决方案

将 AURC 集成到强化学习框架中面临两个主要挑战，RLSR 通过特定的创新解决了这些问题：

稀疏且单向的奖励：
- 挑战： 标准的 AURC 公式仅惩罚错误（错误的预测），而不为正确的预测提供奖励信号。这导致了稀疏的学习信号，并且无法强制模型在正确答案与错误答案的置信度之间建立间距。
- 解决方案： 作者引入了 提升后的 AURC（Lifted AURC） 目标。他们将二元错误指示函数 $I\{f(x) \neq y\}$ 重新表述为符号变量 $(2I\{f(x) \neq y\} - 1) \in \{-1, +1\}$ 。这创造了一种“推拉”动态，即正确的预测获得正向奖励，而错误的预测获得负向奖励，从而积极鼓励模型分离正确与错误答案的置信度分布。
全局排序依赖性：
- 挑战： AURC 是一个依赖于所有样本置信度全局排序的群体级指标。标准的小批量随机梯度下降（SGD）无法在不迭代整个数据集的情况下计算全局排序，这违背了高效批处理训练的目的。
- 解决方案： RLSR 采用了 批训练策略（Batch Training Strategy）。在每个训练步骤中，模型为每个提示词生成 $G$ 个采样（rollouts）。这 $B \times G$ 个样本被汇聚成一个“有效批次”。排名和权重在这一汇聚的批次内进行计算，以近似全局 AURC。这使得该算法能够与标准 GRPO 兼容，同时近似群体层面的指标。

算法概述

样本 $i$ 的奖励函数 $R_{RLSR}$ 定义为：
$R_{RLSR}(y_i, \hat{y}_i, s_i) = \begin{cases} +\hat{\alpha}_i & \text{如果 } \hat{y}_i = y_i \\ -\hat{\alpha}_i & \text{如果 } \hat{y}_i \neq y_i \end{cases}$
其中 $\hat{\alpha}_i$ 是根据样本在有效批次中的排名（基于 AURC 的调和数公式）导出的权重。随后使用 GRPO 优势函数对模型进行更新，该函数在同一提示词的采样组内对奖励进行归一化。

核心贡献

直接的 SP 对齐： 这是第一项提出直接针对选择性预测指标而非依赖中间目标（如校准）来对齐预训练 LLM 的工作。
RLSR 框架： 引入了一种新的对齐框架，该框架利用提升后的 AURC 目标和基于批次的训练策略，克服了通过强化学习优化 AURC 的技术障碍。
经验优越性： 通过全面的实验证明，RLSR 在域内（in-domain）和域外（out-of-domain）设置下均优于强基线模型（RLVR 和 RLCR）。

实验结果

作者在 Qwen2.5-7B 和 Llama-3.1-8B 模型上，针对多个数据集（HotPotQA, BigMath 以及包括 GSM8K, GPQA, MedQA 在内的各种 OOD 基准测试）进行了评估。

风险-覆盖度权衡： RLSR 始终实现了更低的 AURC 分数（表明性能更好），优于 RLVR 和 RLCR。例如，在 HotPotQA（域内）上，RLSR 的 AURC 达到了 0.44，显著优于 RLVR (0.56) 和 RLCR (0.51)。
低覆盖度下的准确率： 在追求高准确率且可以接受低覆盖度的风险场景中，RLSR 表现出卓越的性能。在 HotPotQA 覆盖度为 10% 时，RLSR 的准确率达到 66.0%，而 RLVR 为 45.5%，RLCR 为 53.5%。
域外（OOD）泛化能力： RLSR 在 OOD 任务上保持了强劲的表现，而 RLVR 和 RLCR 则经常出现性能退化或表现不一致的情况。这表明 RLSR 学习的是更鲁棒的置信度排序，而非过度拟合特定的分布特性。
风险受控部署： 在模拟的医疗部署（MedQA）场景中（目标准确率为 75%），RLSR 是唯一能够在维持合理覆盖率的同时达到目标准确率的方法。RLVR 无论如何调整阈值都无法达到目标准确率，而 RLCR 在测试集上的表现较验证集显著下降。
置信度分离： 对置信度分布的分析（图 3）证实，提升后的 AURC 奖励成功地在正确预测与错误预测的置信度分数之间创造了比标准 AURC 或基于校准的奖励更大的间距（gap）。

意义与主张

本文声称 RLSR 为增强 LLM 可靠性提供了一种原则性的方法，以用于实际部署。通过直接优化风险-覆盖度权衡，RLSR 使 LLM 能够在不确定时有效地“弃权”，从而在无需人类干预的情况下降低关键应用中的错误率。

作者强调，虽然校准（ECE）是一个有用的指标，但它并不是选择性预测性能的代理指标。优化校准并不一定会改善正确与错误答案之间的排序，而这正是 SP 的基本要求。因此，RLSR 代表了在错误控制至关重要的场景中部署 LLM 的一条更直接、更有效的路径。

局限性： 作者指出，目前的对齐侧重于整体 AURC 指标。他们承认在实际的高风险设置中，通常会预先设定特定的目标风险水平，这表明未来的工作可以构建风险约束下的覆盖度最大化目标。