💬 NLP

Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models

本文证明了具有可验证奖励的强化学习（RLVR）通过明确激励模型在面对不确定问题时选择拒绝回答，能够有效减少大语言模型的幻觉现象并提升其智力谦逊度，且不会显著降低其在事实基准测试上的准确性。

原作者： Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位非常聪明、博学多才的助手来回答你的问题。问题在于，这位助手有点“好为人师”。即使他们实际上不知道答案，也会感到有一种必须给出答案的冲动，甚至会编造一些听起来很有说服力但完全错误的事实。在人工智能的世界里，这被称为“幻觉”（hallucinating）。

这篇论文是关于教导这些 AI 助手一项至关重要的技能：知道何时说“我不知道”。

以下是他们方法的详细拆解，使用了简单的类比：

问题所在：过度自信的猜测机器

目前的语言大模型（LLMs）被训练为总是给出答案。如果你问它们一个问题，它们会试图生成某些东西，即使它们只是在瞎猜。这就像一个参加考试的学生，因为害怕留白而不敢交白卷，所以随手涂鸦一个答案以求得分。这会导致自信满满但却是错误的信息。

解决方案：“诚实奖励”系统

研究人员尝试了一种新的训练方法，称为带有可验证奖励的强化学习（RLVR）。你可以把它想象成一种新的评分系统。

他们不仅仅是针对正确答案给分，而是引入了一个三方评分系统：

正确答案： +1 分（做得好！）
错误答案： -1 分（瞎猜，你会丢分。）
“我不知道”： 一个特殊的奖励（假设为 +0.3 分）。

目标是教会 AI：承认不知道比自信地瞎猜却答错要更好。他们想要寻找那个“金发姑娘原则”（Goldilocks）下的完美奖励值：不能太高（否则 AI 会为了拿分对所有问题都说“我不知道”，从而停止尝试），也不能太低（否则它会继续瞎猜）。

实验：测试新规则

他们在两种不同类型的“学生”（AI 模型）身上进行了测试：

Granite-3.3-2B： 一个较小、更紧凑的模型。
Qwen-3-4B： 一个更大、更强大的模型。

他们也在两种不同的“考试”上测试了它们：

MedMCQA： 多项选择医学题（类似于带有固定选项的知识问答）。
Hendrycks Math： 需要写出长篇解答的难题（类似于论文或证明过程）。

他们的发现

1. “甜点区”对选择题有效
在多项选择医学问题上，他们找到了“我不知道”奖励的“甜点区”（最佳平衡点）。

如果他们给“我不知道”一个微小的奖励，AI 开始承认自己的不确定性。
结果： 虚假、捏造答案的情况显著下降。AI 变得更加谦逊。
权衡： AI 的整体正确率也略有下降，因为它不再盲目猜测。然而，研究人员发现，一个适度的奖励（约 0.3）可以在减少错误猜测的同时，不会破坏原本正确的回答。
大模型的优势： 较大的模型（Qwen）比较小的模型更好地处理了这种“诚实训练”。它能够在需要时说“我不知道”，而不会损失过多的智能水平。

2. 在开放式问题中的挣扎
当他们尝试在困难的数学题（即 AI 需要写出长篇回答的任务）上进行测试时，这种方法本身的效果并不理想。

问题所在： AI 太习惯于猜测了，以至于它不敢尝试“我不知道”这个选项。这就像一个因为太害怕出错而拒绝考虑留白的学生。AI 在训练过程中没有充分“探索”表达“我不知道”这一选项的可能性。
解决方法： 他们尝试了一个两步走的过程。首先，他们强迫 AI 在一组特定的问题上练习说“我不知道”（监督微调/SFT）。然后，再应用奖励系统。这帮助 AI 熟悉了“弃权”的概念，尽管平衡起来仍然很困难。

核心结论

论文得出结论：你不能仅仅告诉 AI 要诚实，你必须通过奖励来引导它变得诚实。

通过调整给予“我不知道”的“分数”，开发者可以调节 AI 的性格。他们可以让它变得更谨慎（不太可能撒谎），或者更自信（更有可能尝试），取决于实际需求。

对于谨慎型方案： 给“我不知道”一个较小的奖励。AI 将停止捏造事实，这使得它在医疗或法律建议等出错代价极高的领域中更加可靠。
局限性： AI 需要一些额外的帮助来学习如何首先开口说出“我不知道”，尤其是在处理复杂的开放式任务时。

简而言之，研究人员建立了一本训练手册，教导 AI 模型：沉默有时比谎言更好；并且他们证明了，只要有正确的奖励机制，AI 确实可以学会保持理性的谦逊。

技术摘要：奖励大型语言模型的智力谦逊

问题陈述

大型语言模型（LLMs）经常生成幻觉或无法验证的内容，特别是在事实领域，这是因为它们的训练目标通常无论确定性如何都会奖励响应生成。现有的缓解策略，如监督微调（SFT）和基于人类反馈的强化学习（RLHF），通常依赖于成本高昂的人机回环反馈，并且没有明确地对不确定性进行建模，也未教会模型在不确定时弃权。本研究旨在解决一种训练范式的需求，该范式能够显式地激励“智力谦逊”——即说“我不知道”的能力——从而在不完全依赖密集人类偏好数据的情况下减少幻觉。

方法论

作者提出了一种改进的可验证奖励强化学习（RLVR）框架。该方法利用三元奖励结构来引导模型行为：

正确答案 ( $r_{correct} = 1$ )： 获得奖励。
错误答案 ( $r_{wrong} = -1$ )： 受到惩罚。
弃权 ( $r_{abs}$ )： 根据可调的超参数获得奖励或惩罚。弃权标记被定义为“我不知道”。

实验设置

模型： 研究评估了 Granite-3.3-2B-Instruct 和 Qwen-3-4B-Instruct。
数据集：
- MedMCQA： 一个增强了显式“我不知道”选项的多项选择医学数据集，以方便验证。
- Hendrycks Math： 一个用于测试向非多项选择场景泛化能力的开放式、多步数学问题数据集。
训练策略： 作者使用组相对策略优化（GRPO）比较了三种主要设置：
1. 仅 RL (RL-only)： 直接使用三元奖励信号进行训练。
2. RL-SFT-Random： 一个两阶段过程，首先在 MedMCQA 上对模型进行 SFT 训练，其中 30% 的标准答案被随机替换为“我不知道”以鼓励弃权，随后进行 RLVR 微调。
3. RL-RTuning： 与上述类似，但 SFT 步骤专门针对基座模型回答错误的题目，根据 R-Tuning 原则教导模型仅在已知失败的情况下进行弃权。

奖励设计

奖励函数 $R(y)$ 定义为：
$R(y) = \begin{cases} 1 & \text{如果 } y \text{ 正确} \\ r_{abs} & \text{如果 } y = \text{"我不知道"} \\ -1 & \text{如果 } y \text{ 错误} \end{cases}$
对于 MedMCQA，还应用了格式奖励以强制执行严格的 XML 式标签（<reasoning>，<answer>），以确保输出结构的具可验证性。

关键结果

1. 准确性与弃权之间的权衡

实验揭示了一个由弃权奖励 ( $r_{abs}$ ) 控制的清晰且可调的权衡关系：

适度奖励： 将 $r_{abs}$ 设置为较小的正值或轻微的负值（例如 $-0.25 $到$ 0.3$），可以在不导致多项选择任务整体准确性严重下降的情况下，持续减少错误响应（幻觉）。
模型敏感性： 较大的模型（Qwen-3-4B）比较小的模型（Granite-3.3-2B）表现出对弃权激励更强的鲁棒性。例如，在 MedMCQA 上，当 $r_{abs}=0.3$ 时，Qwen-3-4B 将错误率从 32.5% 降低到 10.3%，同时保持了 48.0% 的正确率，尽管其“我不知道”的比例上升到了 41.0%。

2. 训练变体的性能

仅 RL (RL-only)： 在减少 MedMCQA 上的幻觉方面是有效的，但在 Hendrycks Math 上表现挣扎。作者将其归因于“探索不足”，即基座模型最初对使用“我不知道”标记的犹豫，阻碍了 RL 算法在开放式场景中学习该行为。
RL-SFT-Random： 这种方法成功缓解了探索问题。在 Hendrycks Math 上，它在仅损失约 10% 准确性的情况下，减少了约 28% 的错误回答。然而，在 MedMCQA 上，该设置中较高的弃权奖励导致了正确性的单调下降，因为模型变得过于谨慎。
RL-RTuning： 与预期相反，该方法表现不如 RL-SFT-Random。作者假设 RL-RTuning 中的 SFT 步骤被“我不知道”的响应所主导（约 60%），导致模型在自信回答能力上发生坍缩，并在随后的 RL 阶段无法恢复。

3. 开放式 vs. 多项选择

虽然三元奖励方案在结构化多项选择问题上效果良好，但开放式问答（Hendrycks Math）需要初始 SFT 步骤来克服模型对弃权的抵触。如果没有这种预训练，仅靠 RL 会在开放式领域无法诱导出弃权行为。

意义与主张

论文声称，可验证奖励设计为减轻幻觉提供了一种实用、灵活且具有成本效益的替代方案，可以替代重度依赖人类对齐的方法。核心结论包括：

可行性： 显式奖励弃权是促进 LLM 展现智力谦逊的一种可行策略。
可调性： 弃权奖励 ( $r_{abs}$ ) 作为一个直接的控制旋钮，允许从业者根据具体应用需求，在谨慎性（减少幻觉）与正确性（维持任务准确性）之间平衡权衡。
可扩展性： 该方法对较大的模型尤为有效，这些模型在适度的弃权激励下表现出更好的内部校准。
局限性： 研究承认，虽然该方法减少了幻觉，但并未完全消除幻觉，且最优奖励结构在不同模型和数据集类型（MCQ 对比开放式）之间存在显著差异。

作者总结道，虽然目前的实验结果令人鼓舞，但仍需未来的工作来优化 SFT 步骤中弃权样本的比例（建议为 10–30%，而非 30% 或更高），以防止能力坍缩并进一步提高在开放式推理任务中的表现。