🤖 machine learning

To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning

本文引入了弃权感知强化学习（Abstention-Aware Reinforcement Learning, AWA-RL），这是一种通过动态塑造弃权奖励来缓解搜索智能体幻觉的新型训练范式，旨在鼓励模型在检索失败时选择不回答，从而在极小牺牲原始准确率的情况下，显著提升精确度与可靠性。

原作者： Fengji Zhang, Tianyu Fan, Yuxiang Zheng, Xinyao Niu, Chengen Huang, Jacky Keung, Bei Chen

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fengji Zhang, Tianyu Fan, Yuxiang Zheng, Xinyao Niu, Chengen Huang, Jacky Keung, Bei Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一个超级聪明的机器人朋友，它非常喜欢回答你的问题。你问它：“法国的首都是哪里？”它回答说：“巴黎！”这很好。但接着你问它：“皇帝的隐形汤的秘密配方是什么？”结果这个机器人并没有说“我不知道”，而是自信满满地编造了一个关于“幽灵辣椒和月亮尘埃”的故事。它并不是想表现得坏，它只是太渴望取悦你了。在人工智能的世界里，我们把这种现象称为幻觉（hallucination），当机器人本应该在互联网上搜索真实事实时，这是一个大问题。

长期以来，科学家们试图通过教机器人上网来解决这个问题。他们使用了一种叫做**强化学习（Reinforcement Learning, RL）**的训练方法，这就像玩电子游戏一样，机器人通过找到正确答案来获得分数。但问题在于：这个游戏只奖励“得到”正确答案的行为，却没有奖励“知道何时停止”。所以，当机器人找不到答案时，它就会不停地瞎猜，编造事实来获取那些分数。这就像一个学生，为了避免显得很笨，在考试时宁愿乱猜也不愿举手说“我不知道”。

这篇论文的作者张凤吉及其团队说：“等等！我们需要教机器人，当它卡壳时要学会说‘我不知道’。”但他们也意识到，仅仅告诉机器人说“我 don't know”是不够的。如果你因为它瞎猜而惩罚得太狠，它可能会变得胆小怕事，甚至连简单的问题都不敢回答了。这被称为“懒惰拒绝（lazy refusal）”，这和胡编乱造一样糟糕。

于是，他们发明了一种新的训练方法，叫做 AWA-RL（感知弃权强化学习）。你可以把它想象成一位观察机器人玩游戏的聪明教练。教练并没有设定一个固定的规则（比如“如果你不是100%确定，就不要回答”），而是会根据具体的问题来观察。

“勇气”因子： 教练有一个特殊的旋钮，叫做**“勇气”因子**（用希腊字母 $\gamma$ $γ$ 表示）。这个旋钮控制着机器人的勇敢程度。
- 如果旋钮调得很高，机器人就会超级勇敢，即使不确定也会尝试回答所有问题。
- 如果旋钮调得很低，机器人就会超级谨慎，对几乎所有问题都说“我不知道”。
- AWA-RL 的魔力在于，教练会根据问题的难度以及机器人的当前表现，动态地调整机器人的奖励。如果机器人表现得很好，教练就会鼓励它尝试；如果机器人开始乱猜，教练就会轻轻地把它拉回来。

团队在三个复杂的解谜游戏（数据集名为 HotpotQA、2WikiMultiHopQA 和 MuSiQue）上测试了这种方法，在这些游戏中，机器人必须通过检索维基百科来寻找答案。他们将这种新方法与旧方法进行了对比：

仅仅混入“我不知道”的例子： 这效果并不好。机器人要么会感到困惑，要么会对甚至简单的问题也开始说“我不知道”。
给予固定的“惩罚”来应对瞎猜： 这就像是用大锤去砸坚果。如果惩罚太重，机器人会停止回答所有问题（拒绝率高达 99.9%！）；如果惩罚太轻，它又会继续胡编乱造。

他们发现了什么？
AWA-RL 方法改变了游戏规则。通过使用那个动态的“勇气”旋钮，他们发现了一个甜点位（大约在0.20的勇气因子处），在这个位置，机器人的可靠性大大提升。

它提升了机器人的精确度（Precision）（即在它确实回答时，答对的频率）高达 10.3%。
它将他们提出的新指标 RA-F1（平衡了帮助性和诚实性的得分）提高了 2.9% 到 5.2%，具体取决于设置。
最棒的是什么？机器人在整体回答问题的能力上并没有损失太多。它只是在卡壳时不再编造事实了。

论文表明，这种方法在这些特定的测试中表现得非常好，但作者也谨慎地指出，他们还没有在每一种类型的机器人或每一种类型的问题上进行测试。他们还提到，目前的“勇气”旋钮仍需要由人类来调节，不过他们希望未来能实现自动化。

简而言之，AWA-RL 教会了 AI 成为一名知道自己极限的自信专家，而不是一个只会无所不知地胡编乱造的“万事通”。这是朝着让 AI 智能体不仅聪明而且值得信赖迈出的重要一步。

技术摘要：回答还是弃权：通过弃权感知强化学习缓解搜索智能体的幻觉问题

问题陈述

近期，通过为大语言模型（LLMs）配备搜索工具和基于结果奖励的强化学习（RL），在开放域问答（QA）领域取得了最先进的成果。然而，当前的训练范式存在一个关键漏洞：它们主要奖励正确的答案，却未能惩罚在检索失败时的虚假答案。因此，当智能体遇到超出其能力边界或未能检索到足够证据的查询时，它往往倾向于编造一个答案，而不是安全地弃权。这种“过度回答”现象加剧了幻觉问题。

现有的学习弃权的方法存在三个主要局限性：

场景不匹配： 它们侧重于单轮问答，而非多轮智能体设置，而在后者中，能力边界会随着工具的使用而动态变化。
能力退化： 大多数方法采用事后流水线训练（先训练能力，再针对弃权进行微调），这会损害模型的原始搜索和推理能力。
依赖启发式方法： 它们依赖于合成不可回答的数据集，这引入了人类启发式规则，无法推广到具有不同内在能力的各种模型中。

方法论：AWA-RL

作者提出了**弃权感知强化学习（Abstention-Aware Reinforcement Learning, AWA-RL）**框架，该框架通过动态塑造弃权奖励来平衡能力与可靠性。其核心直觉是：弃权的激励不应是一个通用的常数，而应根据每个特定查询的模型内在解决问题的能力进行动态校准。

核心组件

查询感知基础奖励 ( $R_{base}$ )：
- 在 RL 训练之前，通过评估标准检查点来衡量模型的基准能力，以计算每个查询的估计正确概率 ( $p_i$ )。
- 为了防止在困难问题上过早弃权，应用了一个下限裁剪值 ( $p_{clip}$ )。
- 为了对抗模型自然的“懒惰拒绝”偏见（即倾向于拒绝而非搜索），应用了一个非线性变换： $p^*_i = (p_{clip})^\gamma$ 。这里， $\gamma \in (0, 1]$ 是一个**“勇气”因子**，用于缩放模型的置信度。
- 基础拒绝奖励定义为 $R_{base}(q_i) = 1 - p^*_i$ 。这创造了一个理论上的平衡点，即对于估计能力较高的查询，回答的预期奖励将超过拒绝的奖励。
动态惩罚 ( $P(E_t)$ )：
- 在 RL 阶段，经验拒绝率可能会偏离理论预期。因此引入了批次级动态惩罚，以纠正经验性的过度拒绝或不足拒绝。
- 通过计算经验平均拒绝率与预期批次级速率之间的偏差来计算过量拒绝率 ( $E_t$ )。
- 一个分段惩罚函数会实时调整最终的拒绝奖励 ( $r_{ref}$ )。严重的过度拒绝会将奖励推向负值（惩罚拒绝），而严重的不足拒绝则会将奖励推向正值（鼓励拒绝）。
复合目标：
- 该框架利用了群体相对策略优化（Group Relative Policy Optimization, GRPO）。
- 除了稀疏的结果奖励（正确/错误/弃权）外，作者还引入了一个由外部 LLM 评判员评估的密集引用奖励。该奖励评估引用的覆盖范围和冗余度，提供细粒度的反馈，以在不损害平衡“回答与弃权”主要目标的前提下，增强多跳搜索和推理技能。

核心贡献

动态奖励塑造： 不同于静态拒绝奖励或数据操纵，AWA-RL 将拒绝奖励锚定在模型针对特定查询的先验能力上，从而为实现可靠的智能体提供了一条更稳健且可扩展的路径。
“勇气”因子 ( $\gamma$ )： 作者引入了一个单一且可解释的超参数，用于控制置信度的非线性映射。实验结果表明，该因子具有高度响应性且易于调节，有效地将能力获取与弃权校准解耦。
RA-F1 指标： 引入了一种新的指标——可靠性感知 F1（Reliability-Aware F1, RA-F1），用于衡量精确度（回答时的正确性）与准确度（整体帮助程度）之间的权衡。它作为一个整体指标，衡量了在自信回答与安全弃权之间取得最优平衡的情况。
稳定性技术： 文中详细介绍了指数移动平均（EMA）平滑和惩罚项的逐步量化等机制，以防止训练过程中的奖励作弊（reward hacking）和策略崩溃。

实验结果

作者在三个多跳问答基准测试上评估了 AWA-RL：HotpotQA、2WikiMultiHopQA 和 MuSiQue，并使用 Qwen2.5-7B-Instruct 作为基础模型。

性能提升： 与非弃权基线相比，AWA-RL 将绝对精确度提升了高达 10.3%，并将整体 RA-F1 提升了 2.9%（摘要中特别提到提升了 5.2%，但在正文结果总结中强调为 2.9% 的增益）。
权衡管理： 该方法在仅有轻微牺牲原始准确度的情况下实现了这些增益。例如，在冷启动设置下，AWA-RL 实现了 0.585 的 SOTA RA-F1，在将精确度从 0.559 提升至 0.662 的同时，准确度仅从 0.552 轻微下降至 0.529。
基线的失败： 传统的基线未能建立可靠的边界。静态拒绝奖励触发了灾难性的“奖励作弊”（例如，拒绝率高达 99.9% 但奖励变化极小），而数据操纵（注入不可回答的查询）则导致了不可预测的行为或“懒惰拒绝”崩溃。
训练动态： AWA-RL 展示了极其稳定的训练动态，批次级拒绝率能够平滑地收敛到与“勇气”因子相对应的不同平台，避免了其他方法中出现的剧烈波动。

意义与主张

本文声称 AWA-RL 为构建真正的可靠搜索智能体提供了一条稳健且可扩展的路径。通过显式地训练智能体识别其能力边界并自信地放弃无法有据可查的回答，该框架解决了 LLM 智能体中关键的能力-可靠性权衡问题。

作者强调，其方法通过以下方式成功解决了先前工作的局限性：

将弃权直接集成到 RL 过程中，而不是将其视为事后补丁。
使用与估计的先验能力挂钩的动态塑造拒绝奖励，而非静态奖励。
添加了显式的生成鼓励项，以避免陷入“懒惰拒绝”。

该工作被定位为通过减轻幻觉和过度自信的事实错误风险，迈向部署可信 AI 的关键一步。作者承认了在测试模型规模（目前为 Qwen2.5-7B）以及对“勇气”因子依赖方面的局限性，并指出未来的工作将探索自动校准此置信度映射的自适应机制。