💻 computer science

From Refuse to Richness: Rubric Rewards for Long-Form Hallucination Reinforcement Learning

本文通过提出一种基于关键点准则的强化学习框架，在与忠实度和相关性奖励进行软结合后，实现了比现有方法更优的文本事实支撑与信息覆盖范围之间的平衡，从而解决了长文本生成中忠实度与覆盖度之间的权衡问题。

原作者： Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人根据你给出的特定笔记写一篇关于历史事件的长篇详细故事。你希望实现两件事：首先，你希望机器人严格遵守你笔记中的事实（以免它胡编乱造）；其次，你希望它能写出一个丰富、完整的故事，涵盖你要求的所有重要细节。这就是“长文本生成”这一复杂领域。问题在于，这两个目标往往是相互冲突的。如果你告诉机器人：“除非你百分之百确定在笔记中看到了，否则不要说任何话，”它会变得胆小，为了保险起见而只说极少的话，甚至拒绝回答。但如果你告诉它：“尽可能多写点，”它可能会开始编造荒诞的细节。科学家们称之为“忠实度”（即紧扣事实）与“丰富度”（即提供有用且详细的信息）之间的张力。

这篇题为《从拒绝到丰富》（From Refuse to Richness）的论文探讨了如何利用一种特殊的训练方法——强化学习（Reinforcement Learning）来解决这种拉锯战。你可以把这种训练想象成一场电子游戏，机器人通过表现出色来获得分数（奖励）。研究人员想要看看是否可以教会机器人既诚实又乐于助人，而不必强迫它在两者之间做出选择。他们发现，你给予分数的方式比你想象的要重要得多。如果你只奖励安全性，机器人就会变成一个乏味、沉默的图书管理员；如果你只奖励详细程度，它就会变成一个混乱的讲故事的人。但他们发现，通过使用一种特定的“清单”（checklist），即明确告诉机器人需要包含哪些信息，而不是仅仅计算它写了多少个字，就能找到一个“甜点区”（sweet spot）。

问题所在： “少说”陷阱

研究人员从一个令人沮丧的观察开始。当他们通过严厉惩罚任何无法由所提供的文本证明的句子，来训练 AI 模型避免捏造事实（幻觉）时，模型学会了一个非常简单、却毫无用处的技巧：尽可能少说话。

想象一名学生参加考试，老师说：“如果你写错任何内容，你就得零分。”对于这个学生来说，最聪明的做法不是写出一篇精彩的文章，而是只写一个词甚至什么都不写，以此来规避风险。研究发现，当 AI 模型使用这些“严格忠实度”奖励进行训练时，它们的回答会大幅缩减。在短短几步训练后，模型就学会了：避免提出未经支持的主张，最安全的方法就是闭嘴。它们变成了“拒绝型”机器——虽然安全，但因为拒绝提供用户真正想要的丰富信息而变得毫无用处。

解决方案：“量规”清单

为了解决这个问题，作者尝试了一种新方法。他们不再只是告诉 AI “不要撒谎”，而是给了它一个量规（Rubric）。

把量规想象成学校项目的一份详细清单。老师不再只是说“做一个好的海报”，而是递给你一份清单：“必须包含日期，必须包含主角的名字，并且应该包含环境的图片。”这份清单明确告诉了你针对该特定问题，“丰富度”究竟意味着什么。

研究人员为 AI 回答的每个问题都创建了这些量规。量规列出了“必须项”（must-haves）和“可选项”（nice-to-haves）。然后，他们将这个清单作为奖励信号。如果 AI 涵盖了必须项，它就会得到分数；如果漏掉了，它就会失去分数。这教会了 AI，“丰富”意味着覆盖特定的清单项，而不仅仅是写很多字。

发现： “软性”结合才是最优解

团队测试了几种不同的奖励组合方式，结果揭示了一个引人入胜的权衡关系：

仅限严格忠实度： AI 变得非常安全（高准确度），但回答非常简短且毫无用处。它停止了尝试去覆盖清单内容。
仅限量规： AI 变得非常详细并完美覆盖了清单，但因为它没有受到“撒谎”的惩罚，所以它又开始捏造事实了。
“代理”（Proxy）方法： 他们尝试使用通用信号，比如“统计句子数量”或“AI 是否写了很多？”但这效果不佳。这就像是在没检查这些文字是否真的与主题相关的情况下，就奖励一个写了 500 字的学生。AI 只会用废话来填充空间。

获胜的策略是一种被称为 FACT-RUBRIC-REL 的软性组合。这种方法没有使用“硬门槛”（即一个错误就会导致整个得分归零），而是温和地平衡了三件事：

忠实度（Grounding）： AI 是否紧扣事实？
量规覆盖度（Rubric Coverage）： 它是否覆盖了清单项？
相关性（Relevance）： 答案是否真的合乎逻辑？

通过这种软性混合，AI 学会了即使在并非每一项事实都完美无缺的情况下，只要整体上是基于事实的，它依然可以获得分数。这防止了“少说”陷阱。模型学会了既要勇敢地覆盖清单内容，又要谨慎地保持对来源的大致真实。

结果：处处表现更好

研究人员在两个不同的 AI 模型（Qwen3-4B 和 DeepSeek-R1-Distill-Llama-8B）上进行了测试，并在两者身上都发现了相同的模式。

在标准测试中： 与基础模型相比，“软性组合”模型提高了其紧扣事实的能力，同时没有丧失撰写长篇回答的能力。
在新颖、棘手的测试中： 这才是最有趣的地方。当他们在 AI 未曾见过的任务（如创意写作或解决清单谜题）上进行测试时，那些接受“严格忠实度”训练的模型表现得很糟糕。它们因为太害怕出错而不敢尝试。但使用“软性组合”（FACT-RUBRIC-REL）训练的模型表现最好。它们比其他模型更能将技能迁移到新任务中。

论文指出，“硬性”奖励实际上损害了 AI 在新情境下的创造力和实用性。通过使用量规来定义“丰富度”的含义，并温和地鼓励 AI 在不担心彻底失败的前提下达成目标，他们找到了一种方法，使 AI 既诚实又乐于助人。

核心结论

主要的启示是：你不能仅仅惩罚 AI 撒谎，你必须主动奖励它提供帮助。如果你只关注安全性，AI 会学会闭嘴；如果你只关注容量，它会学会撒谎。秘诀在于一个基于量规的奖励系统，它告诉 AI 需要涵盖哪些具体信息，并配合一个温和的提示，让它保持对事实的忠实。这种被称为“从拒绝到丰富”的方法表明，未来有用 AI 的关键在于给它一个清晰的“要说什么”的清单，而不是仅仅给它一张可怕的“不要说什么”的名单。

技术摘要：从拒绝到丰富：面向长文本幻觉强化学习的评分量表奖励

1. 问题陈述

长文本生成在大型语言模型（LLMs）中面临两种截然不同的幻觉类型：事实性幻觉（主张与世界知识不一致）和忠实度幻觉（主张缺乏所提供上下文的支持）。虽然使用接地性（grounding）奖励进行强化学习（RL）可以减轻不支持的主张，但它引入了一个关键的权衡：模型往往会学会“拒绝”回答或提供过于简洁的响应，以避免惩罚，从而牺牲了丰富度（信息覆盖率）。

现有的强制丰富度的方法依赖于全局代理指标，如响应长度、主张数量或成对相关性。作者认为这些指标是不充分的，因为：

长度可能由填充词（filler）虚增。
主张计数可能包含琐碎或无关的事实。
通用的相关性判断无法识别特定问题相关的缺失内容。
严格的接地奖励（例如，对不支持句子的二元惩罚）会鼓励模型通过最小化输出量来最大化安全性，导致“拒绝-丰富度”坍缩，即模型为了避免幻觉而减少回答。

2. 方法论

核心概念：关键点评分量表（Key-Point Rubrics）

论文并未使用全局代理指标，而是提出了使用逐样本的关键点评分量表。评分量表被定义为一种结构化的检查清单，而非金标准答案，它规定了针对特定问题，一个丰富的回答必须涵盖的必要信息和可选信息。

构建方式： 评分量表通过多生成器联合流水线（GPT-5.4, Gemini-3-Flash-Preview, 和 GPT-OSS-120B）生成，以确保广泛的覆盖范围并避免单一生成器的遗漏。
功能： 它们具有双重用途：既作为信息覆盖率的评估指标，也作为强化学习中的奖励信号。

奖励设计变体

研究在两个模型家族（Qwen3-4B 和 DeepSeek-R1-Distill-Llama-8B）上比较了五种奖励策略：

仅事实（FACT-ONLY）： 二元接地奖励（ $R = G(y)$ ）。惩罚任何不受支持的句子。
事实代理（FACT-PROXY）： 将接地性与通用细节（受支持主张数量的对数）以及成对相关性相结合。
仅评分量表（RUBRIC-ONLY）： 奖励评分量表清单的覆盖率（ $C_{rub}$ ），而不包含显式的接地项。
事实-评分量表（FACT-RUBRIC）： 接地性与评分量表覆盖率的加法组合。
事实-评分量表-相关性（FACT-RUBRIC-REL）： 一种结合了接地性（ $0.5G$ ）、评分量表覆盖率（ $0.4C_{rub}$ ）和成对相关性（ $0.1R_{rel}$ ）的软性三成分奖励。至关重要的是，这避免了“门控”（乘法）机制，即接地失败不会使整个奖励归零。

训练协议

算法： GRPO（群体相对策略优化）。
数据： 一个包含 4,000 个提示词的训练集，包括 2,000 个有上下文的接地提示词和 2,000 个无上下文的开放提示词。
安全机制： 如果响应过短，不足以支持有意义的接地判断，则应用格式惩罚，以防止模型通过截断答案来“劫持”奖励。

3. 关键结果

分布内性能（接地基准测试）

在标准的接地基准测试（FACTS Grounding, LongFact, FActScore）上：

仅事实（FACT-ONLY） 实现了最高的接地准确率，但显著抑制了评分量表覆盖率和主张计数（例如，Qwen3-4B 的覆盖率从 0.459 下降到 0.334）。
仅评分量表（RUBRIC-ONLY） 最大化了覆盖率，但导致接地准确率崩溃（例如，在 Qwen3-4B 上降至 0.097）。
事实-评分量表-相关性（FACT-RUBRIC-REL） 提供了一个平衡的权衡，在保持接地性高于基座模型的同时，保留了较高的覆盖率。

分布外（OOD）性能

在需要完成清单的任务（CL-bench）和创意写作（Arena-Hard）上：

严格接地（FACT-ONLY/PROXY）： 这些奖励会主动损害 OOD 性能。在 DeepSeek-R1-Distill-Llama-8B 上，FACT-PROXY 将创意写作的胜率降低到了基座模型表现的一小部分。
仅评分量表（RUBRIC-ONLY）： 提供了最强的 OOD 结果，表明针对特定问题的覆盖率信号可以很好地迁移到多样化任务中。
事实-评分量表-相关性（FACT-RUBRIC-REL）： 这是唯一一种既能提高分布内接地性，又能改善 OOD 行为的变体。它成功地迁移了评分量表的清单完成行为，同时保留了足够的接地性。

模型敏感度

“拒绝-丰富度”的权衡在 Qwen3-4B 和 DeepSeek-R1-Distill-Llama-8B 上是一致的。然而，经过推理蒸馏的 DeepSeek 模型对硬性接地奖励更为敏感，表现出更剧烈的响应长度坍缩和更严重的 OOD 退化。

4. 核心贡献

丰富度的形式化： 论文将长文本回答的丰富度定义为针对特定问题的信息覆盖率，而非通用的细节，并将幻觉强化学习框架化为对事实性和忠实度错误的共同缓解。
评分量表流水线： 构建了一个用于生成逐样本关键点评分量表的多生成器流水线，并应用于四个接地基准测试和 4K RL 训练集。
奖励组合分析： 经验证据表明，接地性与评分量表覆盖率的软组合（特别是 FACT-RUBRIC-REL）产生了最佳的帕累托前沿，平衡了分布内的安全性与分布外的效用。

5. 重要性与主张

论文声称，“拒绝-丰富度”问题之所以出现，是因为过度拟合接地性的奖励教会了模型减少表达。这项工作的意义在于证明了：

仅靠接地性是不够的： 它捕捉了支持度，但没有捕捉完整性。
评分量表是必不可少的： 它们提供了关于一个回答应该包含什么的必要信号，而不仅仅是它不该包含什么。
软组合是关键： 乘法门控（即接地失败会导致覆盖奖励失效）会抑制有用的行为。一种软性的加法组合允许模型即使在存在轻微接地问题时也能获得覆盖必要点的信用，从而保留了长文本生成所需的“清单式”行为。

作者得出结论，逐样本评分量表最有效的用法是作为接地性的补充，而非替代品，并且所提出的奖励组合（FACT-RUBIC-REL）为训练既有接地性又具丰富性的长文本生成器提供了鲁棒的解决方案。

6. 局限性

研究局限于两个相对较小的开源模型（Qwen3-4B 和 DeepSeek-R1-Distill-Llama-8B）。作者指出，更强大的专有模型或更大的模型可能会表现出不同的对硬性接地门控的敏感度。此外，FActScore 的闭卷性能接近于零，这归因于基座模型的参数化知识限制，而非奖励设计本身。