💻 computer science

OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning

本文介绍了 OpenRM，这是一种通过群体相对策略优化（Group Relative Policy Optimization）训练的工具增强型奖励模型，旨在利用外部证据来准确评估长文本智能体任务，从而显著提升下游大语言模型的对齐与评估性能。

原作者： Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明的图书管理员（AI），他非常擅长撰写长篇且详尽的报告。但有时，这位图书管理员会凭空捏造或弄错事实，因为他仅仅依靠脑海中的记忆，而不去检查书架上真实的图书。

为了解决这个问题，我们需要一位**评委（Judge）**来给图书管理员的报告评分。在过去，这些评委就像是必须把整座图书馆都背下来的学生。如果问题涉及某个特定的、冷门的知识点，或者是一项全新的医学发现，评委往往会因为没有在面前翻开正确的“书”而做出错误的判断。

OPENREWARD 是一种新型的评委，它不仅仅依赖记忆。它更像是一个带着“魔法手机”的侦探。

以下是它的工作原理，通过简单的拆解说明：

1. 问题所在：“仅靠记忆”的评委

想象一下，你要求一位评委去比较两份长篇旅游指南。一份指南说：“参观巴黎的埃菲尔铁塔，”而另一份说：“参观伦敦的埃菲尔铁塔。”

旧式评委： 他们可能只是根据自己的直觉进行猜测。如果他们累了或者问题很刁钻，他们可能会没能发现伦敦其实并没有埃菲尔铁塔。
问题核心： 对于长篇、复杂的回答（如医疗建议或科学研究），仅仅靠猜测是不够的。你需要证据。

2. 解决方案：“侦探型”评委 (OPENREWARD)

OPENREWARD 与众不同。当它看到两个答案时，它不会立即做出选择。相反，它会说：“等等，我得先核实事实。”

魔法手机（工具）： 它拥有一部手机，可以瞬间调用维基百科、搜索科学论文或查询医学数据库。
调查过程： 它会主动使用这些工具来收集证据。它可能会搜索“平衡胜者分类器（Balanced Winnow classifier）”或“医学症状”，以查看真实的数据是什么。
裁决： 只有在收集完这些证据之后，它才会决定哪个答案更好。这就像是一位在给出判决前，拒绝直接下结论，必须先阅读实际警情报告的法官。

3. 我们是如何教导这位侦探的（训练）

你不能直接告诉一台电脑：“去当一名侦探。”你必须教会它如何使用工具而不分心。

“虚拟”图书馆： 研究人员找不到足够多关于这些复杂任务的“好答案 vs 坏答案”的真实案例。因此，他们构建了一个模拟图书馆。
- 他们选取了一篇真实的文档（例如维基百科页面）。
- 他们要求 AI 根据该文档提出一个问题。
- 然后，他们要求 AI 写出两个答案：
  1. 好答案： AI 被允许阅读该文档。
  2. 坏答案： AI 不被允许 阅读该文档（因此它必须进行猜测或产生幻觉）。
教学过程： 他们向这位“侦探评委”展示这些成对的例子（好答案 vs 坏答案），并教导它：“如果你使用你的手机来核实事实，你会得到一颗金星；如果你只是瞎猜，你会受到惩罚。”
奖励机制： 评委学会了，为了获得最高分，它必须正确地使用工具来寻找真相，而不是做一个快速的猜测。

4. 结果：为什么这很重要

研究人员将这种新型“侦探评委”与其他著名的评委（如 GPT-4 或专门的 AI 评委）进行了对比测试。

更高的准确性： OPENREWARD 在识别长篇、复杂回答中的真相方面表现得更好，尤其是在科学、医学和常识领域。
更好的老师： 他们还利用 OPENREWARD 来帮助训练其他 AI。通过使用 OPENREWARD 从大量混乱的数据中挑选出最好的答案，他们为其他 AI 创造了一本更“干净”的教科书。使用这些“干净”数据进行训练的 AI 变得更加聪明且更加可靠。

总结类比

把旧的 AI 评委想象成在考试时不准使用课本的学生。他们只能靠猜。
OPENREWARD 则是一个被允许在考试期间使用图书馆和互联网的学生。因为它能够查阅答案，所以它能获得更高的分数，并能帮助整个班级学得更好。

该论文声称，这种方法使 AI 评估在处理复杂任务时更加可靠，并有助于训练更好的 AI 模型，但它并未明确表示该方法已准备好用于临床诊断或研究中测试之外的其他特定未来应用。

技术摘要：OPENREWARD

问题陈述

奖励模型（Reward Models, RMs）对于在训练和推理阶段对大语言模型（LLMs）进行对齐至关重要，它们是人类评估的可扩展代理。然而，现有的奖励模型——无论是作为二元偏好分类器训练的，还是采用“LLM-as-a-Judge”范式的——在处理开放式、知识密集型、长文本任务时都表现得非常吃力。评估此类内容（例如医疗报告、旅行行程或深度研究输出）通常需要基于外部信息进行验证，而这些信息超出了模型自身的参数化知识。目前的方法要么依赖于带有搜索引擎的商业 LLM 进行提示（缺乏灵活性），要么使用简单的工具交互进行短文本验证，这在有效评估开放领域中的复杂长文本响应方面留下了空白。

方法论

本文提出了 OPENREWARD，这是一个工具增强型奖励建模框架，旨在通过自适应地推理并调用外部工具来收集证据，从而做出判断。

1. 智能体奖励框架 (Agentic Reward Framework)

OPENREWARD 作为一个顺序决策过程运行。给定一个查询 $q$ 和两个候选响应 ( $x_1, x_2$ )：

工具调用： 模型根据当前上下文迭代地决定调用哪个工具（例如：维基百科搜索、arXiv 搜索、PubMed 搜索）。
证据收集： 被选中的工具执行以检索外部结果 ( $e_i$ )，并将这些结果附加到上下文中以指导后续推理。
最终判断： 在收集到充分证据后，模型选择较好的响应 ( $y$ ) 并提供解释。

2. 通过强化学习 (RL) 进行训练

为了训练模型有效地利用工具并做出准确判断，作者采用了群体相对策略优化 (Group Relative Policy Optimization, GRPO)。

训练信号： 设计了一个复合奖励函数 $R$ $R$ 来监督中间行为和最终结果：
$R = R_{EM} + \text{sign}(R_{EM}) \cdot \lambda \cdot R_{tool}$
- $R_{EM}$ （结果准确性）：基于最终判断是否与标准答案一致的二元奖励（1 或 0）。
- $R_{tool}$ （工具使用）：对于正确的工具选择给予 +1 奖励，对于错误/无关的调用给予 0 奖励。
- 关键设计： 工具奖励受最终结果准确性 ( $\text{sign}(R_{EM})$ ) 的门控控制。这防止了“奖励黑客行为”（reward hacking），即模型可能会学习频繁调用工具但仍无法正确回答问题。
优化： GRPO 通过比较组内的轨迹来计算群体相对优势，鼓励通过试错发现有效的多步推理策略。

3. 可控数据合成 (OPENRM-LIB)

针对长文本任务中可靠成对数据稀缺的问题，作者引入了 OPENRM-LIB，一个用于无监督数据合成的框架：

目标感知查询生成： 强大的 LLM 从采样的文档（如维基百科、arXiv）中生成查询。
正负样本对构建：
- 正向响应： 由能够访问参考文档的 LLM 生成。
- 负向响应： 由无法访问参考文档的同一 LLM 生成。
这种对比设置确保了清晰的质量差距（有据可查 vs. 幻觉/不完整），无需人工标注，即可产生超过 27,000 个高质量训练对。

核心贡献

OPENREWARD 框架： 引入了一种工具增强型奖励模型，能够自主检索外部证据来判断复杂的长文本响应，解决了静态内部知识的局限性。
可控数据合成： 一种新颖的策略 (OPENRM-LIB)，能够以无监督方式生成 2.7 万个以上高质量的成对训练数据，克服了长文本评估的数据瓶颈。
RLVR 训练策略： 使用 GRPO 的复合奖励函数，同时优化工具选择准确性和最终判断正确性，有效地防止了奖励黑客行为。
实证验证： 全面的评估证明了 OPENREWARD 在多个领域内均优于现有基线（包括 LLM-as-a-Judge 和其他训练好的 RM）。

实验结果

论文在三个新收集的领域内数据集（维基百科、科学、医学）和两个领域外基准测试（RewardBench、PandaLM）上对 OPENREWARD 进行了评估。

领域内表现： OPENREWARD（基于 Qwen-2.5-7B）在这些新数据集上的平均准确率达到 91.33%，显著优于强基线模型，如 GPT-4o (62.80%)、Claude-Opus (63.23%) 以及其他训练好的 RM（如 RM-R1 为 54.32%）。
领域外泛化能力： 尽管仅在 2.7 万个样本上进行训练（相比之下某些基线拥有 10 万+ 样本），OPENREWARD 在 RewardBench 和 PandaLM 上仍实现了 78.54% 的平均准确率，表现优于在更大规模数据集上训练的模型。作者将其归功于模型能够对检索到的证据进行推理，而非仅仅记忆训练分布。
消融实验：
- 移除工具奖励信号会导致“懒惰搜索”（依赖内部知识）。
- 将工具奖励与最终准确性解耦会导致“奖励黑客行为”（过度搜索但无法做出正确判断）。
- 门控奖励设计对于平衡推理与工具使用至关重要。
下游效用：
- 数据选择： 使用 OPENREWARD 过滤 DPO 训练数据所获得的筛选准确率 (75.18%) 高于 RM-R1 (68.87%)。
- 模型对齐： 使用 OPENREWARD 选择的数据进行对齐的 LLM，其性能较使用现有 RM 对齐的模型有持续提升（例如，7B 模型平均提升了 +4.57%）。

重要意义

本文认为，工具增强型奖励建模代表了实现可靠评估和 LLM 后训练对齐的重要一步。通过使奖励模型能够作为智能体系统，针对外部证据验证声明，OPENREWARD 解决了标准奖励模型在知识密集型场景中的根本局限。这项工作表明，将外部工具与强化学习相结合，不仅能提高奖励模型本身的准确性，还能增强下游 LLM 对齐的质量，为构建更可信的 AI 系统提供了一条可扩展的路径。