💬 NLP

ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning

本文介绍了 ARES，这是一个能够从原始文档自动合成大规模、特定实例的基于评分标准的训练数据的框架，旨在显著提升大语言模型中强化学习的性能，尤其针对复杂、多维度的开放式任务。

原作者： Xiaoyuan Li, Keqin Bao, Moxin Li, Yubo Ma, Yichang Zhang, Wenjie Wang, Fuli Feng, Dayiheng Liu

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyuan Li, Keqin Bao, Moxin Li, Yubo Ma, Yichang Zhang, Wenjie Wang, Fuli Feng, Dayiheng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文ARES的解释。

核心难题：“对或错”的陷阱

想象一下，你正在教一个机器人写作。目前，训练机器人（大型语言模型）变聪明的最佳方式是给它们数学题或编程谜题。为什么？因为这些题目有明确的答案。如果机器人算出 $2+2=4$ ，它就能得到一颗金星；如果它说是 $5$，就会得到一个红叉。这种结果很容易自动检查。

但如果你希望机器人写诗、提供医疗建议或遵循复杂的指令呢？这时就没有唯一的“正确答案”了。一首诗可以有多种美好的呈现方式。一个医疗答案需要同时具备安全性、准确性和同理心。

现有的方法试图通过让人类（或另一个 AI）给出简单的“好”或“坏”评分来解决这个问题。但这就像老师只说“做得好”，却不告诉学生哪里做得好或哪里遗漏了。这种反馈太模糊，无法有效帮助机器人学习。

解决方案：ARES（自动化评分量表生成器）

作者提出了ARES（Automated Rubric synthEsis for Scalable RL，可扩展强化学习的自动化评分量表合成）。你可以把 ARES 想象成一位超级高效、不知疲倦的教学助理，它不仅批改作业，还能同时编写评分量表（rubrics）和测试题目。

以下是它的工作原理，分步说明：

1. 原材料（图书馆）

想象有一个巨大的图书馆，里面堆满了书籍和文章（预训练文档），机器人已经读过这些内容，但尚未接受过测试。

旧方法： 你可能会挑选几本书，聘请专家编写测试题，然后再聘请专家为每道题编写详细的评分指南（量表）。这既缓慢又昂贵，且难以扩展。
ARES 方法： ARES 直接利用这些原始书籍，自动将其转化为测试题。

2. 魔法技巧（协同生成）

ARES 查看一页文本，并瞬间一次性完成三件事：

编写问题： 基于该文本生成一个问题（例如：“这种药物的副作用是什么？”）。
编写答案： 它根据文本内容知道正确答案。
编写评分量表： 这是关键所在。ARES 不只是给出“对/错”，而是创建一个带有具体权重的检查清单。
- 示例： “是否提到了副作用？（+10 分）”、“是否警告了过敏风险？（+8 分）”、“是否编造了虚假的副作用？（-10 分）”。

3. “角色”反转

为了让训练更加多样化，ARES 不会像机器人那样机械地提问，而是为问题赋予一个角色。

想象同一篇医疗文章。
角色 A（医生）： 问题要求提供技术细节。
角色 B（学生）： 问题要求提供简化的解释。
角色 C（护理人员）： 问题询问日常护理技巧。
这确保了机器人学会与不同类型的人交流，而不仅仅是单一的风格。

4. 质量控制（过滤器）

在机器人看到数据之前，ARES 会进行严格的质量检查：

这个问题是否无需查阅原书即可回答？（自包含性）
答案是否确实存在于书中？（忠实性）
评分清单是否合乎逻辑？
如果问题太模糊或清单有缺陷，ARES 就会将其丢弃。

为何这很重要（结果）

作者在10 个不同领域（如医疗、旅游、编程和社会科学）生成的100,000 个示例上测试了这种新方法。

他们将使用 ARES 训练的机器人与其他方法进行了对比：

标准阅读： 仅阅读更多书籍（持续预训练）。
模仿学习： 完全照搬答案（监督微调）。
二元强化学习： 仅获得“好/坏”评分（二元奖励强化学习）。

结果：
使用 ARES 训练的机器人在开放式任务上表现显著提升。

医疗领域： 得分提高了6.4 分。由于评分量表对遗漏安全警告的行为进行了扣分，它学会了提供更安全、更全面的建议。
指令遵循： 得分提高了15.5 分。它学会了遵循复杂的规则（例如“用莎士比亚的风格写一首诗，但不要使用字母'e'"），因为评分量表将这些规则分解为具体、可检查的项目。

核心启示

可以将之前的方法想象成一位只给出“通过”或“不通过”最终成绩的老师。
ARES 则像是一位为每一次作业提供详细成绩单的老师，它明确告诉你哪些分数是你挣得的，哪些是你丢失的，并利用这份报告帮助你在薄弱环节进行针对性练习。

通过从原始文本中自动化生成这些详细的成绩单（评分量表），ARES 使得 AI 能够以前所未有的规模学习复杂的人类技能（如写作、建议和推理）。

技术摘要：ARES（用于可扩展大语言模型强化学习的自动化评分标准合成）

问题陈述

具有可验证奖励的强化学习（RLVR）已被证明在具有自动可验证结果的领域（如数学和编程）中，对于提升大语言模型（LLM）的性能极为有效。然而，该范式面临一个根本性的可扩展性瓶颈：它依赖于二元的、结果层面的验证，这种验证是稀疏的，且对于医疗、指令遵循和专业写作等开放式任务往往不可行。

现有尝试引入基于评分标准（rubric-based）的奖励（多维度评估标准）以解决此局限性的方法，主要存在两个问题：

可扩展性：构建带有评分标准标注的数据通常需要人工专家对问题、参考答案和评估标准进行策划，这阻碍了大规模部署。
粒度：许多现有的评分标准定义在任务或数据集层面，未能捕捉到单个问题的具体评估要求和细微差别。

因此，目前缺乏可扩展的流水线，能够从原始预训练文档中生成大规模、针对特定问题的加权评分标准数据，以支持在多样化开放式领域进行强化学习训练。

方法论：ARES 框架

作者提出了ARES（用于可扩展强化学习的自动化评分标准合成），这是一个六阶段流水线，旨在自动将原始预训练文档转换为强化学习就绪实例，其中包含自包含的问题、参考答案以及针对特定问题的加权评分标准。

1. 数据流水线

该流水线在原始预训练文档（例如来自 DCLM、FineWeb-Edu、FinePDFs）上运行，包含以下阶段：

文档过滤：基于 LLM 的分类器移除低质量、模板化内容过多或上下文贫乏、不适合问题生成的文档。
领域与角色分配：保留的文档被标注语义领域（来自 10 个类别）和目标角色（例如医生、学生、照护者）。这为生成过程设定条件，以产生多样化的问题风格和推理深度。
评分标准增强的问答协同生成：生成模型（ $M_{gen}$ $M_{g e n}$ ）同时生成：
- 一个自包含的问题（无需源文档即可回答）。
- 一个基于源文档的参考答案。
- 一个针对特定问题的评分标准（ $R_q$ ），由一组加权准则 $\{(c_k, w_k)\}$ 组成。该评分标准包含对期望属性的正权重，以及对常见失败模式（例如幻觉、缺失关键安全披露）的负权重。
质量验证：验证生成的问答对是否具备自包含性、答案对源文档的忠实度，以及是否存在信息泄露（问题不会 trivially 揭示答案）。
评分标准验证：检查评分标准是否具有格式良好的准则、覆盖关键要求、有效的权重范围以及足够的多样性。
格式转换：将验证通过的实例序列化为与组相对策略优化（GRPO）兼容的格式。

2. 奖励机制

与二元奖励不同，ARES 在强化学习训练中利用基于评分标准的奖励函数。对于问题 $q$ 和响应 $y$ ，奖励计算如下：
$R_{rubric}(q, y; R_q) = \sum_{k=1}^{N_q} w_k^{(q)} \cdot J_\phi(q, y, c_k^{(q)})$
其中 $J_\phi$ 是一个 LLM 评判器，用于评分响应满足准则 $c_k$ 的程度， $w_k$ 是重要性权重。这提供了密集的诊断性监督，使模型即使整体响应不完美，也能因正确的组成部分获得部分分数。

3. 训练设置

作者采用**组相对策略优化（GRPO）**作为强化学习优化器。策略训练旨在最大化源自基于评分标准评估的预期奖励，通过比较一组采样的响应来归一化优势。

主要贡献

ARES 流水线：一个可扩展的自动化框架，将原始预训练文档转换为包含自包含问题、参考答案和针对特定问题的加权评分标准的强化学习实例。
大规模数据集：构建了一个涵盖十个多样化领域（包括社会科学、医学、技术和教育）的10 万条评分标准标注数据集。该数据集提供了细粒度的奖励监督，而这一能力此前仅限于小型、人工策划的数据集。
实证验证：在七个基准测试上的全面评估表明，使用 ARES 训练的基于评分标准的强化学习优于持续预训练（CPT）、监督微调（SFT）和二元奖励强化学习。

实验结果

作者使用Qwen3-4B-Base作为基础模型，评估了 ARES-RL 方法，对比了四个基线：CPT、NaturalReasoning（SFT）、Webscale（二元奖励 RL）和 ARES-SFT（在生成数据上的 SFT）。

整体性能：ARES-RL 在所有七个基准测试中取得了最高的平均分，比 CPT 高出 5.33 分，比 NaturalReasoning 高出 6.78 分，比二元奖励 RL 高出 4.39 分。
开放式任务：在多维开放式任务中观察到了最显著的增益：
- 指令遵循（IFEval）：比二元奖励 RL 高出 19.27 分。
- 医疗（HealthBench）：比二元奖励 RL 高出 5.37 分。
- 写作（WritingBench）：比二元奖励 RL 高出 1.15 分。
结构化任务：尽管数据集中数学（930 个）和编程（1,631 个）的示例数量少于其他领域，ARES-RL 仍在 GSM8K、HumanEval+ 和 MBPP+ 上取得了最先进的结果，这表明基于评分标准的奖励的好处可以迁移到结构化推理任务中。
消融研究：
- 结构化与整体：结构化评分标准方法（ARES-RL 和通用评分标准）优于整体“盲评判”基线，表明将评估分解为明确准则能提供更有效的奖励信号。
- 问题特定性：ARES-RL（针对特定问题的评分标准）在平均表现上优于通用评分标准基线，特别是在具有不同约束的任务上（例如 IFEval），突显了针对特定问题定制准则的重要性。
- 稳定性：虽然基于参考答案的奖励在 HealthBench 等特定基准上表现良好，但在不同任务类型中表现不稳定（例如在 IFEval 上显著下降），而 ARES-RL 保持了稳健的性能。

意义与主张

本文主张，ARES 通过自动化合成高质量、多维度的奖励信号，解决了将强化学习扩展到开放式领域的关键瓶颈。作者断言：

更丰富的监督：基于评分标准的奖励比二元验证或基于模仿的 SFT 提供更密集、更具诊断性的学习信号，使模型能够优化响应质量的细微方面（例如安全性、完整性、约束满足）。
可扩展性：通过利用原始预训练文档，ARES 消除了对人工专家策划的需求，使得基于评分标准的强化学习在规模（10 万实例）和领域多样性（10 个领域）上达到了前所未有的水平。
泛化性：该框架证明，使用多维度评分标准优化的强化学习不仅能提升开放式领域的性能，还能有效地迁移到结构化推理和编程任务中，即使领域特定数据有限。

作者总结道，ARES 代表了从被动 token 预测向目标奖励优化的转变，将原始文档转化为针对复杂、多维度能力的聚焦后训练监督。