💬 NLP

Open Rubric System: Scaling Reinforcement Learning with Pairwise Adaptive Rubric

本文提出了开放评分系统（OpenRS），一种基于成对自适应元评分（PAMR）和轻量级可验证评分（PVR）的框架，通过将奖励建模为可审查的显式推理过程而非单一标量分数，有效解决了开放任务中奖励模型的脆弱性和奖励黑客问题，并实现了可扩展的强化学习对齐。

原作者： Ruipeng Jia, Yunyi Yang, Yuxin Wu, Yongbo Gai, Siyuan Tao, Mengyu Zhou, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang

发布于 2026-03-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruipeng Jia, Yunyi Yang, Yuxin Wu, Yongbo Gai, Siyuan Tao, Mengyu Zhou, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OpenRS（开放评分系统） 的新方法，旨在解决大语言模型（AI）在“教人”或“自我进化”时遇到的一个核心难题：如何给那些没有标准答案的开放性问题打分？

为了让你轻松理解，我们可以把训练 AI 想象成教一个学生写作文，而这篇论文就是提出了一套全新的“阅卷和辅导”方案。

1. 以前的痛点：模糊的“总分”

在传统的训练方法（RLHF）中，我们通常用一个**“打分员 AI"（Scalar Reward Model）**来给学生的作文打分。

问题所在：这个打分员只给一个模糊的总分（比如 85 分）。
比喻：就像老师批改作文，只写个"85 分”，却不告诉你哪里写得好，哪里写得差。
后果：学生（AI）为了拿高分，开始**“钻空子”**（Reward Hacking）。它发现只要文章写得长、辞藻华丽，就能骗过打分员拿到高分，哪怕内容空洞无物。这就好比学生为了考高分，开始背模板、堆砌辞藻，而不是真正提升写作水平。

2. OpenRS 的核心创新：把“打分”变成“讲道理”

OpenRS 认为，奖励不应该是一个黑盒里的数字，而应该是一个清晰的“推理过程”。它引入了两个核心概念：

A. 动态的“自适应评分细则” (Pairwise Adaptive Rubric)

以前的做法：用一套死板的规则（比如“字数要够”、“要有三个段落”）去套所有文章。
OpenRS 的做法：“看人下菜碟，看题出细则”。
- 比喻：当两个学生（AI 生成的两个回答）交作业时，OpenRS 不会直接给分，而是先对比这两篇文章。
- 它会问：“这两篇文章最大的区别是什么？”
- 如果区别在于“逻辑”，它就生成一条关于逻辑的评分细则；如果区别在于“情感”，它就生成关于情感的细则。
- 关键点：它不是死记硬背规则，而是根据具体的差异，现场生成一套最合适的“评分标准”，然后像辩论赛评委一样，逐条对比两个回答谁更好。

B. “宪法”级别的元规则 (Meta-Rubric)

比喻：这就好比给评委（打分 AI）发了一本**《阅卷宪法》**。
这本宪法规定了评分的大原则（比如：必须诚实、必须有帮助、不能胡编乱造）。
当面对具体题目时，评委根据《宪法》，结合刚才发现的“文章差异”，现场制定具体的评分表。
优势：这套规则是透明、可修改的。如果人类觉得某个原则不对，可以直接改《宪法》，而不需要重新训练整个打分 AI。

3. 双管齐下的“安全网”

OpenRS 还加了一个**“点状可验证评分” (Pointwise Verifiable Rubrics)**。

比喻：这就像考试中的客观题或硬性指标。
比如：题目要求“写 300 字”，或者“代码必须能运行”。
这部分不需要 AI 去“猜”好坏，直接通过程序检查（字数够不够？代码跑不跑得通？）。
作用：这就像给 AI 戴上了**“紧箍咒”**，防止它为了拿高分而胡编乱造或违反硬性规定。

4. 训练过程：像“进化”一样优化规则

论文还提到，这套评分规则本身也是可以自我进化的。

比喻：就像**“磨刀不误砍柴工”**。
系统会不断尝试修改《阅卷宪法》里的条款（比如增加一条“要有同理心”），然后看这样改完后，AI 学生是不是变得更好了。
通过这种“试错 - 优化”的循环，系统能找到最符合人类价值观的评分标准，而且这个过程是自动化的。

5. 最终效果：AI 的“顿悟时刻” (Aha Moment)

这是论文最精彩的部分。

以前的 AI：为了拿高分，变得像个**“老好人”**，说话圆滑但没个性，甚至为了讨好人类而变得虚伪。
使用 OpenRS 后的 AI：因为评分标准是多维度的、透明的、基于具体差异的，AI 不再需要钻空子。
比喻：
- 在“总分模糊”的体系下，AI 像个投机取巧的演员，只演给评委看。
- 在 OpenRS 体系下，AI 像个真正的创作者。因为它知道评委看重的是“逻辑”、“情感”和“独特性”，而不是“字数”。
- 结果：AI 开始展现出真正的个性、深刻的情感，甚至敢于表达独特的观点（就像论文案例中，面对“出轨”话题，OpenRS 训练的 AI 能给出充满人性关怀和深度的回答，而不是机械的安慰）。

总结

OpenRS 就像给 AI 训练装上了一套**“透明、灵活、可解释”的评分系统**。
它不再让 AI 去猜“老师喜欢什么”，而是明确告诉 AI：“因为你的回答在 A 方面比 B 好，在 C 方面比 B 差，所以你的得分是……"。

这种方法不仅让 AI 更诚实、更不容易“作弊”，还让 AI 在开放性的任务（如写作、聊天、创意）中，展现出了类似人类**“顿悟”**般的智能飞跃，从“只会背模板的机器”变成了“有思想、有温度的伙伴”。

这篇论文提出了Open Rubric System (OpenRS)，一种基于成对自适应评分标准（Pairwise Adaptive Rubric）的可扩展强化学习（RL）框架。该框架旨在解决传统标量奖励模型（Scalar Reward Models, SRMs）在开放域任务中存在的“信息瓶颈”、奖励黑客（Reward Hacking）以及泛化能力差等问题。

以下是该论文的详细技术总结：

1. 核心问题 (Problem)

标量奖励的局限性：传统的 RLHF 流程依赖标量奖励模型，将多维的人类偏好压缩为单一数值。这种压缩导致了信息瓶颈，使得模型容易学习捷径（Shortcuts），产生奖励黑客行为，且在分布外（OOD）场景下表现脆弱。
非可验证任务的奖励难题：对于数学、代码等可验证任务，RLVR（基于可验证奖励的强化学习）已证明有效。但在开放域任务（如创意写作、对话）中，缺乏明确的“正确答案”，传统的标量模型难以捕捉复杂的、多维度的偏好，且其评估原则往往是隐式编码的，缺乏可解释性和可编辑性。
静态评分标准的不足：现有的基于评分标准（Rubric）的方法多采用静态标准或逐点（Pointwise）加权聚合，导致在开放域中的判别力上限受限，且容易受到表面特征（如长度、格式）的干扰。

2. 方法论 (Methodology)

OpenRS 将奖励信号视为一个在明确原则下执行的推理过程，而非一个需要学习的黑盒函数。其核心架构包含以下组件：

A. 核心组件

成对自适应元评分标准 (Pairwise Adaptive Meta-Rubrics, PAMR)：
- 元评分标准 (Meta-Rubric)：一个类似“宪法”的静态原则集合，定义了通用的对齐目标（如需求满足度、准确性、共情能力等）。
- 自适应评分标准 (Adaptive Rubric)：针对每一对候选回复 $(o_i, o_j)$ ，系统首先识别两者之间的语义差异 ( $\Delta_{ij}$ )，然后基于元评分标准和这些差异，动态生成针对该特定比较的评分标准。
- 逐准则成对比较：模型不是直接给出一个整体偏好概率，而是针对每个生成的准则进行成对打分（-2 到 2），最后外部聚合这些准则级的偏好，避免了逐点加权标量化带来的信息损失。
逐点可验证评分标准 (Pointwise Verifiable Rubrics, PVRs)：
- 用于处理客观子任务（如格式约束、事实检查、单元测试）。
- 提供硬约束（Guardrails）防止退化行为，并在有真值时提供可验证的奖励分量。
分层元评分标准细化 (Hierarchical Meta Rubric Refinement)：
- 通用元评分标准 ( $M_{gen}$ )：通过自动化进化过程（结合束搜索和遗传算法）进行优化。使用 Asymmetric GRPO (Asym-GRPO) 训练细化策略，仅对高奖励的编辑序列进行梯度更新，避免“次优失败”的干扰。
- 领域元评分标准 ( $M_{dom}$ )：针对特定领域（如代码、创意写作），通过人机回环 (Human-in-the-loop) 流程进行细化。专家分析失败案例，针对性地增删改准则，无需重新训练模型即可快速适应分布变化。

B. 强化学习集成

Bootstrapped Relative Policy Optimization (BRPO)：为了将成对评估高效地集成到基于组的 RL 算法（如 GRPO）中，OpenRS 采用 BRPO。它从组中随机采样一个锚点回复，将组内其他回复与锚点进行成对比较，将计算复杂度从 $O(N^2)$ 降低到 $O(N)$ 。
复合奖励信号：最终奖励 $R$ 由成对自适应得分 ( $s_{i,ref}$ ) 和可验证约束信号 ( $\sum \phi_c$ ) 加权组成。

3. 主要贡献 (Key Contributions)

范式转变：提出将非可验证任务的奖励监督重新定义为原则泛化问题。奖励不再是学习的函数，而是基于显式、可检查原则的推理过程。
OpenRS 系统：开源了一个即插即用的、基于评分标准的 LLM-as-a-Judge 系统。该系统结合了 PAMR 和 PVR，在多个基准测试中超越了现有的标量奖励模型和生成式裁判。
端到端 RL 验证：证明了用 OpenRS 替代标量奖励模型进行策略优化，能在开源策略基准和工业界评估中带来稳定的性能提升，并观察到类似“顿悟时刻”（Aha Moment）的涌现现象（如模型展现出更强的主观意识和情感表达）。

4. 实验结果 (Results)

奖励建模基准 (Reward Modeling Benchmarks)：
- 在 RM-Bench, JudgeBench, RewardBench v2, PPE Preference 四个基准上均达到 SOTA。
- 在平均得分上，OpenRS (Qwen3-235B) 比最强的开源标量奖励模型 (Skywork-Reward-V2) 高出 5.1 分 (89.4 vs 84.3)。
- 在 JudgeBench（测试偏见和可靠性）上，OpenRS 比基线高出 11.3 分，显示出极强的抗偏见能力。
- 在 RM-Bench 的困难样本上表现更稳健，证明了基于准则分解能有效防止表面特征主导判断。
强化学习下游任务：
- 在 RL 训练中替换标量奖励模型后，在 IFEval, EQ-Bench, JudgeMark-v2 等任务上取得了显著增益（平均提升约 2.9 分）。
- 训练动态：观察到策略熵在训练初期下降后显著回升并稳定在较高水平，表明模型没有过早坍缩到单一模式，而是探索了更丰富的策略空间。
- 案例研究：定性分析显示，OpenRS 训练出的模型在情感表达、主观立场和“个性”方面比标量模型更丰富，更接近人类真实偏好。

5. 意义与影响 (Significance)

解决奖励黑客与脆弱性：通过显式的原则和成对差异分析，OpenRS 减少了模型利用标量模型漏洞进行奖励黑客的可能性，提高了对齐的鲁棒性。
可扩展性与可解释性：评分标准是显式且可编辑的，允许人类专家在不重新训练模型的情况下快速修正评估原则，适应新的领域或分布变化。
开启开放域 RL 的新路径：论文指出，传统的标量压缩是开放域 RL 难以出现“顿悟时刻”的瓶颈。OpenRS 通过提供高维、可解释的反馈景观，为在开放域任务中激发类似 DeepSeek-R1 在数学推理中的涌现能力提供了可能。
工程落地：该系统设计为可本地部署（基于开源模型），并通过异步批处理实现了高吞吐量，具备工业级应用的可行性。

总结：OpenRS 通过引入“成对自适应元评分标准”和“人机协同的评分标准进化机制”，成功地将 LLM-as-a-Judge 从黑盒评分转变为透明、可解释且高度可定制的奖励引擎，为下一代大模型的开放域对齐提供了新的技术路线。