🤖 machine learning

EvoRubrics: Dynamic Rubrics as Rewards via Adversarial Co-Evolution for LLM Reinforcement Learning

EvoRubrics 引入了一种协同进化强化学习框架，其中策略模型与评分准则生成器通过实时对抗进行相互适应，从而克服了静态标准的局限性，提供动态且具判别性的奖励，以实现自监督学习和自动课程生成。

原作者： Hongxin Ding, Baixiang Huang, Yue Fang, Weibin Liao, Zheng Li, Jinyang Zhang, Zhijing Wu, Junfeng Zhao, Yasha Wang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongxin Ding, Baixiang Huang, Yue Fang, Weibin Liao, Zheng Li, Jinyang Zhang, Zhijing Wu, Junfeng Zhao, Yasha Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人厨师如何烹饪完美的佳肴。

旧方法：静态食谱书

在过去，研究人员会给机器人一本固定的食谱书（称为“静态评估标准/static rubric”）来评判其烹饪水平。

问题所在： 起初，机器人是个糟糕的厨师。食谱书非常严苛，即使机器人的水平稍有进步，也会因为达不到标准而得到“0”分。这会让机器人感到沮丧并停止学习。
后期阶段： 随着机器人变得越来越好，它开始能做出像样的饭菜。但由于食谱书从未改变，机器人最终能完美地符合旧规则做出每一道菜。此时，裁判已经无法分辨出一份“好”餐点和一份“极好”餐点之间的区别。机器人遇到了瓶颈并停止进步，或者更糟的是，它学会了“钻空子”，即只做到足以通过测试的程度，而不真正成为一名优秀的厨师。

新方法：“EvoRubrics”之舞

这篇论文介绍了 EvoRubrics，它就像聘请了一位能与机器人厨师同步进化的烹饪指导老师。

不同于静态的食谱，这里有两个 AI 角色在训练循环中翩翩起舞：

厨师 (Policy LLM)： 尝试烹饪更好的食物。
评论家 (Rubric Generator)： 编写评判食物的规则。

它们是如何协同进化的：

第一轮： 厨师做了一道菜。评论家写下了一套用于评判该菜品的规则。
转折点： 随着厨师变得更强，评论家会自动制定更严格、更具体的规则。如果厨师学会了做完美的煎蛋卷，评论家会立即开始寻找完美的口感、正确的调味以及摆盘风格。
结果： 评论家永远不会停止对厨师的挑战。厨师也永远在努力想要打动评论家。他们实时地互相推动，创造了一个随着学生进步而变得越来越难的自然“课程”。

核心秘诀：对抗性协同进化

论文称之为“对抗性协同进化”（adversarial co-evolution）。把它想象成一款电子游戏，其中的玩家和游戏难度是由两个不同的 AI 智能体共同控制并相互学习的。

如果玩家变得太强，游戏会自动增加更多敌人和更难的关卡。
如果游戏变得太难，玩家会学习新的策略来击败它。
因为它们是共同训练的，所以它们能保持完美的匹配。游戏既不会变得无聊（太简单），也不会变得无法完成（太难）。

为什么这很重要（根据论文）

研究人员在医疗领域（回答健康问题）测试了这一点。

更好的结果： 他们的“双人舞”（Evolubrics）表现优于使用固定规则或仅每天更新一次规则的系统。
无需外部帮助： 令他们惊讶的是，即使拿掉所有人类编写的“金标准”规则，让这两个 AI 仅仅通过互相博弈和学习，系统仍然会显著提升。这种“制作好答案”与“寻找答案缺陷”之间的张力，足以教导系统进步。
评论家成为一种工具： 一旦经过训练，这个“评论家”AI 写规则的能力非常出色，以至于它可以作为一个独立的工具，去评分其他答案，或引导新的 AI 模型，甚至是在它未曾明确训练过的领域。

局限性（不足之处）

论文诚实地说明了其局限性：

主要集中在医疗领域： 他们在健康问题上进行了大量测试。目前还不确定如果不经更多测试，它是否能完美适用于创意写作或法律咨询。
成本高昂： 运行两个不断互相批判的 AI 比只使用一个 AI 需要更多的计算能力。
“回声壁效应”风险： 如果厨师和评论家过于相似，他们可能会开始对一些错误的习惯达成共识。论文指出，如果没有仔细监控，他们可能会偏向于产生一些奇怪、狭隘且不符合人类现实的规则。

总结

EvoRubrics 是一种方法，其中负责生成答案的 AI 和负责编写评分规则的 AI 共同学习。随着生成答案的 AI 变得越来越聪明，评分者也会变得越来越严格，从而确保学习永不停歇。这就像拥有一个私人教练，在你变强的那一刻立即调整你的健身计划，让你永远不会遇到平台期。

EvoRubrics 技术摘要

问题陈述

强化学习（RL）是使大语言模型（LLM）对齐的核心，然而其在开放式任务（如创意写作、医疗咨询）中的成功受到缺乏可验证真值答案（ground-truth answers）的阻碍。虽然基于准则（rubric-based）的奖励通过提供结构化、可解释的评估标准提供了一种有前景的替代方案，但现有方法存在一个根本性的局限：静态准则。

预设的准则在整个训练过程中保持固定，导致其与不断演进的策略（policy）之间出现不匹配。初期，准则可能过于严苛，导致得分普遍偏低；随着策略能力的提升，准则会趋于饱和，无法区分高质量响应之间的差异。这会导致奖励饱和（reward saturation）、学习停滞以及奖励作弊（reward hacking），即模型学会了通过满足固定标准来获取高分，而非实现真正的质量提升。近期的动态方法试图解决这一问题，但过度依赖外部前沿模型，且在时间粒度上较为粗糙（例如以 epoch 为单位），或者需要真值答案，这限制了其可扩展性和在资源受限或新领域的适用性。

方法论：EvoRubrics

作者提出了 EvoRubrics，这是一个协同进化强化学习框架，旨在实时动态地调整评估标准。其核心创新在于通过在每个训练步骤内的对抗性交互，实现**策略 LLM（Policy LLM）与准则生成器（Rubric Generator）**的联合优化。

架构

双 LoRA 设计：策略 LLM 和准则生成器均实例化自共享的骨干 LLM，并使用两个独立的 LoRA 适配器。这种设计确保了两个组件共享共同的知识库和表示空间，使生成器能够准确追踪策略不断演进的能力，同时降低了维护两个完整模型的计算成本。
训练循环：该框架在每个训练步骤中分为四个阶段运行：
1. 展开生成（Rollout Generation）：策略 LLM 生成 $M$ 个候选答案，准则生成器为同一个查询生成 $N$ 套准则集。
2. 交叉评估（Cross-Evaluation）：评判模型对每一个“答案-准则”对进行评分，形成一个 $M \times N$ 的评分矩阵。
3. 奖励计算：
  - 策略奖励（Policy Reward）：一个答案在所有 $N$ 套准则集下的平均归一化得分。
  - 准则奖励（Rubric Reward）：一个旨在确保准则保持有效性的多目标奖励函数。
4. 模型更新：两个适配器使用 GRPO（组相对策略优化）进行顺序更新。

准则生成器优化

准则生成器被训练以产生具有判别性（discriminative）、多样性（diverse）、**对齐性（aligned）和建设性（constructive）**的准则。其奖励函数 ( $r_{rub}$ ) 是四个组成部分的加权和：

判别性 ( $r_{disc}$ )：最大化分配给候选答案的得分标准差，确保准则能够区分不同的质量水平。
多样性 ( $r_{div}$ )：鼓励一个准则集内的各项准则覆盖正交的评估维度（通过嵌入向量的余弦距离衡量）。
对齐性 ( $r_{align}$ )：将生成的准则锚定在预设的“黄金准则”（ $R^*$ ）上，以防止向任意或失准的准则漂移。
建设性 ( $r_{cons}$ )：衡量当策略 LLM 根据生成的准则修改其初始输出时，答案质量的提升程度。

自监督变体：论文还引入了一个完全自监督的变体，该变体无需外部黄金准则。在这种设置下，移除了对齐奖励，并根据策略在生成的准则下的自我改进来衡量建设性。

核心贡献

洞察：作者指出，准则必须与策略实时协同进化才能保持有效。他们证明了生成与评估之间的对抗性动态可以作为一种自包含的信息丰富学习信号源，即使在没有外部监督的情况下也是如此。
技术框架：EvoRubrics 通过双 LoRA 架构实现了这一点，其中策略 LLM 和准则生成器在每个训练步骤内进行联合优化，从而实现实时课程诱导（curriculum induction）。
实证验证：该方法在领域内及分布外（OOD）基准测试中，表现持续优于静态和动态准则基线。至关重要的是，学习到的准则生成器可以作为可迁移的奖励模型和针对未见查询的引导工具。

实验结果

实验主要在 HealthBench 数据集（医疗领域）上使用 Qwen3-4B 和 Qwen3-8B 骨干网络进行，并使用 DeepSeek-V3.2 作为评判模型。

策略性能：EvoRubrics 在基于准则的 RL 方法中取得了最强的整体表现。在领域内 HealthBench Hard 基准测试中，它显著超越了静态“黄金准则”和像 OnlineRubrics 这样的动态基线。值得注意的是，使用较小骨干网络（4B/8B）的 EvoRubrics 在特定领域内任务上超过了更大的模型（如 DeepSeek-V4-Flash）。
泛化能力：不同于以往在 OOD 基准测试（MT-Bench, FollowBench）上表现下降的方法，EvoRubrics 保留或提升了 OOD 性能，表明协同进化的准则提供了更具迁移性的优化信号。
可迁移性：训练好的准则生成器在 RubricBench 上能有效充当独立的奖励模型，提高了对比判别（pairwise judging）的准确性。当用作推理时引导时，它能持续提升响应质量。
自监督有效性：完全自监督的变体（无需外部准则锚点）仍然比基础模型和黄金准则产生了显著收益，证实了生成与评估之间的对抗性相互作用本身就能提供足够的优化信号。

重要性与主张

论文声称 EvoRubrics 解决了开放式 RL 中静态评估标准与不断演进的模型能力之间的根本错配问题。通过诱导一个自动课程，使评估标准能够实时适应策略的能力，该框架避免了奖励饱和与奖励作弊。

作者强调，该方法不依赖于昂贵的外部前沿模型或真值答案，因此具有可扩展性。其展示的完全自监督变体仍能获得显著收益，这一事实表明，在无法获得可验证答案的领域，生成与评估之间的协同进化是一种强大的、自维持的机制，用于提升 LLM 的能力。

局限性：作者承认训练主要是在医疗领域进行的，尽管 OOD 结果令人鼓舞，但仍需在更多样化的领域（如法律、创意）进行更广泛的验证。此外，计算实验仅限于高达 8B 参数的模型，且生成与评估协同进化可能放大共同偏差（shared biases）的风险仍是未来研究中需要关注的问题。