💻 computer science

EvoLM: Self-Evolving Language Models through Co-Evolved Discriminative Rubrics

本文介绍了 EvoLM，这是一种自监督后训练方法，它使语言模型能够通过交替生成实例特定的判别性评分标准并利用这些标准作为奖励来优化策略性能，从而在不依赖外部人工或模型监督的情况下实现更优越的结果。

原作者： Shuyue Stella Li, Rui Xin, Teng Xiao, Yike Wang, Rulin Shao, Zoey Hao, Melanie Sclar, Sewoong Oh, Faeze Brahman, Pang Wei Koh, Yulia Tsvetkov

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuyue Stella Li, Rui Xin, Teng Xiao, Yike Wang, Rulin Shao, Zoey Hao, Melanie Sclar, Sewoong Oh, Faeze Brahman, Pang Wei Koh, Yulia Tsvetkov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生（即策略模型）如何写出完美的文章。在旧方法中，你需要一位严格的老师（人类或超级智能 AI）来阅读每一篇文章、打分，并告诉学生他们哪里做错了。这种方法昂贵、缓慢，且受限于那位老师的智能水平。

EVOLM 是一种新方法，它让学生成为自己的老师，但有一个巧妙的转折。学生不再只是猜测什么是“好”文章，而是学会为每一篇他们写出的文章制定一份具体的检查清单（称为评分细则，Rubric）。

以下是该过程的运作方式，分解为简单的步骤：

1. 两个角色：撰写者与清单制定者

在这个系统中，同一个 AI 模型同时扮演两个角色：

撰写者（策略）： 这部分负责生成问题的答案。
清单制定者（评分细则生成器）： 这部分审视问题，并写出一套具体的规则（评分细则），用于评判答案。

这就像一位厨师，不仅烹饪菜肴，还在烹饪完成后写下食谱卡片，精确解释这道菜为何好或为何坏。

2. “时间旅行”反馈循环

系统如何知道检查清单是否有效？它不需要人类说“干得好！”相反，它利用时间旅行。

步骤 A： AI 今天写下一个答案。
步骤 B： 它回看几天前自己写下的答案（即“早期版本”的自己）。
步骤 C： 它假设新答案更好，因为 AI 一直在学习。
步骤 D： 清单制定者创建一套评分细则，用于评判这两个答案。

目标很简单：评分细则必须能够清晰地区分“新的、更好的”答案和“旧的、较差的”答案。 如果评分细则模糊，它就无法发现差异。如果评分细则敏锐且具体，它会给新答案打高分，给旧答案打低分。

3. 协同进化之舞

魔法就发生在这里。这两个角色轮流在循环中互相提升：

撰写者变得更强： 利用这些检查清单，撰写者学会生成更好的答案以获得更高的分数。
清单制定者变得更敏锐： 随着撰写者变得更强，旧答案相比之下显得更差。为了继续区分“好”与“卓越”，清单制定者必须编写更具体、更详细的规则。它不能只说“语法好”；它必须说“句子必须在引导性短语后使用逗号”。

随着时间的推移，检查清单从“让它有趣”这样模糊的标签，演变为“答案必须包含源自周长 48 的数字 144"这样具体、可验证的指令。

4. “小裁判”技巧

通常，你需要一个巨大、超级聪明的 AI 来给复杂的文章打分。但 EVOLM 使用一个微小的、冻结的 AI（一个小裁判）来进行实际评分。

因为清单制定者已经学会了编写如此具体、明确的规则（例如“检查单词‘创新’是否出现了两次”），即使是微小、简单的 AI 也能完美地遵循这些指令。这就像给一个小孩子一张非常具体的藏宝图：他们不需要成为侦探；他们只需要跟随地图即可。

为什么这很重要？

无需外部教师： 该系统不需要人类来批改成千上万篇文章，也不需要支付昂贵的 AI API 费用。它从自身的过往表现中创造自己的训练信号。
突破天花板： 如果你依赖人类教师，AI 永远无法超越那个人类。如果你依赖特定的 AI 教师，AI 就会停滞在那个教师的水平。而使用 EVOLM，AI 的“教师”（评分细则）会随着 AI 一起进化，因此天花板会不断升高。
行之有效： 论文表明，这种自学的 AI（使用一个小型的 80 亿参数模型）实际上超越了使用 GPT-4（一个更大、更昂贵的模型）来生成规则的系统。

简而言之： EVOLM 是一个自我改进的循环，AI 在其中学会编写自己详细的评分细则。通过不断将现在的自己与过去的自己进行比较，它迫使自己编写越来越精确的规则，进而帮助它学会写出更好的答案，整个过程无需人类介入。

技术摘要：EVOLM——通过协同演化的判别性评分标准实现自我进化的语言模型

1. 问题陈述

当前大语言模型（LLM）的后期训练方法，特别是基于人类反馈的强化学习（RLHF），严重依赖外部监督来生成奖励信号。这些来源包括人类偏好标注、专有 API 驱动的评判器（LLM-as-a-judge）、标量奖励模型或可验证的真实答案。每一种来源都为模型改进设定了根本性的上限：人类判断无法监督其自身能力之外的内容；专有 API 造成依赖和成本壁垒；标量奖励模型易受奖励欺骗（reward hacking）的影响；而可验证奖励则局限于拥有真实答案的领域。

尽管大语言模型在预训练阶段编码了丰富的评估知识，但现有方法未能将这些潜在知识结构化，以形成可靠且可持续的训练信号。核心挑战在于提取并结构化这种评估能力，使其能够在没有外部监督的情况下实现可靠评分，从而使模型能够突破静态评估标准的限制，实现自我改进。

2. 方法：EVOLM

作者提出了EVOLM，这是一个后期训练框架，使单个语言模型能够协同进化其自身的生成（策略）和评估（评分标准）能力。其核心创新在于将评估知识显式地结构化，形成判别性评分标准（discriminative rubrics）——即经过优化的自然语言标准，旨在帮助一个小型、冻结的评判器区分优选响应与非优选响应。

2.1 核心组件

策略模型（ $\pi_\theta$ ）： 生成针对问题的响应。
评分标准生成器（ $\rho_\phi$ ）： 为给定问题生成特定实例的评估标准（评分标准），以自然语言形式呈现。
冻结评判器（ $J$ ）： 一个小型、固定的语言模型（例如 Qwen3-1.7B），根据生成的评分标准对响应进行评分。评判器的参数在整个训练过程中保持冻结。

2.2 训练目标与机制

EVOLM 将评分标准视为潜在变量，并通过变分推断形式化评分标准的生成过程。其目标是最大化评分标准的判别效用：如果冻结评判器应用该评分标准时，对优选响应（ $a^+$ ）的评分高于非优选响应（ $a^-$ ），则该评分标准是“好”的。

训练目标旨在最大化证据下界（ELBO），奖励那些能拉大优选响应与非优选响应之间评分差距的评分标准：
$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$
在实践中，这通过结合基于边界的奖励和格式奖励进行优化，以确保评分标准遵循可由评判器解析的结构化 JSON 模式。

2.3 协同进化训练循环

该方法利用 GRPO（组相对策略优化）算法在两个阶段之间交替进行：

阶段 1（策略更新）： 冻结评分标准生成器。策略生成响应，冻结评判器使用当前评分标准对这些响应进行评分。策略被更新以最大化这些源自评分标准的奖励。
阶段 2（评分标准更新）： 冻结策略。偏好对 $(a^+, a^-)$ 从策略自身的输出中构建。评分标准生成器生成候选评分标准，评判器对这两个响应进行评分。评分标准生成器被更新，以最大化优选响应与非优选响应之间的评分差距。

2.4 偏好对构建

为了避免外部标签，EVOLM 使用三种互补的方法完全从策略自身的输出中构建偏好对：

时间对比（Temporal Contrast）： 将当前响应（ $a^+$ ）与先前训练检查点中的早期响应（ $a^-$ ）配对。随着策略的改进，时间差距形成了一种自然且难度递增的课程。
推断问题（Inferred Question, IQ）： 策略推断出优选响应所针对的问题，然后针对该推断问题生成一个非优选响应，以测试相关性。
评分标准条件（Rubric-Conditioned, RC）： 生成一个基于评分标准的优选响应，以及一个仅基于问题生成的非优选响应，以此测试评分标准的效用。

3. 主要贡献

自我进化框架： EVOLM 是第一种将评分标准质量正式定义为判别效用，并在没有外部监督、专有 API 或特定任务验证器的情况下端到端训练评分标准生成器的方法。
协同进化： 该框架建立了一个反馈循环，其中策略的改进迫使评分标准变得更加敏锐（以保持判别性），而更敏锐的评分标准则提供更具信息量的奖励，从而推动策略的进一步改进。
评分标准丰富机制： 定性分析表明，训练后的评分标准从抽象标签演变为具体、可验证的检查项。它们嵌入了具体的预期值（例如，“答案是 144"），并将约束分解为可单独检查的子任务，将整体判断转化为即使是小型评判器也能可靠执行的模式匹配。
泛化能力： 学习到的评分标准无需重新训练即可有效迁移到未见过的策略、不同的模型家族以及分布外领域（例如深度研究任务）。

4. 实验结果

实验使用 Qwen3-8B 作为策略/评分标准生成器，使用 Qwen3-1.7B 作为冻结评判器。

下游性能： EVOLM 训练的策略在 OLMo3-Adapt 套件（12 个基准测试）上取得了 69.3% 的平均成绩，优于：
- 使用 GPT-4.1 提示评分标准的策略（66.7%）。
- 使用 Qwen3-8B 提示评分标准的策略（67.5%）。
- 最先进的标量奖励模型（SkyWork-RM-V2），得分为 59.7%。
- 其他基于评分标准的强化学习方法（RAR, RRD, RLCER, RUBRIC-ARM），得分范围在 66.7% 至 67.6% 之间。
评分标准质量： 学习到的评分标准在 RewardBench-2 上比 GPT-4.1 高出 25.7%（在特定指标上为 46.0% 对比 20.3%，尽管摘要引用了该基准上比 GPT-4.1 评分标准高出 25.7% 的改进）。
泛化能力：
- 跨策略： 在 Qwen3-8B 上训练的评分标准，与 GPT-4.1 提示的评分标准相比，提高了未见过的 Qwen3-4B 和 Llama-3.1-8B 策略的下游性能。
- 跨评判器： 使用 1.7B 评判器训练的评分标准，在与更大的评判器（Qwen3-8B, OLMo-3-7B）配对时仍然有效，显示出相对于提示基线的显著增益。
- 分布外： 在深度研究任务（HealthBench, ResearchQA）上，EVOLM 评分标准与专家人类评分标准的成对一致性高于 GPT-4.1（在 HealthBench 上为 58.4% 对比 52.5%）。
消融研究：
- 评判器规模： 小型 1.7B 评判器产生了最佳的下游策略，表明评分标准的内容质量比评判器的能力更为关键。
- 训练动态： 协同进化训练优于顺序训练（先训练评分标准再训练策略），突显了自适应反馈循环的重要性。
- 奖励过度优化： 标量奖励模型尽管在静态基准测试（RewardBench-2: 86.4%）中占据主导地位，但产生了最弱的下游策略，证实了静态标准无法适应不断变化的策略分布。

5. 意义与主张

本文主张，EVOLM 证明了将模型的评估能力结构化到协同进化的判别性评分标准中，能够实现无需外部监督的自我改进。

作者认为，每一种外部奖励来源都设定了上限：人类判断无法超越其自身能力进行监督，而静态标准无法适应学习策略所创造的输出分布。通过让评估标准与策略协同进化，EVOLM 消除了这些限制。研究表明，学习到的评估结构可在未见过的策略、评判器和领域之间迁移，这为语言模型走向自主、可扩展的自我改进提供了一条路径。

这项工作将评分标准不仅仅定位为可解释性工具，而是将其视为从预训练中提取潜在评估知识，并将其结构化以形成可靠、可持续训练信号的机制。