🤖 AI

ComplexConstraints and Beyond: Expert Rubrics for RLVR

本文介绍了 ComplexConstraints，这是一个用于基于评分量表（rubric）评估的专家级策划数据集和框架，证明了高质量、原子化的评分量表不仅能对复杂的 LLM 行为提供更优越的评估，而且还能作为极其有效的训练信号，显著提升不同规模模型的指令遵循能力和智能体任务性能。

原作者： Sushant Mehta, Liudas Panavas, Edwin Chen

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sushant Mehta, Liudas Panavas, Edwin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明、但有点过于刻板的机器人如何遵循指令。

长期以来，我们一直使用简单的“清单式”考试来测试这些机器人。例如，我们会说：“写一个不使用字母 'e' 的故事。”如果机器人做到了，我们就给它及格。但只要机器人避开了字母 'e'，即使它写的是完全不知所云的内容，我们仍会认为它是成功的。这就像是在评价一个学生时，只看他是否穿着红衬衫，而忽略了他是否真的听懂了课程。

这篇论文指出，这种旧的测试方法已经失效了。相反，作者提出了一种新方法：专家评分标准（Expert Rubrics）。你可以把它想象成用一份由人类专家编写的详细、细致的计分卡，取代了简单的通过/失败清单。

以下是他们方法的拆解，使用了简单的类比：

1. 问题所在：“字母 'E'”陷阱

目前的测试（如著名的 IFEval）太容易被“投机取巧”了。机器人可以机械地遵循规则，却并不真正理解人类的意图。这就像一位厨师完美地遵循了食谱，却忘了打开烤箱；步骤都是对的，但结果却是失败的。

2. 解决方案：“大师级厨师的计分卡”

作者创建了一个名为 COMPLEXCONSTRAINTS 的新数据集。他们不再进行简单的“是/否”检查，而是雇佣人类专家为每一项任务编写详细的“计分卡”。

类比： 想象一场烹饪比赛。评委不仅仅是检查“是否使用了盐？”，评委的计分卡上有 10 到 40 个具体的要点：“汤的味道是否调味得当？”、“质地是否光滑？”、“是否烧焦了大蒜？”、“是否使用了正确的锅具？”
关键点： 这些计分卡由人类编写，旨在捕捉意图（客户实际想要什么），而不仅仅是字面意思。

3. 编写优秀计分卡的五条规则

论文概述了使这些计分卡有效的五条规则：

最大化可行原子性（Maximum Viable Atomicity）： 不要过度拆解。如果你要求一个“C7 和弦”，分别检查机器人是否拿对了“C”音和“E”音是可以的，但不要把它们当作完全无关的东西来处理，因为它们需要协同工作才能发出正确的声音。
意图感知设计（Intent-Aware Design）： 计分卡必须理解“为什么”。如果用户说“帮我提高西班牙语水平”，但提到他们已经在阅读经济学文章，那么计分卡就不应该奖励基础的字母表闪卡。它应该奖励进阶的、以经济学为主题的课程。
三类系统： 计分卡不仅仅是一个平等的项目列表。它包含三种类型：
- 主要意图（Primary Intent）： 必须具备的要素（例如，“汤必须是热的”）。
- 额外加分（Extra Credit）： 让作品变得出色的“锦上添花”项（例如，“汤里装饰了新鲜香草”）。
- 规避事项（Dodged Bullets）： 机器人必须避免的事情（例如，“如果客户对金属过敏，请不要用金属勺盛汤”）。
校准（Calibration）： 计分卡会针对 AI “裁判”进行测试，以确保措辞不会产生歧义。如果 AI 对“头韵（alliteration）”这个词感到困惑，人类就会重写规则使其更清晰。
现实世界复杂度（Real-World Complexity）： 任务是基于真实的工作（如处理客户服务工单），而不是虚构的谜题。

4. 奇迹之处：利用计分卡来“教导”机器人

这是最令人兴奋的部分。通常，我们使用这些计分卡仅仅是为了给机器人“评分”。但作者发现，这些计分卡也是极佳的教学工具。

类比： 想象一位教练在给球员反馈。
- 旧方式： “你输掉了比赛。再试一次。”（球员不知道该改进哪里）。
- 新方式： “你因为低头看地导致错失了 3 次球。你跑错了战术。但你的步法做得很好。”（球员清楚地知道该如何改进）。

通过将这些详细的计分卡作为训练过程中的“奖励”（一种称为强化学习的过程），机器人学习得更快。

结果： 他们利用仅 1,000 个经过专家评分的案例训练了一个较小的机器人模型。
- 小型机器人模型在指令遵循方面的表现提升了 15.5%。
- 大型机器人模型的表现提升了 12.2%。
- 至关重要的是，由于它们学习的是遵循复杂约束的技能，而非仅仅死记硬背答案，因此机器人在处理从未见过的任务（如使用工具或处理客户服务聊天）时也变得更出色了。

5. 为什么这很重要

论文声称，专家评分标准同时解决了两个问题：

更好的测量： 它们能告诉我们一个聪明的机器人与一个天才机器人的真实区别，而旧的测试会让它们看起来都一样。
更好的训练： 它们充当了高质量的老师，帮助机器人在使用更少数据的情况下学习复杂的行为。

简而言之，作者认为：停止用简单的清单来测试机器人。开始使用详细的人类编写的计分卡，既用来评分，也用来教导它们如何真正地提供帮助。

技术摘要：ComplexConstraints 及超越：面向 RLVR 的专家级评分量表

问题陈述

随着大语言模型（LLM）能力的演进，传统的评估基准正日益趋于饱和，且与实际部署需求脱节。当前的方法（例如程序化验证，如 IFEval）依赖于狭隘的、表层级的约束，这些约束可以通过脚本进行检查，但无法捕捉细微的、依赖上下文的行为。因此，模型可能会通过规避特定字符或格式规则来通过基准测试，却产生逻辑不连贯的内容。此外，基准测试表现与遵循复杂、多层指令、在长程交互中维持行为约束以及可靠执行多步专业工作流的能力之间，存在着日益扩大的差距。现有的基准测试往往缺乏“构念效度”（construct validity），无法区分前沿模型之间有意义的能力差异。

方法论

本文提出了一种从程序化验证向专家策划的基于评分量表（rubric-based）评估转变的范式。这种方法涉及领域专家将任务成功拆解为原子化的、可验证的标准，这些标准既捕捉了显式要求，也捕捉了务实的意图。

专家评分量表的设计原则

作者阐述了五项设计原则，以确保评分量表对评估和强化学习来自可验证奖励（RLVR）均有效：

最大可行原子性（Maximum Viable Atomicity）： 标准应反映提示词中最小的有意义单元。过度拆解可能导致奖励那些虽然满足了表层子标准、但在本质上错误的回答。
意图感知标准设计（Intent-Aware Criterion Design）： 标准必须反映用户的务实意图（即“为什么”），而非仅仅是字面措辞。这可以防止模型学习到优先考虑表面措辞而非上下文理解。
三类标准分类法（Three-Category Criterion Taxonomy）： 标准被非对称地分类，以塑造奖励信号：
- 主要意图（Primary Intent）： 直接要求；奖励的主要来源。
- 额外加分（Extra Credit/Bonus）： 增强体验但不属于强制要求的元素；奖励是累加的，缺失则不扣分。
- 避坑指南（Dodged Bullet/Penalty-only）： 针对避免可能出现的误解进行的检查；若违反则扣分，若满足则不给予奖励。
迭代式 LLM 裁判校准（Iterative LLM-Judge Calibration）： 标准经历一个迭代过程：作者起草标准，针对参考回答进行测试，并根据 LLM 验证器的分歧来优化语言，以消除歧义并防止奖励作弊（reward hacking）。
领域驱动的任务复杂度（Domain-Grounded Task Complexity）： 对于智能体（agentic）任务，评分量表在完整性、正确性、约束满足度和格式合规性等维度上分解成功标准，提供密集的、准则层级的反馈。

COMPLEXCONSTRAINTS 数据集

为了实例化这些原则，作者引入了 COMPLEXCONSTRAINTS，这是一个包含约 1,000 个单轮提示词的新数据集。每个提示词都配有由领域专家编写的 10–40 个原子化评分标准。该数据集旨在占据能力前沿，即使是最强的模型，其完美完成任务的速率也低于 17%。

训练流水线

本研究采用了 RLVR（强化学习来自可验证奖励），使用专家评分量表作为奖励信号。

奖励函数： 奖励计算为满足“主要意图”标准的加权和，加上按比例缩放的“额外加分”标准奖励，减去按比例缩放的违反“避坑指南”标准的惩罚。
指令遵循： 模型（Qwen3-4B 和 Qwen3-235B）使用 COMPLEXCONSTRAINTS 中的约 900 个样本通过 LoRA 微调进行训练。
智能体任务： 模型（GLM 4.6）在 CoreCraft 企业模拟环境中使用群体相对策略优化（GRPO）结合基于评分量表的奖励进行训练。

核心贡献

设计原则： 阐述了构建高质量专家评分量表的五个特定原则，这些原则提高了构念效度，并能作为有效的 RL 训练信号。
COMPLEXCONSTRAINTS 数据集： 引入了一个具有高约束密度（每个提示词 10–40 个标准）的专家策划指令遵循数据集，用于评估和训练。
实证验证： 证明了专家评分量表是极其有效的训练信号，能够显著提升指令遵循能力和智能体任务执行能力。

结果

指令遵循

在约 1,000 个专家策划的样本上进行训练后，性能取得了显著提升：

Qwen3-4B： 平均每项准则通过率提升了 15.5 个百分点 (pp)。
Qwen3-235B： 提升了 12.2 pp。
向高级 IF 的迁移： 尽管仅在单轮任务上进行训练，模型在独立的 AdvancedIF 基准测试上也表现出实质性收益，包括多轮上下文能力（Qwen3-4B 提升 7.1 pp）和系统可控性（提升 12.4 pp）。

智能体任务执行

在 CoreCraft 企业环境中对 GLM 4.6 进行单轮次（epoch）训练后，结果如下：

分布内（In-Distribution）： 在留存的 CoreCraft 任务上提升了 11.4 pp。
分布外（Out-of-Distribution）迁移： 在从未训练过的基准测试上取得了显著增益：
- BFCL（并行函数调用）：+4.5 pp。
- $\tau$ 2-Bench（零售客户服务）：+7.4 pp。
- Toolathlon（长程工具使用）：+6.8 pp。
可靠性： 模型在 Toolathlon 上的 Pass@3（三次运行中解决任务的比例）几乎翻倍，从 9.3% 提高到 17.6%。

意义与主张

论文声称，专家编写的评分量表具有双重用途：它们是更优的评估工具，提供了更高的构念效度并能更好地区分前沿模型的能力；同时也是非常有效的训练信号，用于强化学习。

关于其重要性的关键主张包括：

数据效率： 高质量的专家策划使得通过极少量的样本（约 1,000 个）即可获得实质性的能力提升，优于依赖合成评分量表的方法。
泛化性： 通过高密度评分量表训练获得的胜任力（约束追踪、工作流分解、质量标准）可以跨格式（单轮到多轮）和跨领域（指令遵循到智能体任务）进行泛化。
最优难度： 专家评分量表允许将任务难度校准至“生产性中间地带”，即学习信号最丰富的区域，从而避免了简单基准测试的饱和问题或不可能任务带来的噪声问题。
测量 vs. 开发： 本研究表明，投资于评估的表达能力（丰富的评分量表）会带来“第二红利”，即提供训练前沿模型所需的丰富、密集的奖励信号。

作者总结道，虽然创建专家级评分量表需要基础设施投入，但其在测量质量和训练效率方面的回报证明了该方法的价值，为开发和评估下一代 LLM 能力提供了一条路径。