💬 NLP

QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards

QUBRIC 是一个新颖的框架，它通过协同设计基于场景的任务查询与基于教师引导的评分标准，克服了现有基于评分量表（rubric-based）强化学习的结构性局限，从而实现了在开放式任务上的有效训练，并在推理和指令遵循基准测试中取得了显著的性能提升。

原作者： Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何写出一个精彩的故事或解决一个棘手的难题。在人工智能的世界里，这被称为强化学习 (Reinforcement Learning, RL)。通常，我们通过给机器人一个明确的“是”或“否”的分数来教它。例如，在数学中，如果答案是“42”，机器人会得到一颗金星；如果答案是“43”，它什么也得不到。这在数学和编程领域非常有效。

但当没有唯一标准答案时，该怎么办呢？如果你问：“如何冲泡一杯好咖啡？”或者“写一个关于丢失小狗的寓意故事”，该怎么办？这里并没有一个“42”。这就是 QUBRIC 这篇论文派上用场的地方。

问题所在：“模糊问题”陷阱

作者发现，我们在教机器人处理这些开放式问题时，目前的方法存在一个巨大的障碍。

可以这样理解：你问一名学生：“解释如何烤蛋糕。”

旧方法： 你尝试为老师制定一份清单（即“评分标准/rubric”）来给答案评分。但因为问题太宽泛，这份清单最终会变得含糊不清。“他们提到面粉了吗？”“他们提到鸡蛋了吗？”这很难做到公平。
天真的补救措施： 有人尝试让问题变得更具体：“请结合《2024年大师级烘焙指南》来解释如何烤蛋糕。”
- 灾难性的后果： 机器人并没有这本指南。它根本不存在！所以，机器人要么拒绝回答（因为它找不到指南），要么编造一个虚假的指南。这时，老师的清单就变成了检查：“你拒绝回答了吗？”或者“你撒谎了吗？”机器人无法获得关于“如何烤蛋糕”的任何有用反馈。它学到的只是学会沉默或学会撒谎。

论文将此称为**“虚构参考失败” (Fabricated Reference Failure)**。你不能根据一本不存在的规则书来给机器人评分。

解决方案：QUBRIC（“共同设计者”方法）

作者创建了一个名为 QUBRIC 的新系统。QUBRIC 不仅仅是为混乱的问题制作一份清单，而是像建筑师和检查员并肩作战一样，同时改变问题和清单。

以下是它的工作原理，使用一个简单的类比：

1. “关键点”侦探（重写问题）

与其要求机器人“解释机器学习”（这太宏大了），系统会观察人类专家（“老师”）会如何表达。它会提取出最重要、最微小的细节（关键点）。

类比： 假设你想教一个孩子认识“动物”。与其那样做，不如说：“想象你是一名特定动物园的饲养员，面对一只饥饿的狮子。这只狮子只吃位于围栏北侧的肉。你该如何喂食它？”
为什么有效： 你并没有改变主题（仍然是关于动物/喂食），但你创造了一个具体的场景，拥有一个清晰的答案空间。你不是在要求它找一本假书，而是在要求它解决一个真实的、受控的问题。

2. “对比式”检查员（制作清单）

现在，系统生成清单（评分标准）。它并不只是猜测一个好的答案看起来是什么样。它会将“老师”的完美答案与“学生”（机器人）当前的答案进行对比。

类比： 检查员看着老师的答案说：“啊，老师提到了在喂食前要检查狮子的牙齿。学生却忘了这一点。”
这就变成了一份构成性评分标准 (Constitutive Rubric)：规则是自洽的。你不需要了解外部知识来评分；你只需要检查特定的细节是否存在。

3. “难度过滤器”（挑选合适的练习题）

并非每个问题都适合学习。

如果问题太简单，机器人已经知道答案了，这样就不会产生学习。
如果问题太难，机器人每次都会失败并感到困惑。
QUBRIC 就像一位教练，只挑选那些让学生有 20% 到 50% 概率答对的练习题。这就是学习真正发生的“甜蜜点”。

结果如何？（实验结果）

作者在一个擅长遵循指令但不太擅长复杂推理的机器人身上测试了这个系统。

测试： 他们要求机器人处理困难的、开放式的任务（如编写创意故事或解决复杂的逻辑谜题），甚至是它从未见过的任务（如法律推理或道德困境）。
结果： 机器人的表现显著提升。
- 在一项针对指令遵循能力的严格“竞技场 (Arena)”测试中，它提升了 5.5 分。
- 在三种完全不同类型的推理测试（法律、道德、叙事）中，平均提升了 6.3 分。

核心启示

这篇论文证明了，你不能仅仅给机器人一个针对模糊问题的清单，并期望它能学会。问题本身必须被设计成是“可检查的”。

通过将问题重写为一个具体的、现实的场景（基于真实事实，而非虚构的书籍），并基于该特定场景构建清单，机器人得到了清晰且有用的反馈。它学会了如何更好地思考，而不仅仅是去猜测或拒绝回答。

简而言之： QUBRIC 教会我们，要教机器人思考，你必须首先提出正确类型的问题。你不能让学生在一场逻辑不通的考试中进行评分。

技术摘要：QUBRIC —— 为超越可验证奖励的强化学习进行查询与评分标准的协同设计

1. 问题陈述

具有可验证奖励（Verifiable Rewards, RLVR）的强化学习在数学和编程等领域取得了显著进展，因为这些领域提供了清晰的地面真值（ground-truth）答案作为奖励信号。然而，将强化学习扩展到开放式任务（如指令遵循、法律推理、叙事生成）仍然具有挑战性，因为这些任务缺乏可验证的答案。

现有方法通常将查询分布（query distribution）视为固定，同时优化评分标准（用于评估的结构化准则），或者通过重塑查询来创建可执行的约束。作者发现了一个结构性瓶颈：评分标准的质量从根本上受限于查询结构。

开放式查询会导致评分标准模糊，使得评判者无法一致地应用。
幼稚的收窄（即在没有依据的情况下使查询变得具体）往往会引入伪造引用（例如，引用不存在的指南或文档）。这导致评分标准坍缩为测试模型是否“拒绝回答”，而非测试其是否“推理正确”，从而产生无意义的奖励信号，即所有响应都判定为失败。

本文认为，查询结构与评分标准的设计是耦合的：查询必须以一种能够为评分标准生成器提供确定性推理目标的方式进行收窄。

2. 方法论：QUBRIC

QUBRIC 是一个在训练前离线进行查询与评分标准协同设计的三阶段流水线。它基于以下原则运行：查询必须经过重写，以支持构成性评分标准（即仅凭评分标准文本和响应即可进行评估，无需外部知识的准则）。

第一阶段：基于关键点锚定的查询重写

QUBRIC 并非任意收窄开放式查询，而是将重写过程锚定在高质量答案的实际内容中。

关键点提取： 通过多个教师模型生成参考响应。提取核心“关键点”（原子知识组件）。优先处理具有高模型间分歧（即答案空间较广）的查询。
场景构建： 系统选择 1–2 个关键点，并将查询重写为基于场景的问题。该场景包含现实的上下文（角色、约束、数据），使查询具有自洽性。所选的关键点成为新查询的确定性核心答案。
验证： 通过基于提示（prompt）的检查，确保重写后的查询不会泄露答案，保持内部一致性，并确保关键点能正确回答新查询。
可学习性过滤： 仅保留初始化策略通过率处于 20–50% 区间的“查询-评分标准”对。该启发式方法确保训练数据由具有信息量的示例组成（既不过于简单，也不可能完成）。

第二阶段：对比式查询级评分标准生成

评分标准通过对比教师响应与较弱的策略响应进行离线生成。

对比分析： 生成器识别教师响应中存在但策略响应中缺失的内容，以及两者共有的核心要求。
构成性设计： 评分标准被设计为原子化、无歧义、不可破解且正交的。它们直接嵌入评分知识（例如，“响应解释了 X 是因为 Y”而非“响应在科学上是准确的”）。
权重分配： 根据其对任务的重要性，将评分标准分为关键（权重 3）、重要（权重 2）或可选（权重 1）。

第三阶段：基于评分标准的强化学习

使用**组相对策略优化（GRPO）**对策略进行优化。

奖励公式化： 总奖励 $R(q, y)$ 是全局评分标准（安全性、事实性、格式）与查询级评分标准（特定任务的推理）的加权和。
$R(q, y) = \alpha \sum_{g \in G} w_g \cdot r_g(y) + \beta \sum_{r \in R(q)} w_r \cdot r_r(q, y)$
训练： 对于每个查询，生成 $K$ 个采样响应，由 LLM 评判员根据静态评分标准独立评分，并用于计算组相对优势以进行策略更新。

3. 核心贡献

识别结构性耦合： 本文证明了当查询缺乏结构时，评分质量会下降，导致出现模糊或伪造引用的失败。研究确立了查询结构是有效基于评分标准进行 RL 的前提条件。
QUBRIC 框架： 一个整合了基于关键点锚定的查询重写、对比式评分标准生成以及可学习性过滤的创新流水线，用以生成高质量、可评估的训练对。
实证验证： 通过匹配消融实验，作者展示了收益并非单纯通过评分标准 RL 或查询收窄获得的，而是通过两者的协同设计实现的。

4. 实验结果

作者在指令遵循基准测试、跨领域迁移任务以及一个专有的购物辅助基准测试上对 QUBRIC 进行了评估。

指令遵循

ArenaHard： 在困难提示下，QUBRIC 相比 SFT 基线实现了 +5.5 点的提升（71.0 $\to$ 76.5），在创意写作方面实现了 +7.3 点的提升。
AdvancedIF： 评分标准层面的准确率提升至 84.2。
权衡： 在 IFEval 上观察到轻微下降（-1.7pp），表明在严格格式合规性与答案质量之间存在权衡，这与先前的研究结果一致。
基线对比： QUBBRIC 在 ArenaHard 上优于“使用原始查询的 Rubric-RL”（68.6 对比 76.5）。

跨领域迁移

仅在指令遵循数据上进行训练后，QUBRIC 迁移到了三个留出基准测试：

MoReBench（道德推理）、PLawBench（法律推理）和 MuSR（叙事推理）。
平均增益： 相比 SFT 基线提升了 +6.3 点。
显著提升： 在 PLawBench 上提升了 +8.85 点，表明该方法即使在未见的领域也能提高结构化推理能力。
对比： 在这些迁移任务上，QUBRIC 的表现均优于 IF 领域基线（AutoIF-RLVR 和使用原始查询的 Rubric-RL）。

购物辅助性

在一个包含 200 个查询的专有基准测试中：

查询级评分标准将“隐含帮助性”从 55.11（仅使用可验证奖励）提升至 67.64。
将全局评分标准与查询级评分标准结合使用，在保持高帮助性（67.81）的同时，缓解了仅靠查询级优化可能引入的副作用，如重复推荐和 ID 幻觉。

5. 重要性与主张

本文声称，协同设计查询与评分标准使得基于评分标准的 RL 成为处理缺乏严格可验证答案的任务时，对 RLVR 的有效补充。

机制： 核心洞察在于，幼稚的收窄会导致“伪造引用”失败，即模型因未能拒绝回答而受到惩罚。通过将收窄过程锚定在教师派生的关键点中，QUBRIC 创建了场景，使得答案空间足够狭窄，从而能够应用精确的构成性评分标准。
泛化性： 改进集中在推理相关的维度，这表明该方法有助于模型学习如何进行推理，而非仅仅记忆模式或遵循僵化的格式。
可行性： 研究验证了 LLM 评判员可以可靠地对构成性评分标准进行评分（相对于参考标注达到 75–86% 的准确率），这使得该方法在无需每一步都进行人工介入的情况下具备可扩展性。

作者总结道，虽然基于评分标准的 RL 已被多次探讨，但其有效性受限于底层查询的质量。QUBRIC 证明，修改查询结构以实现精确的评分标准评估，是实现开放领域成功 RL 的必要条件。