💬 NLP

Think-with-Rubrics: From External Evaluator to Internal Reasoning Guidance

本文介绍了“基于评分准则的思考”（Think-with-Rubrics），这是一种新颖的范式，通过在训练过程中让大语言模型在生成回答的同时生成评分准则，将评分准则从外部评估者转化为内部推理指导，从而在现有基于奖励的基线方法上实现了持续的性能提升。

原作者： Jiachen Yu, Zhihao Xu, Junjie Wang, Yujiu Yang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiachen Yu, Zhihao Xu, Junjie Wang, Yujiu Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人写故事、解谜题或遵循一套复杂的指令。过去，我们教这些机器人的方法是让它们先猜测，然后在它们完成后才给工作打分。如果它们做错了，我们会告诉它们：“这是分数，再试一次。”这就像老师发回试卷时，只在底部用红笔写个“不及格”，却没有注明如何修正具体错误。

论文《Think-with-Rubrics》（基于评分标准的思考）提出了一种更聪明的教学方法。它不再仅仅对最终答案进行评分，而是教导机器人在开始工作之前，先编写自己的评分标准。

以下是该论文如何用简单的类比来分解这一概念：

1. 问题所在：“赛后”批评家

目前，大多数 AI 训练使用评分标准作为奖励。这就像一位只在比赛结束后才出现的体育教练。教练看着最终比分说：“你漏接了三次球。”球员从比分中学习，但在比赛过程中，他们脑海中并没有教练的检查清单。他们无法利用规则在实时中指导自己的动作。

2. 解决方案：“赛前”教练

作者引入了Think-with-Rubrics。这改变了机器人的思考过程。现在，在机器人写出答案的第一个字之前，它必须首先生成一个评分标准（规则清单）。

类比：想象你在烤蛋糕。
- 旧方法：你烤好蛋糕，尝一口，然后评委说：“太咸了，糖霜也乱七八糟。”你下次再试。
- 新方法（Think-with-Rubrics）：在打开烤箱之前，你先写一份清单："1. 精确使用 2 杯面粉。2. 不加盐。3. 糖霜必须光滑。”然后，你在烤蛋糕的过程中不断对照自己的清单。

通过迫使 AI 先写下规则，这些规则就变成了其“思考过程”的一部分，而不仅仅是一个外部评分。

3. 训练如何运作（“双重检查”系统）

论文描述了一个包含两个主要阶段的训练过程，就像学生为大型考试做准备：

阶段 1：学习格式（SFT 热身）
机器人被展示如何编写清单 followed by 答案的示例。它学习结构：<评分标准> 然后是 <答案>。这就像教学生如何正确格式化作业，以便老师能够阅读。
阶段 2：强化学习（“教练”阶段）
这是魔法发生的地方。机器人生成自己的清单和答案。然后，一个“验证器”（聪明的评委）检查两件事：
1. 黄金检查：答案是否符合完美的、人类制作的清单？（这是外部评分）。
2. 自我检查：答案是否真正遵循了机器人自己的清单？（这是内部一致性）。

关键洞察：
论文发现，如果只使用“黄金检查”（人类评分），机器人虽然会更擅长遵循人类规则，但其自身的思考可能仍然混乱。但如果加入“自我检查”，机器人就能学会与自己保持一致。

4. 令人惊讶的发现：自我进化

论文中最令人兴奋的发现是，机器人实际上可以在完全不需要人类教师清单的情况下自学！

类比：想象一个学生，他非常擅长制作自己的学习指南并严格遵守，最终成绩甚至超过了那些只依赖教师答案键的学生。
结果：论文表明，一个仅被训练去遵循其自身生成的清单（无需人类“黄金”清单）的模型，其表现与使用人类清单训练的模型一样好，有时甚至更好。这表明 AI 可以通过更好地制定自己的规则并遵循这些规则来实现“自我进化”。

5. 为什么效果更好

作者解释说，这种方法之所以有效，是因为它解决了一个特定问题：不一致性。
通常，AI 可能会想：“我需要简短”，但随后却写了一大段。这是它认为应该做的与它实际做的之间的脱节。

Think-with-Rubrics 迫使 AI 声明：“我会保持简短”，然后通过写一个简短的答案立即证明这一点。
训练不仅奖励 AI 的正确性，还奖励其与自身计划的一致性。

结果总结

该论文在多个基准测试（如 IFEval 和 IFBench）上测试了这种方法，发现：

新方法始终比旧的“评分标准即奖励”方法高出约 3.87 分 的平均分。
它在大型和小型 AI 模型上均表现良好。
它使 AI 的思考过程更短、更高效（将“思考”压缩为结构化的清单）。

简而言之：这篇论文教导 AI 停止猜测，开始规划。通过让 AI 在开始工作前编写自己的规则手册，并奖励其遵守该手册，AI 变得更加可靠、更加一致，并且能够在没有持续人类监督的情况下自我提升。

技术摘要：基于评分标准的思考（Think-with-Rubrics）

1. 问题陈述

当前针对大语言模型（LLM）的强化学习（RL）方法在具有真实标签的可验证任务中表现卓越。然而，由于缺乏可靠的奖励信号，将 RL 扩展到开放式、不可验证的指令遵循任务仍然充满挑战。现有方案通常依赖标量奖励或单一的整体生成式奖励模型，所提供的监督信号过于粗糙，无法捕捉响应质量的细微差别。

尽管近期的“评分标准即奖励（Rubric-as-Reward）”范式通过将任务分解为结构化、可解释的标准从而改善了这一状况，但一个关键局限依然存在：评分标准仅被视为外部评估器。在现有框架中，评分标准是在模型生成响应后事后应用以衡量性能。这种设计阻止了评分标准主动引导模型的生成过程或推理轨迹，使其与策略的主要推理轨迹脱节。

2. 方法论：基于评分标准的思考（Think-with-Rubrics）

作者提出了基于评分标准的思考（THINK-WITH-RUBRICS），这是一种将评分标准生成内化为模型推理过程固有部分的新范式。模型不再直接生成响应，而是首先构建一个自生成的评分标准来定义成功标准，然后基于这些标准生成响应。

2.1 核心范式

策略轨迹 $\tau$ 被分解为两个顺序步骤：

评分标准生成：模型基于输入指令 $x$ 生成自生成的评分标准 $\hat{r}$ ： $\hat{r} \sim \pi_\theta(\hat{r} | x)$ 。
响应生成：模型基于指令和自生成的评分标准生成最终答案 $y$ ： $y \sim \pi_\theta(y | x, \hat{r})$ 。

这将模型从被动的执行者转变为主动的审议者，在推理之前确立成功规则。

2.2 训练流程

训练过程包含两个阶段：

阶段 1：监督微调（SFT）预热
为了确保模型遵循特定的 <rubric>...</rubric><answer>...</answer> 格式，并防止 RL 在格式合规性上浪费步骤，作者进行了监督微调（SFT）。

教师蒸馏：从 Openrubrics 数据集上的 Gemini-2.5-Flash 蒸馏响应。
目标：最大化整个轨迹的似然度，初始化一个将评分标准构建与答案生成分离的稳定策略结构。

阶段 2：RL 训练
模型使用 DAPO 算法进行优化，采用复合奖励系统 $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$ 。

评分标准验证器：一个专门的轻量级验证器（从 Qwen3-32B-Instruct 蒸馏而来）评估响应是否满足特定标准，输出加权合规分数。
黄金评分标准一致性奖励（ $R_{gold}$ ）：衡量最终答案与来自 Openrubrics 的真实“黄金”评分标准（ $r^*$ ）的合规性。
自生成评分标准一致性奖励（ $R_{self}$ ）：衡量最终答案与模型自身生成的评分标准（ $\hat{r}$ ）的合规性。这强化了内部对齐。
格式奖励（ $R_{fmt}$ ）：通过确保评分标准和答案被成功解析，且标准数量落在合理范围内（5–15 个，峰值为 10 个），防止“奖励黑客”行为（例如生成琐碎的标准）。

2.3 关键假设

作者假设 $R_{gold}$ 和 $R_{self}$ 的联合优化会创建一个反馈循环：如果一个答案既满足自生成的评分标准，又在黄金评分标准上得分很高，那么自生成的评分标准就会被隐式地鼓励去与黄金标准对齐（ $S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$ ）。

3. 主要贡献

范式转变：将评分标准从外部评估指标转变为内部认知步骤，使模型能够在推理链内根据特定上下文动态调整标准。
统一训练流程：引入了一种结合自生成评分标准和黄金评分标准监督的方法，证明了无需对评分标准质量进行显式监督；评分标准的学习通过联合答案一致性优化而涌现。
可扩展的自我进化：证明了模型可以仅使用自生成评分标准监督来实现具有竞争力的性能，这表明了一条无需依赖外部标注即可实现可扩展自我进化的路径。

4. 实验结果

实验在 Qwen3-8B 和 Qwen3-4B 模型上进行，涵盖了三个指令遵循基准测试：IFEval、IFBench 和 InfoBench。

性能提升：THINK-WITH-Rubrics 始终优于“评分标准即奖励”基线（该基线仅将黄金评分标准用作外部奖励）。
- 在 8B 模型上，混合奖励设置相比基线平均提升了 3.87 分。
- 在 4B 模型上，提升幅度为 4.16 分。
奖励构成：混合奖励设置（结合黄金和自生成一致性）产生了最佳结果。然而，“仅自生成奖励”设置（平均 57.17%）略优于“仅黄金奖励”设置（平均 56.81%），验证了自我进化的可行性。
效率：THINK-WITH-RUBRICS 的平均思考长度（231 个 token）显著短于普通思考（401 个 token），表明评分标准将关键需求浓缩到了一个精简的流程中。

机制分析

隐式质量提升：通过黄金评分标准进行的监督，即使没有直接的评分标准层级比较，也能隐式地提升自生成评分标准的质量。
内部一致性：自生成评分标准监督显著提高了模型自身评分标准与其答案之间的一致性。未训练的模型往往无法遵循自己生成的标准；自监督缓解了这种内部不一致性。
评分标准质量与性能：虽然仅自监督能提升指令遵循性能，但由此产生的评分标准不一定是更好的通用评估器（如 RewardBench-2 所示）。它们的价值在于在模型自身生成过程中维持约束一致性。

5. 意义与主张

该论文主张，基于评分标准的思考（THINK-WITH-RUBRICS） 通过弥合奖励建模与策略生成之间的差距，为将大语言模型与开放式指令对齐提供了一种稳健的解决方案。

主动引导：通过将评分标准视为内部推理步骤而非外部检查，模型主动引导其自身生成以达成预期结果，模仿了人类的元认知。
自我进化潜力：模型能够仅利用自生成评分标准进行改进的能力，表明了一条可行的可扩展自我进化路径，减少了对真实外部标注的依赖。
泛化性：该范式在不同模型规模（4B 到 8B）和各种奖励权重配置下均保持有效，证明了其鲁棒性。

作者得出结论，将评分标准生成整合到推理轨迹中是开放式任务对齐的通用范式，相比传统的“思考”或“思维链”方法，它提供了一种更结构化且自我一致的方法。