🤖 machine learning

RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards

RubricEM 是一个元强化学习框架，它利用评分标准作为核心接口来结构化分阶段策略分解、通过分阶段结构化 GRPO 提供密集的语义反馈，并演化出反思元策略，从而在长篇幅研究基准测试中实现与专有系统相当的性能。

原作者： Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在招募一支初级研究员团队，撰写一份关于“睡眠如何影响衰老”等主题的复杂长篇报告。过去，训练这些 AI 研究员就像只在他们提交最终文章后才给出最终成绩。如果文章写得不好，AI 并不知道为什么——是研究流于表面？是遗漏了关键事实？还是结论薄弱？它们只知道失败了，却只能猜测下次该怎么做。

RubricEM 是一种改变游戏规则的全新训练方法。它不再等到最后才评估，而是在 AI 开始之前，就向其提供一份“评分标准”（即关于什么是好答案的详细清单），并利用这份清单指导过程的每一个步骤。

以下是其工作原理的通俗类比解析：

1. “评分标准”作为共享指南针

将评分标准（rubric）不仅仅视为教师的打分表，而是将其视为整个团队的共享指南针。

旧方式：AI 猜测该做什么，搜索信息，然后撰写。最后，评判者说：“做得不好。”
RubricEM 方式：在 AI 开始搜索之前，它先写下自己的清单：“我需要寻找因果关系的证据，而不仅仅是相关性。我需要区分不同类型的记忆丧失。”
神奇之处：这份相同的清单被 AI 用于规划，被 AI 用于自查，也被“评判者”（另一个 AI）用于评分。所有人都在使用同一种语言。

2. 将旅程拆解为“阶段”（流水线）

长期的研究任务就像建造房屋。你不能只说“建一座房子”就指望得到好结果。你需要分阶段：规划、研究、审查和构建。

RubricEM 强制 AI 在特定点停下并切换角色：

阶段 1（规划）：“这是我的清单。我需要找到什么？”
阶段 2（研究）：“我找到了这个。它符合我的清单吗？我需要搜索更多吗？”
阶段 3（审查）：“让我们看看我的笔记。我是否真正回答了问题，还是只是在胡言乱语？”
阶段 4（作答）：“好吧，现在基于审查结果，我撰写最终报告。”

好处：AI 不再是在最后得到一个大大的“不及格”，而是获得每个阶段的评分。如果“研究”阶段薄弱，AI 确切知道下次该在哪里改进。这就像教练告诉跑步者：“你的起跑很棒，但弯道转弯太慢”，而不是仅仅说：“你输了比赛。”

3. “反思”笔记本（从错误中学习）

这是最独特的部分。通常，当 AI 犯错时，它只是更新其内部数学参数（权重），然后忘记了为什么失败的具体细节。

RubricEM 增加了一个反思元策略。将其想象为一个共享笔记本或团队维基。

任务完成并评分后，AI 会被问及：“这次尝试中最重要的教训是什么？”
它写下一条简短而明智的笔记（“反思”），例如：“下次，不要只说‘睡眠对记忆有害’。要具体：‘深度睡眠能清除大脑毒素，这才是真正的原因。’"
这条笔记被保存在评分标准库中。
回报：如果 AI（或类似的 AI）稍后面临类似的问题，它可以查阅库中的这条笔记。这就像一位资深工程师在耳边低语：“嘿，我以前见过这种情况；这是上次奏效的窍门。”

4. “异步”舞蹈（同时做两件事）

训练这些系统通常很慢，因为你必须等待 AI 完成任务、获得评分、写下反思，然后才能开始下一个任务。

RubricEM 使用了一个巧妙的流水线技巧：

当 AI 忙于研究和撰写下一批报告的重体力劳动时，系统的另一部分正在安静地给上一批报告评分并撰写反思。
当 AI 完成新批次时，旧批次的教训已经准备好供使用了。这使得训练过程更快、更高效。

结果

该论文在名为 RubricEM-8B 的模型（一个相对较小的 AI 模型）上进行了测试。

性能：在复杂研究任务中，它的表现优于其他开源 AI 研究员，并非常接近 Google 或 OpenAI 等昂贵专有系统的表现。
效率：它以前所未有的方法更少的训练步骤实现了这些结果。
通用性：尽管它是针对长篇复杂报告进行训练的，但它在回答简短简单的问题方面也表现得更好，这表明它学到了通用的“研究技能”，而不仅仅是死记硬背报告格式。

总结

RubricEM 通过以下方式教导 AI 研究员：

提供一份清单（评分标准），供其在每一步遵循。
对过程的每一步进行评分，而不仅仅是最终结果。
让它们将经验教训（反思）写入共享笔记本以供未来使用。
高效地运行训练，使它们学得更快。

它将 AI 从只获得最终成绩的学生，转变为拥有导师、清单和个人最佳实践笔记本的专业人士。

技术摘要：RubricEM

问题陈述

训练深度研究智能体——即能够自主规划、搜索、评估证据并综合生成长篇报告的系统——对强化学习（RL）构成了根本性挑战。与具有可验证真实答案的任务（如数学问题或代码生成）不同，深度研究的输出是开放式的，缺乏客观的正确性指标。因此，标准的 RL 方法面临三个关键瓶颈：

稀疏且延迟的奖励：反馈通常较为粗略，且仅在长多轮轨迹的末尾出现，使得信用分配变得困难。
缺乏可复用的指导：传统的后训练方法将经过评估的尝试转化为参数更新，但未能产生针对未来尝试的显式、可复用的指导。
低效的探索：缺乏结构化的中间监督，智能体难以分解复杂任务，导致在长视野下误差累积。

现有的开源工作通常依赖可验证的搜索代理或高质量模仿数据，而专有系统（如 Gemini、OpenAI Deep Research）则对其训练方法保持不透明。本文探讨的核心问题是：RL 如何在超越可验证奖励的同时训练深度研究智能体，并实现长视野的信用分配及从经验中学习？

方法论：RubricEM

作者提出了RubricEM，这是一种由评分标准（rubric）引导的 RL 框架，它将评分标准不仅仅视为最终答案的评估器，而是作为结构化策略执行、评估者反馈和智能体记忆的共同接口。该框架整合了三个核心组件：

1. 评分标准引导的策略分解（结构化脚手架）

RubricEM 摒弃了扁平的自回归过程，而是为智能体轨迹强加了明确的阶段结构：规划 $\to$ 研究 $\to$ 审查 $\to$ 回答。

自生成评分标准：在规划阶段，智能体生成特定任务的评分标准（知识清单、分析标准和负面约束），以指导后续阶段。
操作型评分标准：这些评分标准并非静态；它们条件化搜索查询，作为研究和审查阶段自我评估的参考，并定义最终综合的标准。
理论依据：论文提供了理论证明（定理 1），表明当不同决策模式（如搜索与综合）下的局部上下文存在歧义时，显式的阶段信息相比扁平策略能严格提高策略的预期下游价值。

2. 阶段结构化 GRPO（SS-GRPO）

为了解决稀疏奖励问题，RubricEM 引入了阶段结构化组相对策略优化（SS-GRPO）。

密集信用分配：SS-GRPO 不再向所有 token 广播单一的终端分数，而是利用评分标准引导的评估者，为规划、研究、审查和回答片段分配特定阶段的分数（ $R_{i,k}$ ）。
因果阶段依赖性：因果矩阵 $\Lambda$ 定义了下游阶段分数如何贡献于上游阶段的回报（ $G^{\Lambda}_{i,k} = \sum_{j=k}^{K} \lambda_{k,j} R_{i,j}$ ），确保早期阶段因其促成成功的下游结果而获得信用。
演进式评分标准评估者：评估者为每个阶段维护一个判别性评分标准的缓冲区，以适应策略的当前分布。这使得无需神谕（oracle）中间奖励即可实现过程级反馈。

3. 反思元策略训练

RubricEM 通过共享骨干反思元策略，将经验复用视为明确的 RL 目标。

联合训练：同一骨干网络既作为任务策略，也作为反思生成器。在轨迹经过评估后，骨干网络生成基于评分标准的反思候选项（总结经验教训）。
评估者门控选择：一个 LLM 评估者根据这些候选项对单集内优化（改进当前尝试）和跨集迁移（改进未来相关问题的尝试）的效用进行评分。
评分标准库：得分最高的反思被存储为自然语言记忆，存入评分标准库中。在训练期间，智能体检索这些反思以条件化未来的 rollout。
异步效率：为避免顺序瓶颈，系统采用异步流水线，其中第 $N$ 步的反思生成和训练与第 $N+1$ 步的任务 rollout 并行进行，几乎不增加挂钟时间开销。

主要贡献

RubricEM 框架：一种新颖的 RL 架构，在单一的评分标准引导接口下统一了策略分解、信用分配和记忆演进。
SS-GRPO 算法：一种无评论家（critic-free）、阶段感知的 GRPO 变体，无需步级神谕奖励即可为长视野优化提供更密集的语义反馈。
基于反思的元强化学习：一种训练共享骨干元策略的方法，将经过评估的轨迹提炼为可复用、基于评分标准的指导，有效地将“经过评估的尝试”转化为“可复用的经验”。
实证验证：全面的消融研究和基准测试表明，与现有技术相比，结构化脚手架、阶段式信用和反思训练的结合以更少的训练步数产生了更优越的性能。

实验结果

作者在四个长篇幅研究基准上评估了RubricEM-8B（基于 Qwen3 的 80 亿参数模型）：HealthBench、ResearchQA、DeepResearchBench (DRB) 和 ResearchRubrics。

性能：RubricEM-8B 在非专有模型中取得了55.5的顶尖平均分，优于 DR Tulu-8B（53.6）和 WebThinker-32B-DPO（49.0）等强大的开源基线。
与专有系统的比较：其性能接近专有系统（如 OpenAI Deep Research、Gemini Deep Research），平均表现优于 Perplexity Deep Research，并在 DRB 基准上超越后者。
效率：该模型在1,400 个 RL 步内达到峰值性能，显著少于 DR Tulu 所需的 1,900 步，尽管其起始教师模型（Gemini-3.1-Pro）弱于 GPT-5。
泛化能力：尽管主要在长篇幅数据上训练，RubricEM 在短篇幅基准（SimpleQA、2Wiki、WebWalker、DSQA）上仍表现出强大的零样本迁移能力，表明所学技能是可迁移的工具使用和证据 grounding 能力，而不仅仅是报告格式。
消融研究：移除任何组件（结构化脚手架、SS-GRPO 或元策略）都会导致性能下降，证实了所有三个要素对于观察到的增益都是必要的。

意义与主张

论文主张，RubricEM 提供了一套超越可验证奖励的长视野 RL“配方”：暴露任务结构、向该结构分配信用、并将经过评估的尝试转化为可复用的经验。

超越可验证奖励：这项工作证明，高质量深度研究智能体可以在没有真实答案的情况下进行训练，转而依赖评分标准引导的语义反馈。
智能体的元强化学习：通过将推理时提示（如少样本示例）转变为训练时演进，推动了语言智能体元强化学习领域的发展，在此过程中，智能体的参数与其文本记忆共同演进。
可扩展性：结果表明，配备正确的结构先验和 RL 算法，紧凑模型（8B）也能在复杂研究任务中实现具有竞争力的性能，挑战了只有庞大的专有模型才能执行深度研究的观念。

作者保持了谦逊的语气，承认了局限性，例如依赖外部 LLM 评估者（这会引入噪声和成本）以及长视野训练循环中的基础设施不稳定性。他们提出，未来的工作可以探索更强大的评估者、人类可审计的评分标准库，以及在具有多维质量标准的其他领域（如科学审查、辅导）的应用。