🤖 AI

ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents

该论文提出了 ARCO，一个在共享模型主干内共同演化用于每步准则生成的生成头和用于步骤级奖励的评分头的框架，从而在不需要步骤级标签或静态闭源判别器的情况下，实现动态信用分配并提升多步智能体的性能。

原作者： Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人去解决一个复杂的谜题，比如一个多步骤的侦探故事。机器人必须寻找线索、串联逻辑，并最终给出答案。

在过去，教导这些机器人就像是在玩一场由一位非常严格的裁判主持的“热还是冷”游戏。

旧方法： 机器人尝试解决整个谜题。如果它得到了最终正确答案，裁判会给出一个“做得好！”（高分）。如果它错了，裁判会给出一个“做得不好！”（低分）。
问题所在： 机器人并不知道自己为什么失败了。是因为问错了问题？忽略了某个线索？还是过早地做出了猜测？裁判只是说“错了”，让机器人只能靠猜来寻找错误原因。这就像一个学生在期末考试中得到了一个红色的“不及格”，却没有任何老师针对具体数学步骤错误的评语。

ARCO 登场：一位“协同进化”的教练

这篇论文介绍了 ARCO（自适应评分准则协同进化），一种训练这些 AI 智能体的新方法。把 ARCO 想象成不仅仅是一个单一的裁判，而是一位在观察学生工作的过程中，能够自行编写评分准则的聪明教练。

以下是它的工作原理，使用简单的类比：

1. “同等规模”的教练与学生

通常，我们会使用一个超级聪明、昂贵的“黑盒”评委（比如一个巨大的、闭源的 AI）来给机器人打分。但那个评委是静态的，它不会学习。
ARCO 使用的是一个与学生机器人的规模和“脑力”相当的教练（评分模型）。他们是合作伙伴。随着学生的进步，教练也变得更擅长评分。他们共同成长。

2. 编写清单（评分准则）

教练不仅仅是给出一个分数，而是为机器人的每一步动作编写一份清单。

第 1 步： 机器人搜索“谁是谢尔盖·托卡列夫（Sergei Tokarev）？”
教练的清单： “机器人是否搜索了正确的人？它是否避免了搜索无关人员？它是否找到了足够的证据？”
第 2 步： 机器人搜索“他的大学是什么时候成立的？”
教练的新清单： “机器人是否意识到它需要先知道大学名称？它是否停止了搜索无关事实？”

教练会为每一个动作编写一份新的清单，因为错误会随着机器人的学习而改变。在初期，机器人可能会搜错人。到了后期，它可能会搜对人，但方式不对。一个静态的清单无法捕捉所有的进化式错误，但 ARCO 的教练每次都会编写一份全新的清单。

3. “部分之和”规则

这是其中的魔力所在。教练并不是随机地为步骤评分。教练被教授了一条金科玉律：所有步骤的分数之和必须等于最终结果。

如果机器人完美解决了谜题（最终得分 = 100），教练必须找到一种方法，将高分给到正确的步骤，将低分给到错误的步骤，使它们的总和等于 100。
如果机器人失败了（最终得分 = 0），教练必须找出哪些具体的步骤拖累了分数。

这迫使教练去学习究竟是哪里出了错，即使没有人告诉他们“第 3 步很糟糕”。教练通过学习，将最终结果拆解成一个个微小且公平的部分。

4. 协同进化的舞蹈

最独特的部分是，学生和教练是同时更新的。

学生尝试解决谜题。
教练观察、编写清单并给出分数。
学生从分数中学习并变得更聪明。
因为学生现在变得更聪明了，它会制造出新型的错误（它不再犯初级错误了）。
教练看到了这些新的错误，并更新其清单以捕捉它们。

这就像一场舞蹈，舞伴（教练）不断调整自己的舞步以匹配舞者（学生）。如果学生开始跳华丽的旋转，教练就会学会如何为旋转评分，而不只是基础步法。

为什么这更好？

没有黑盒： 它不依赖于一个神秘、不可改变的巨大 AI 来评分。它使用一个透明的、开源的模型，并用通俗易懂的语言解释其推理过程。
步步清晰： 它能明确告诉机器人哪一步是好的或坏的，而不是仅仅说“你整个任务失败了”。
适应性： 随着机器人变得越来越好，评分标准也会变得越来越精细，从而捕捉到固定清单会错过的微妙错误。

简而言之，ARCO 将训练过程从一个“猜猜我错在哪”的游戏，变成了一个清晰的、循序渐进的教程，在这个教程中，老师和学生共同学习，并在过程中不断完善游戏的规则。

技术摘要：ARCO (自适应准则协同进化 - Adaptive Rubric CO-evolution)

问题陈述

针对多步大语言模型（LLM）智能体（如用于多跳问答 QA 的智能体）的强化学习（RL），通常依赖于标量奖励。这些奖励通常要么是基于结果的（轨迹层面的二元成功/失败），要么是基于过程的（每一步都是不透明的标量分数）。

基于结果的奖励无法提供细粒度的信用分配（credit assignment），使得难以区分是运气好猜中还是经过了缜密的搜索过程。
基于过程的奖励虽然提高了粒度，但往往仍是“黑盒”，无法解释为什么某个特定步骤是好是坏。
现有的基于准则（rubric-based）的方法试图通过自然语言标准来提高可解释性。然而，这些方法存在两个关键局限：
1. 轨迹级评分： 它们为整个展开过程（rollout）分配一个单一分数，导致步骤级的信用分配问题仍未解决。
2. 静态判别器： 它们依赖于冻结的、闭源的 LLM（如 GPT-4）作为外部判别器。虽然准则文本可能会更新，但判别器的参数保持不变，从而无法使评分函数适应智能体不断演变的失败模式。

方法论：ARCO

作者提出了 ARCO (Adaptive Rubric CO-evolution)，这是一个框架，其中评估标准（准则）和评分函数在参数层面与策略（policy）通过同规模的开源模型进行协同进化。

1. 分层准则模型 ( $\mu$ )

ARCO 在单个可训练模型 $\mu$ 中实例化了准则生成和评分过程，该模型与策略 $\pi$ 共享一个骨干网络 $f_\theta$ 。该模型具有两个轻量级头部：

生成头（高层）： 给定轨迹前缀 $h_t$ 和动作 $a_t$ ，它生成一组有序的自然语言准则 $r_t = (c_{t,1}, \dots, c_{t,K})$ 。这些准则具有上下文相关性，能够适应任务的不同阶段（例如，早期搜索侧重于实体定位，而后期步骤侧重于答案支持）。
评分头（低层）： 它接收相同的状态-动作上下文以及生成的准则 $r_t$ 作为输入。它产生 $K$ 个维度级的分数 $d_t \in [-1, 1]^K$ ，通过对这些分数取平均值来形成步骤级奖励 $s_t$ 。

2. 协同进化训练

该框架在策略上（on-policy）运行，共同更新策略 $\pi$ 和准则模型 $\mu$ ：

监督预热（Supervised Warmup）： 在强化学习之前，由闭源教师对轨迹进行准则标注和评分。通过在成功的轨迹上进行监督微调（SFT）来初始化策略，并初始化 $\mu$ 以生成满足轨迹分解约束的准则和预测分数。
RL 循环：
- 策略更新 ( $\pi$ )： 使用由当前 $\mu$ 预测的步骤级分数 $s_t$ 推导出的回报待求优势（reward-to-go advantages）来更新策略。使用位置分桶基线（position-bucketed baseline）来降低方差。
- 准则模型更新 ( $\mu$ )： 使用轨迹分解约束来更新模型。预测的步骤分数之和必须等于终端二元结果 $R(\tau)$ ：
  $\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$
  这使得 $\mu$ 能够在没有金标准步骤标签的情况下学习步骤级的信用分配，同时 KL 项使生成的准则与预热分布保持一致。

3. 关键设计选择

共享骨干网络： 生成头和评分头共享参数。这确保了准则所使用的表示空间与评分使用的空间一致，从而允许来自分解目标的梯度来塑造两个阶段的特征。
同规模开源： ARCO 在智能体和评估器中均使用开源模型（如 Qwen3-4B, Llama-3.2-3B），消除了对外部闭源判别器的依赖。

核心贡献

自适应、步骤级准则框架： ARCO 引入了一个过程奖励框架，其中自然语言准则和评分函数都在参数层面与策略共同进化，从而不再需要冻结的闭源判别器。
带有分解机制的分层模型： 作者设计了一个能生成上下文相关准则并在其下对动作进行评分的模型。通过强制执行轨迹分解约束，该模型仅根据终端结果即可学习为单个步骤分配信用。
实证验证： 在多跳问答基准测试上的广泛实验表明，ARCO 优于强力的基线模型，且分析证实其生成的准则具有步骤特异性、鲁棒性，并有助于诊断智能体行为。

实验结果

作者在三个多跳问答基准测试（HotpotQA、2WikiMultiHopQA 和 MuSiQue）上评估了 ARCO，使用了两种开源骨干网络（Qwen3-4B 和 Llama-3.2-3B）。

性能： ARCO 在所有六种（数据集，骨干网络）配置中均取得了最佳的精确匹配（EM）得分，并在六种配置中的五种中取得了最佳的 F1 分数。它持续优于：
- 结果奖励模型 (ORMs)： 包括二元奖励方法（Search-R1, R1-Searcher）以及使用冻结判别器的基于准则的 ORM（RaR, CARMO, RLER）。
- 过程奖励模型 (PRMs)： 特别是 AgentPRM，它使用的是不透明的标量步骤值。
消融研究：
- 去除准则文本生成（“w/o Rubric”）会导致性能显著下降，这证实了准则提供了必要的语义结构，而非仅仅是装饰。
- 使用固定的数据集级准则（“w/o Adaptive”）表现不如自适应生成，这表明固定准则无法追踪演变的失败模式。
- 仅以问题/动作作为条件而非包含轨迹前缀（“w/o Prefix”）会降低答案正确率，显示了全上下文的重要性。
准则质量： 诊断测试显示，ARCO 的准则具有高度的动作绑定性（在识别其评分的具体动作方面准确率为 42–55%，显著高于随机水平），并且在特异性方面评分很高（约 4.0/5.0）。
敏感性： 研究发现准则数量 ( $K$ ) 是敏感的； $K=3$ 时性能达到最优，而更高的 $K$ 值虽然没有提升分数，却引入了冗余。

重要性与主张

本文声称 ARCO 代表了从静态、不透明的奖励建模向自适应、可解释且协同进化的奖励系统的转变。

可解释性： 通过为每一步生成自然语言准则，ARCO 提供了一个“可读”的信号，解释了为什么一个动作被奖励或惩罚，有助于诊断智能体行为。
自适应性： 与使用冻结判别器的方法不同，ARCO 的评估器随策略一同进化。随着智能体学会避免某些错误，准则模型也会调整以识别更细微的失败模式（例如，定位错误的实体或冗余检索）。
高效性与易得性： 通过在智能体和评估器中使用同规模的开源模型，ARCO 避免了对闭源 API 的成本和依赖，同时保持了高性能。

作者总结道，ARCO 为构建可解释的过程奖励学习语言智能体系统奠定了基础，能够将稀疏的结果奖励转化为密集的、具备步骤感知能力的信号，且无需外部判别器。