💬 NLP

RC-GRPO: Reward-Conditioned Group Relative Policy Optimization for Multi-Turn Tool Calling Agents

该论文提出了 RC-GRPO，一种通过注入离散奖励标记来调节轨迹生成并使展开多样化，从而克服由组内奖励变化低导致的梯度消失更新问题，进而增强大语言模型多轮工具调用能力的创新框架，并在 BFCLv4 基准测试上实现了最先进的性能。

原作者： Haitian Zhong, Jixiu Zhai, Lei Song, Jiang Bian, Qiang Liu, Tieniu Tan

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Haitian Zhong, Jixiu Zhai, Lei Song, Jiang Bian, Qiang Liu, Tieniu Tan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但又刻板的机器人助手如何使用一套工具（比如计算器、日历或搜索引擎）来解决一个复杂的、多步骤的谜题。

问题所在：“完美学生”陷阱

通常，为了教这个机器人，你会先给它展示一些完美解决方案的示例（监督微调，即 SFT）。机器人会完美地学习这些内容，成为一名“全优生”。

然后，你尝试用一种叫做 GRPO（群体相对策略优化）的方法来教它变得更好。把 GRPO 想象成一位教练，他召集了一群学生，给他们同一个谜题，并让他们尝试不同的解决方案。教练会对比他们的结果：“你做得很好，你做得不好，你表现平平。”做得更好的学生会获得提升，而做得差的学生则会受到提醒去尝试其他方法。

症结在于： 因为机器人之前在“完美”示例上训练得太好了，所以每当你要求这组学生进行尝试时，他们都会给出完全相同的解决方案。他们都是以那种一模一样且乏味的“完美”方式在行动。

教练看着这组学生说：“嗯，大家都得了 10 分（满分）。”
由于他们之间没有任何差异，教练无法告诉谁需要改进。学习信号消失了。机器人因此陷入了僵局，无法探索解决谜题的新方法，因为它太害怕偏离它已经掌握的那个“完美”路径了。

解决方案：RC-GRPO（“情绪戒指”策略）

作者提出了一种名为 RC-GRPO 的新方法来解决这个问题。他们不再仅仅寄希望于机器人随机尝试不同的做法，而是在机器人开始工作之前，给它一个“情绪戒指”或是一个特定的指令标记（token）。

第一步：教机器人根据指令做出不同反应 (RCTP)
首先，他们在混合的一堆故事上训练机器人：有些故事中它成功了（高奖励），有些则失败了（低奖励）。至关重要的一点是，他们在每个故事上都附带了一个特殊的标签，比如 <|High Reward|> 或 <|Low Reward|>。

机器人学到：“当我看到 <|High Reward|> 标签时，我应该努力做到完美。当我看到 <|Low Reward|> 标签时，我应该尝试不同的、也许是更冒险或更简单的路径。”
现在，机器人不再只是一个刻板的学生；它是一个可以根据看到的标签在不同“模式”之间切换的变色龙。

第二步：教练的新游戏 (Reward-Conditioned GRPO)
现在，当教练（RL 算法）召集这组学生来解决谜题时，他们不再只是说“开始！”

他们给每个学生发一个不同的标签。
学生 A 得到了 <|High Reward|>，并尝试做到完美。
学生 B 得到了 <|Low Reward|>，并尝试一种不同的、也许是比较混乱的方法。
学生 C 再次得到了 <|High Reward|>，但可能会尝试一条略有不同的完美路径。
由于学生们现在会根据他们的标签来调整行为，这组学生产生了多样性。
教练现在可以看到：“学生 A 得了 10 分，学生 B 得了 2 分，学生 C 得了 9 分。”
现在有了明显的差异！教练可以给出有用的反馈：“学生 B，试着向学生 A 看齐。”
这让学习引擎得以持续运转。

为什么有效（类比）

在旧的方法中，机器人就像一个合唱团，每个人都在完美地唱出完全相同的音符。指挥家无法分辨谁唱得更好，因为他们都是一模一样的。

在新的 RC-GRPO 方法中，指挥家给每个歌手发了不同的乐谱（高奖励 vs 低奖励标签）。突然间，合唱团听起来变得多样化了。指挥家可以听到其中的差异，挑选出最好的音符，并引导歌手们不断进步。

结果

论文在名为 BFCLv4 的基准测试上测试了该方法，这是一个针对使用工具的 AI 智能体的严苛考试。

旧方法： 机器人陷入停滞，进步不大。
新方法 (RC-GRPO)： 机器人的学习速度更快，解决谜题的正确率更高。
巨大的胜利： 在针对特定测试模型（Qwen-2.5-7B）时，这种新方法让这个开源机器人击败了那些通常在这些考试中胜出的、著名的、昂贵的“闭源”机器人（例如来自大型科技公司的机器人）。

总结

这篇论文解决了一个 AI 因为过度模仿示例而停止学习的问题。通过教 AI 根据一个简单的“奖励标签”有意识地表现得不同，他们迫使 AI 去探索不同的路径，从而让 AI 能够学得更快，并在使用工具方面变得更加聪明。

技术摘要：用于多轮工具调用智能体的 RC-GRPO

1. 问题陈述

由于奖励稀疏性和探索成本高昂，多轮工具调用给大语言模型（LLM）带来了显著挑战。虽然组相对策略优化（GRPO）是一种流行的强化学习（RL）方法，它消除了对独立评论家网络（Critic Network）的需求，但在应用于经过监督微调（SFT）初始化的多轮工具智能体时，会遭遇一种关键的失效模式。

核心问题在于**“完美悖论”**。当 LLM 在最优演示数据上进行 SFT 训练时，它会形成一个高度尖锐的策略（即强大的“黄金路径”先验）。在 GRPO 训练期间，这会导致采样轨迹组内的多样性降低；多个采样轨迹往往获得相同的奖励（例如，全为 0 或全为 1）。因此，组内标准差（ $\sigma_g$ ）趋于零，导致组归一化优势信号（Group-normalized Advantage）退化（ $A_j \approx 0$ ）。这会导致梯度消失和学习停滞，特别是在部分可观测的环境中，局部置信度可能导致重复且短视的行为。

2. 方法论：RC-GRPO

作者提出了 RC-GRPO（奖励调节组相对策略优化），这是一个两阶段流水线，旨在将组内多样性视为一个可控变量，而非采样温度的副产品。

第一阶段：奖励调节轨迹策略（RCTP）微调

在 RL 之前，基础 LLM 被微调为奖励调节轨迹策略（RCTP）。

数据构建： 通过将轨迹与离散奖励目标标记（例如，<|high reward|> 代表成功，<|low reward|> 代表失败）配对，构建了一个混合质量的数据集。
目标： 模型被训练为在给定历史记录和特定奖励标记的条件下，最大化动作的对数似然： $\pi_\theta(a_t | h_t, r)$ 。
结果： 该策略学会了根据需求生成截然不同的质量轨迹。通过条件化 <|high reward|> 可以诱发最优动作，而通过 <|low reward|> 则可以生成合理的失败模式。

第二阶段：奖励调节 GRPO

RCTP 作为 RL 阶段的初始化模型。

受控采样： 对于每个提示词（Prompt），生成一组 $G$ 个轨迹。与采样自单一无条件策略的标准 GRPO 不同，RC-GRPO 为组内的每个轨迹从固定分布 $P_{sample}(r)$ 中采样一个离散奖励标记 $r_j$ 。
条件化展开（Rollout）： 每个轨迹 $\tau_j$ 都是在其特定的标记 $r_j$ 条件下生成的（即 $a_{t,j} \sim \pi_\theta(\cdot | h_{t,j}, r_j)$ ）。
优势计算： 由于该组包含了基于不同奖励模式（高 vs 低）的轨迹，组内奖励方差被显式注入。这确保了组归一化优势 $A_j = \frac{R(\tau_j) - \mu_g}{\sigma_g + \epsilon}$ 不会发生退化且具有信息量。
奖励函数： 使用统一的轨迹级奖励 $R(\tau)$ ，定义为状态一致性（ $R_{state}$ ）与必要动作覆盖度（ $R_{action}$ ）的乘积，最终产生二元成功信号（成功为 1，失败为 0）。

3. 核心贡献

RC-GRPO 框架： 引入了一种奖励调节方法，通过离散奖励标记将探索转化为一个可控的引导问题，从而防止了尖锐策略导致的消失优势问题。
两阶段流水线： 一个包含 RCTP 微调（基于混合质量数据）随后进行奖励调节 GRPO 的特定工作流，确保策略能够可靠地产生有效组相对更新所需的各种行为。
实证验证： 在使用 LLaMA-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 Berkeley 函数调用排行榜第 4 版（BFCLv4）多轮基准测试上进行了全面的实验。
理论与动态分析：
- 理论层面： 通过基于方差的分析（命题 4.2 和 4.3）证明，当 SFT 后的策略过于尖锐时，标准 GRPO 会崩溃，而奖励调节保证了组内方差的下界。
- 动态层面： 证据表明，RC-GRPO 在提高性能的同时降低了策略熵，这证明了收益是由结构化方差注入驱动的，而非增加随机性。

4. 实验结果

该方法在 BFCLv4 多轮拆分集上进行了评估。

Qwen2.5-7B-Instruct： 全流程 RC-GRPO 实现了 85.00% 的总准确率。这显著优于基础模型（11.25%）和标准 SFT+GRPO（48.75%），甚至超过了所有评估的闭源 API 模型（其中表现最好的是 Opus-4.5，达到了 61.25%）。
LLaMA-3.1-8B-Instruct： 该方法实现了 48.75% 的准确率，优于 SFT+GRPO（35.00%）和基础模型（0.00%）。
消融研究：
- RCTP 的必要性： 在标准 SFT 初始化基础上仅添加奖励调节几乎没有收益。然而，将初始化切换为 RCTP-FT 并在 RC-GRPO 下运行后，效果大幅提升（Qwen2.5-7B 提升了 38.75%）。
- 机制分析： 训练动态分析显示，RC-GRPO 在实现高性能的同时具有更低的熵，并且熵与奖励之间存在负相关，这与依赖高熵来获取性能的标准 GRPO 形成了对比。

5. 意义与主张

论文声称，RC-GRPO 解决了将基于组的 RL 应用于强大的、经 SFT 初始化的智能体时的一个根本局限：即由于缺乏组内多样性导致的学习信号崩溃。

可控多样性： 本研究表明，可以通过条件化标记而非依赖随机采样温度来显式控制 RL 展开中的多样性，而后者对于尖锐策略往往是不够的。
稳定性胜于随机性： 作者认为，观察到的性能提升并非源于增加随机性（熵），而是通过结构化方差恢复了具有信息量的、非消失的优势信号。
实际影响： 通过使开源模型在复杂的多轮工具调用任务上超越闭源 API 模型，该方法为训练鲁棒的智能体系统提供了一条无需依赖评论家网络或标准 GRPO 不稳定性、且具备可扩展性的路径。

作者保持了谦逊的态度，指出虽然他们为该方法的稳定性提供了基于方差的理论解释，但并不声称建立了一套完整的多轮智能体训练动态理论。其主要贡献是将可控生成与基于组的 RL 统一为一个解决稀疏奖励环境下“消失更新”问题的解决方案。