💬 NLP

Synthesize and Reward -- Reinforcement Learning for Multi-Step Tool Use in Live Environments

该论文介绍了 PROVE，这是一个通过结合具有状态的服务器库、依赖引导的数据合成流水线以及一种新型程序化奖励系统，从而在实时环境中实现高效的多步工具使用强化学习的框架，并在多个基准测试和模型族中取得了显著的性能提升。

原作者： Ibrahim Abdelaziz, Asim Munawar, Kinjal Basu, Maxwell Crouse, Chulaka Gunasekara, Suneet Katrekar, Pavan Kapanipathi

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ibrahim Abdelaziz, Asim Munawar, Kinjal Basu, Maxwell Crouse, Chulaka Gunasekara, Suneet Katrekar, Pavan Kapanipathi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名非常聪明但缺乏经验的学徒，如何使用一个巨大的、复杂的工具箱来修理房子里的各种东西。目标不仅仅是让学徒选对工具，还要让他们学会以正确的顺序使用工具、处理错误，并在不知道该怎么做时及时停手。

这篇题为 PROVE 的论文描述了一种新的训练 AI 模型（即“学徒”）的方法，正是为了实现这一目标。作者发现以往的方法之所以失败，主要是因为三个原因，并构建了一个新系统来解决这些问题。

以下是利用简单类比对他们解决方案的拆解：

他们修复的三个问题

“假房子”问题：
- 旧方法： 大多数训练发生在“模拟器”或静态地图中。这就像是在一张房子的图纸上练习。如果学徒试图打开一扇在图纸中并不存在的门，系统直到很久之后才会意识到错了。
- 修复方案： PROVE 使用了 实时 MCP 环境 (Live MCP Environments)。想象一下，你是在一个拥有真实水路和电路的真实房子里训练学徒。如果他们尝试打开一个没有灯泡的灯，系统会立即说：“这没起作用。”这种反馈是实时的，且带有真实的后果。
“虚构家具”问题：
- 旧方法： 在生成练习题时，计算机经常编造虚假的细节。它们可能会要求学徒“移动 404 房间里的红色椅子”，但 404 房间并不存在，也没有红色椅子。学徒会试图执行指令并因此立即失败，因为那个物体根本不是真实的。
- 修复方案： 他们构建了一个 落地数据流水线 (Grounded Data Pipeline)。在提出问题之前，系统会先检查“房子”里实际存在什么家具。如果 101 房间里有一把红椅子，系统就会问：“移动 101 房间里的红椅子。”这确保了每一个练习任务都是可以完成的。
“话痨”问题：
- 旧方法： 奖励机制就像一位老师，只有当学生勾选完清单上的每一项时才会给一颗金星。这会鼓励学生变得懒惰，只是机械地调用他们知道的所有工具，希望能撞大运撞到正确的那个，而不是仔细思考。
- 修复方案： 他们创建了一个 程序化奖励系统 (Programmatic Reward System)。新系统不再仅仅检查是否使用了正确的工具，而是奖励学徒满足以下条件的表现：
  - 有效性 (Validity)： 工具是否真的起作用了？
  - 覆盖度 (Coverage)： 他们是否完成了所有必要的步骤？
  - 效率 (Efficiency)： 他们是否在没有浪费时间或进行多余、不必要调用的情况下完成了任务？（这就是“反话痨”规则）。
  - 精准度 (Precision)： 他们是否使用了正确的工具名称和正确的设置？

系统是如何运作的（“教练”）

作者构建了一个“教练”（状态机编排器）来运行训练环节：

地图： 教练首先绘制一张工具之间如何相互依赖的地图（例如，你必须先“检查余额”，然后才能“转账”）。
侦察： 教练观察实时环境，寻找可用于问题的真实物品。
练习： 教练向 AI 提出一个多步骤问题。AI 尝试通过调用工具来解决问题。
计分卡： 系统不使用另一个 AI 来评分（这样速度慢且昂贵）。相反，它使用代码进行即时检查：“工具运行了吗？它返回了正确的数据吗？你是否使用了过多的步骤？”
循环： AI 获得分数并再次尝试，从而变得越来越好。

结果

团队在四种不同的 AI 模型（从小型到中型规模）上进行了测试。他们不需要数百万个例子；他们使用了大约 13,000 个高质量的练习环节。

结果令人印象深刻：

模型在解决多步骤问题方面有了显著进步。
他们在三项主要测试（BFCL、τ 2-bench 和 T-Eval）中提升了高达 10 分。
至关重要的是，模型学会了高效工作。它们停止了不必要的工具调用，并学会了在信息不足时停下来，而不是盲目猜测。

核心结论

这篇论文证明了，你不需要庞大的专业人工标注团队或一个超级聪明的“裁判 AI”来教机器人如何使用工具。相反，如果你给它们一个真实的练习环境、真实的数据以及一个奖励效率的智能评分系统，它们就能非常快速地学会编排复杂的任务。

关键的启示是，在教授 AI 如何在现实世界中使用工具时，训练的质量（真实的场景、真实的奖励） 胜过 数据的数量。

技术摘要：PROVE —— 基于验证环境的程序化奖励

问题陈述

训练大语言模型（LLMs）编排多步工具调用面临三个相互关联的障碍，这些障碍阻碍了自主智能体的部署：

高成本的现实环境： 构建真实的、具有状态性的执行环境需要消耗大量资源，导致许多流水线依赖于缓存或模拟 API，从而错失了依赖于状态的失败模式。
脱离实际的合成数据： 合成训练查询通常是在没有基于服务器实际状态进行建模的情况下生成的。因此，生成的工具调用会引用不存在的实体，导致在训练期间发生执行失败。
冗余倾向： 标准的基于召回率的强化学习（RL）奖励会激励冗长的工具调用模式。模型学会通过输出过多的工具调用来最大化基准真相（Ground Truth, GT）覆盖率，而这种回归行为很少被明确惩罚。

方法论：PROVE 框架

作者提出了 PROVE（Programmatic Rewards On Verified Environments，基于验证环境的程序化奖励），该框架通过共享的实时执行后端，将数据合成与 RL 循环紧密耦合。该方法由三个核心组件组成：

1. 实时 MCP 环境框架

PROVE 没有使用静态缓存，而是利用了一个包含 20 个有状态的模型上下文协议（MCP）服务器 的库，这些服务器在金融、生产力、商务、旅行和物联网等领域暴露了 343 个工具。

有状态执行： 与缓存 API 不同，这些服务器能够捕捉真实的、依赖于状态的动态变化（例如，转账后账户余额的变化、持久化的日历事件）。
会话范围隔离： 每个 RL 展开回合（rollout episode）都获得一个唯一的会话 ID，确保了状态隔离和可重复的初始条件。
集成： 该框架与 VERL RL 框架集成，将模型生成的工具调用路由到相应的 MCP 服务器，并返回执行响应。

2. 基于状态机的接地数据合成（Grounded State-Machine Data Synthesis）

为了解决脱离实际的合成数据问题，PROVE 采用了一种自动化流水线来生成经过验证的多轮轨迹：

依赖图发现： 一个 LLM 对工具对之间的关系（显式、隐式或无）进行分类，以构建依赖图，从而播种真实的步进链。
实时状态采样： 在生成查询之前，系统会探测实时 MCP 服务器以枚举真实实体（例如，有效的账户 ID、存在的城市）。这种“采样上下文”被注入提示词中，约束 LLটি 仅使用服务器状态中实际存在的实体。
状态机编排器： 一个有限状态机驱动对话，管理从查询生成、LLM 处理、工具执行到恢复（使用修正后的参数或替代工具进行重试）的转换。
鲁棒性与验证： 该流水线引入了概率性扰动（干扰项、剥离枚举值、无关查询），并针对新鲜重置的环境进行重放验证。只有错误率低于 30% 且具有有效敏感参数溯源性的对话才会被保留。
数据集： 该过程产生了 ~13,517 个训练样本，包括多轮对话、澄清轨迹和弃权示例。

3. 多组件程序化奖励

PROVE 引入了一个完全程序化的奖励函数（ $R_{total}$ ），由五个部分组成，无需外部“LLM 作为评判者（LLM-as-judge）”模型：

有效性 ( $R_{validity}$ )： 基于函数名称存在性、参数兼容性和成功实时执行的梯度评分（0–1）。
覆盖率 ( $R_{coverage}$ )： 衡量是否按正确的依赖顺序完成了所有 GT 工作流步骤。它强制要求模型调用必须包含所有 GT 参数键以实现匹配。
自适应效率 ( $R_{efficiency}$ )： 这是一个旨在对抗冗余的关键贡献。它对超过复杂度缩放预算（ $B = n_{gt} + \lceil n_{gt} \cdot \beta \rceil$ ）的调用应用惩罚。这允许复杂任务有一定的余量，同时惩罚不必要的调用。
工具名称信号 ( $R_{name}$ )： 对于选择出现在基准真相中的工具名称给予明确奖励，解决了有效性得分在正确工具选择被学习前就趋于饱和的瓶颈问题。
参数值匹配 ( $R_{arg}$ )： 对于匹配特定参数值（而非仅仅是键）而非仅仅是键的基准真相给予奖励，这对于提升多轮对话性能具有不成比例的帮助。

实验设置

模型： 来自两个家族的四个指令微调模型：Qwen3-4B、Qwen3-8B、Qwen2.5-7B 和 Granite-4.1-8B。
训练： 所有模型均使用 群体相对策略优化（GRPO） 在 8×H100 GPU 上训练了 350 个步长。
超参数： 所有模型使用相同的奖励权重；仅针对每个家族调整了学习率。
基准测试： 在 BFCL Multi-Turn、 $\tau$ 2-bench 和 T-Eval 上进行评估。

结果

PROVE 在仅使用约 13K 个训练样本的情况下（大约是 AgenticQwen 等并发 RL 流水线的 1/8），在所有四个模型和三个基准测试中表现出一致的提升：

BFCL Multi-Turn： 提升高达 +10.2 分 (Qwen3-4B)。
$\tau$ 2-bench： 提升高达 +6.8 分 (Qwen2.5-7B)。
T-Eval： 提升高达 +6.5 分 (Qwen2.5-7B)。

消融研究：

奖励组件： 移除自适应效率惩罚（ $\beta=0$ ）或 工具名称 信号会导致最大的聚合下降（在基准测试中下降约 9 分），证实了它们在防止冗余和引导工具选择方面的关键作用。
RL vs. SFT： 当使用相同的数据通过监督微调（SFT）进行训练时，模型在多轮基准测试（如 $\tau$ 2-bench）上往往会出现退化，而 PROVE 则能持续提升性能。这表明奖励信号对于将合成轨迹转化为可靠的智能体行为至关重要。
教师鲁棒性： 当更换数据合成“教师”LLM（Gemma-4-31B-it vs. Qwen3-32B）时，结果保持稳定，表明收益源于奖励公式和实时执行循环，而非特定的教师风格。

意义与主张

论文声称，紧凑且完全程序化的奖励结合接地数据合成，可以在无需：

大规模数据流水线（使用 ~13K 样本对比数百万个样本）的情况下，驱动一致的多步工具编排增益；
昂贵的“LLM 作为评判者”模型进行奖励计算；
手动标注的情况下，实现上述目标。

作者强调，自适应效率惩罚和工具名称信号是最具负载能力的组件，成功解决了历史上限制工具使用 RL 的冗余和工具选择瓶颈。通过将合成与实时执行紧密耦合，PROVE 确保了训练数据是可执行的，并且奖励信号反映了现实世界的状态依赖动态。