🤖 AI

RTPO: Reverse-Turn Policy Optimization for Stabilizing Agentic RL Training

本文介绍了反向轮次策略优化（Reverse-Turn Policy Optimization, RTPO），这是一个通过将展开过程重构为稀疏反向树，从而消除上下文失配、实现因果一致的信用分配并控制异步策略漂移，进而稳定多轮智能体强化学习训练的统一框架，其性能显著优于现有基准方法。

原作者： Yugu Li, Jimmy Cao, Jianglin Qiao, Siyi Hu

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yugu Li, Jimmy Cao, Jianglin Qiao, Siyi Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，研究人员正在教导大型语言模型扮演自主智能体的角色。这些不仅仅是回答问题的聊天机器人，而是旨在进行规划、推理并使用外部工具（如计算器或搜索引擎）来解决复杂问题的系统。为了让这些智能体变得更聪明，科学家经常使用一种叫做强化学习的方法。想象一个学生正在学习玩一款新游戏：他们尝试不同的动作，如果赢了，就会获得奖励。随着时间的推移，他们学会了哪些动作会导致成功。在数字领域，“动作”是模型生成的词汇，而“奖励”是任务结束时给出的分数。这种方法对于单步任务（例如一次性解决数学问题）非常成功。然而，当这些智能体被要求执行长期的、多步骤的工作流时——例如在多次对话回合中进行主题研究、收集数据并撰写报告——训练过程会变得极其不稳定。模型往往能学会解决短任务，但在面对长任务时表现得一团糟，其性能会随着步骤数量的增加而崩溃。

来自澳大利亚和美国大学的一个研究小组已经发现了这种崩溃发生的原因，并提出了一种修复它的新方法。他们发现，这种不稳定性源于在对这些智能体进行多轮训练时发生的三个紧密相关的难题。首先，模型在练习时看到的内容与它在接受教学时看到的内容之间存在不匹配。在练习期间，为了节省空间，模型可能只看到对话的摘要；但在训练期间，计算机却强制它查看完整的对话历史。这种差异会让模型感到困惑，使其无法确定该信任哪种上下文。其次，系统很难弄清楚在长链推理中究竟是哪一个具体步骤导致了最终的成功或失败。当模型在完成一个十步流程后获得奖励时，训练算法通常会将这种功劳（或责备）平均分配给所有十个步骤，即使其中第五步才是关键性的错误。这使得智能体难以学习正确的行为。第三，随着训练的进行，模型本身也在发生变化。如果系统试图从一段对话开始时模型还比较“年轻”、技能较低，而结束训练时模型已经变得“年长”、技能更高的数据中学习，那么数据就会变得不一致。模型本质上是在尝试从过去的自我中学习，从而产生了一种使学习过程不稳定的漂移现象。

为了解决这些问题，研究人员开发了一种名为“逆向转轮策略优化”（Reverse-Turn Policy Optimization，简称 RTPO）的新框架。他们不再将一段长对话视为一个巨大的、扁平的文本块，而是将训练过程重新构想为一系列截然不同且相互连接的时刻。其核心思想是通过“倒着”的方式来训练模型，即从任务的最后一步开始，向最初的步骤回溯。当系统到达对话中的特定回合时，它会暂停并创建多个“兄弟”版本的未来。它会让模型去想象：“如果我现在做出这个特定的决定，接下来会发生什么？”然后，它会向前运行这些未来的场景，以观察它们是否会导致好的结果。通过对比这些“兄弟”未来的情况，系统可以精准地指出当前回合中哪一个决策是最优的，而不会受到之前发生的干扰或之后不确定性的影响。这种方法确保了模型始终在一致的上下文中学习，并且成功的功劳能精确地归功于导致结果的那个决策。

这项新方法的成果令人瞩目。在进行困难的数学推理任务和复杂的网络搜索挑战测试时，新方法显著优于现有技术。在一组高难度数学问题中，新方法使智能体的准确率比之前的标准方法提高了超过 21%。在基于知识的任务中，性能提升了近 11%。或许更重要的是，训练过程本身变得更加稳定了。在以往的方法中，随着任务变长，模型的表现往往会变差，但使用这种新方法，即使在步骤数增加的情况下，模型仍能持续进步。研究人员还发现，智能体使用工具的效率也提高了。在处理数学问题时，智能体调用的工具次数减少了，但得到的正确答案却更多了，这表明它们学会了依靠自身的推理，仅在绝对必要时才使用工具。在研究任务中，它们的调用次数增加了，但这些调用更具策略性，从而实现了更有效的信息收集。

研究人员通过隔离出他们识别出的三个问题，验证了其解决方案的有效性。他们证明，通过修复上下文不匹配问题，模型不再会对应该观察什么感到困惑；通过修复信用分配问题，模型学会了在每个特定步骤做出更好的决策，而不是仅仅根据最终结果进行猜测；通过保持训练数据与当前版本模型的一致性，他们消除了通常会导致长程训练失败的漂移现象。这项研究为构建能够处理复杂多步任务而不迷失方向、更可靠的 AI 智能体提供了一条清晰的路径。它表明，掌握长程推理的关键不仅在于给模型更多的数据，还在于重构其学习数据的方式，确保每一个决策都能针对正确的未来可能性得到公正且准确的评判。这项工作标志着在创造能够真正一步步应对现实世界复杂性的 AI 助手方面迈出了重要的一步。

技术摘要：用于稳定智能体强化学习训练的反向轮次策略优化 (RTPO)

1. 问题陈述

使用强化学习 (RL) 训练多轮对话智能体工作流可以使大语言模型 (LLM) 执行复杂的推理、利用外部工具并进行迭代搜索。然而，现有的方法随着轮次数量的增加，会出现严重的稳定性问题，往往导致性能退化。本文识别了三个紧密耦合的稳定性来源，它们在结构上共同源于扁平化轨迹优化 (flattened trajectory optimization)：

展开（Rollout）与训练上下文不匹配：在多轮设置中，展开过程通常是在截断或摘要后的上下文中生成的（为了管理上下文长度），而训练时则是在完整的、拼接的历史记录下重新计算似然比。这种差异会导致用于策略优化的重要性采样 (IS) 比率（例如 PPO、GRPO）产生偏差，破坏了生成过程与优化过程之间轮次级上下文的一致性。
弱轮次级信用分配 (Weak Turn-Level Credit Assignment)：扁平化方法将单一的轨迹级优势函数 (advantage) 分配给所有 token。这掩盖了单个轮次的具体贡献，尤其是在终端奖励稀疏的情况下。轨迹级的优势函数将真实的轮次级信号与上游状态效应及下游随机性纠缠在一起，可能导致特定轮次的梯度方向发生反转。
异步策略漂移 (Asynchronous Policy Drift)：在异步训练中，较短的轨迹可能会更新策略，而较长的轨迹可能仍在旧策略下生成。当这些较长轨迹最终被优化时，相对于当前模型而言是离策 (off-policy) 的。PPO/GRPO 中的标准 token 级裁剪无法在长时界内有效地纠正这种漂移，因为裁剪后的比率乘积并不等于真实的轨迹级重要性采样比率。

2. 方法论：反向轮次策略优化 (RTPO)

RTPO 通过一种统一的反向轮次公式化 (reverse-turn formulation) 来解决这些问题，该方法将多轮交互组织为稀疏树，并按时间反向顺序执行轮次级策略更新。

核心组件：

轮次边界 MDP (Turn-Boundary MDP)：交互被建模为一个分层 MDP，其中第 $k$ 轮的状态为交互历史 $S_k$ 。策略被分解为 $K$ 个轮次级子策略 $\pi_{\theta, k}$ ，每个子策略将条件上下文 $c_k$ （与展开上下文完全匹配）映射到完整的响应 $l_k$ 。
反向顺序训练：训练从最后一轮 ( $K-1$ ) 开始，向第一轮 ($0 $) 倒序进行。在优化第$ k $轮时，下游策略 ($ k+1 \dots K-1$) 被冻结。这确保了用于信用分配的持续价值 (continuation value) 是平稳的，并且与当前的优化目标保持一致。
稀疏树展开与状态匹配的兄弟节点 (Sparse Tree Rollouts & State-Matched Siblings)：对于每个轮次 $k$ ，RTPO 从共享的边界状态 $S_k$ 出发，分叉出 $G-1$ 个兄弟展开路径。这些兄弟节点采样不同的第 $k$ 轮动作，但共享相同的历史记录。这使得估计轮次级优势函数 ( $A^H_{j,k}$ ) 具有因果一致性，消除了上游状态的污染，并确保是在匹配的下游条件下进行比较。
在策持续 (On-Policy Continuation)：为了消除异步漂移，RTPO 在每个反向步骤中重新生成在策 (on-policy) 的兄弟持续路径。在优化第 $k$ 轮时，下游轮次使用当前更新后的策略 $\pi_{\theta > k}$ 进行采样。这确保了轨迹级重要性权重恒等于 1 ( $\omega \equiv 1$ )，从而无需使用不稳定的长时界重要性采样修正。

理论保证：

论文提供了三个关键定理：

收敛至递归最优性：在标准假设（有限状态/动作空间、Robbins-Monro 步长）下，带有冻结下游策略的反向顺序优化收敛至递归最优策略序列。
因果一致的优势估计：状态匹配的兄弟节点估计器消除了存在于轨迹级基线中的上游状态污染项，从而降低了信用分配中的方差和偏差。
无漂移的在策持续：通过重新生成在策持续路径，RTPO 避免了与长时界重要性采样修正相关的指数级方差增长。

3. 主要贡献

识别不稳定性来源：本文正式识别并分析了多轮智能体 RL 中耦合的不稳定性来源：上下文不匹配、弱信用分配以及异步漂移。
结构化诊断：研究表明，这些问题共同源于扁平化轨迹优化，且现有方法（PPO、GRPO、基于树的方法）并未共同解决这一根本原因。
RTPO 框架：提出了一个整合了展开-训练一致性、轮次级信用分配以及具有递归最优性和减少信用偏差理论保证的在策持续的新颖框架。
实证验证：在涉及数学推理和知识密集型搜索的综合多轮智能体 RL 基准测试上验证了 RTPO。

4. 实验结果

实验使用 Qwen3-8B 作为骨干网络，涵盖了 12 个基准测试，包括数学推理（GSM8K, MATH500, AIME24/25, AMC23, OE-Math）和知识推理（HotpotQA, 2Wiki, GAIA, WebWalkerQA, XBench, HLE）。

性能提升：RTPO 在整体准确率上分别超越了轨迹级基线 (GRPO) 21.50% 和轮次级基线 (SeeUPO) 10.76%。
稳定性：RTPO 在整个训练过程中保持了稳定的展开-训练一致性（对数概率比率接近 1.0），而基线模型则表现出显著的漂移和恢复模式。
工具使用效率：
- 在数学推理中，RTPO 以更少的工具调用实现了更高的准确率，表明它学会了依赖内部推理，仅在需要精确验证时才使用工具；相比之下，基线模型会进行重复且低效的验证。
- 在知识推理中，RTPO 有效地利用了更多的工具调用来整合外部证据，证明其优化目标能够根据任务的具体性质调整工具使用策略，而非盲目地抑制或鼓励调用。
消融研究：
- 信用分配：在控制上下文不匹配的情况下，仅靠 RTPO 的轮次级信用分配就能显著提升相对于基线的性能。
- 在策持续：在长时界深度搜索任务中，RTPO 的在策版本明显优于重用陈旧持续路径的离策版本，证实了避免策略漂移的理论优势。

5. 意义与主张

论文声称 RTPO 提供了一个原则性的框架，通过在结构上消除展开与训练上下文之间的不匹配以及控制策略漂移，来稳定多轮智能体 RL 训练。

理论贡献：它确立了结合状态匹配兄弟节点比较和在策持续的反向顺序轮次级优化，可以实现递归最优性和因果一致的信用分配，解决了扁平化轨迹方法固有的局限性。
实际影响：该方法为工具使用型智能体提供了更稳定的训练，特别是在标准方法失效的长时界场景中。它使智能体能够学习针对特定任务定制的有效工具使用策略（例如，数学任务中的精确验证，知识任务中的彻底检索），而不会受到上下文不匹配和异步更新带来的不稳定性影响。
局限性：作者承认由于需要生成兄弟节点和进行反向顺序同步，RTPO 带来了更高的训练成本（约增加 41% 的 GPU 时）。他们还指出，严格的收敛保证适用于表格化形式，而神经实现则依赖于通用近似假设。此外，在小规模、稀疏奖励的数据集上，由于过度优化，该方法在训练后期可能会出现性能下降。

总之，RTPO 为多轮智能体 RL 的结构性不稳定性提供了统一的解决方案，证明了通过反向轮次公式化来解决上下文不匹配和信用分配的根本原因，可以带来更优越的性能和稳定性。