💬 NLP

Recursive Agent Optimization

本文介绍了递归代理优化（RAO），这是一种强化学习框架，它训练智能体将子任务递归地委派给自身，从而提升训练效率、突破上下文限制实现可扩展性，并通过分治策略增强对复杂问题的泛化能力。

原作者： Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但略显健忘的私人助理。你交给他们一项庞大而复杂的工作，比如为一个四口之家策划为期三天的京都之旅，或者在一百万本书的图书馆中寻找某个隐藏的具体事实。

如果你将这项任务交给一位单独的助理，可能会出现两种问题：

他们不堪重负：指令太长，导致他们在执行到计划末尾时，已经忘记了开头的部分。
他们陷入停滞：任务太大，无法一次完成，因此他们要么放弃，要么犯错。

本文介绍了一种训练这些助理的新方法，称为递归代理优化（Recursive Agent Optimization, RAO）。RAO 并非仅仅训练一位助理独自完成所有工作，而是赋予他们一项超能力：克隆自己的能力。

以下是其工作原理，通过简单的类比来说明：

1. “克隆军团”策略

在旧方法中，如果助理需要研究某个主题，他们会按顺序阅读所有内容。如果文本过长，他们就会遗漏细节。

而在 RAO 中，主助理（我们称她为经理）审视一项大任务后说道：“这太庞大了，我无法一次性记在脑海里。我要把它拆分。”

随后，她生成子代理（即她的克隆体）。

经理：“你，子代理 A，去找出最佳赏樱地点。”
经理：“你，子代理 B，去找出一个安静的寺庙和一个适合孩子的活动。”
子代理 B：“等等，我无法同时做这两件事。我也要生成自己的克隆体！子代理 B1，去找寺庙。子代理 B2，去找适合孩子的活动。”

这就形成了一个树状的工作网络。每位工作者只需专注于拼图中一小块、可管理的部分。他们无需记住整个项目的历史，只需记住自己特定的小任务。

2. “团队奖金”系统（他们如何学习）

本文的重大突破不仅在于使用克隆体，更在于如何训练他们使用这些克隆体。

想象一款视频游戏，你会获得积分。

旧方法：只有当你赢得整个游戏时才能获得积分。如果你在关卡通关时做出了精彩的举动，但最终输给了最终 Boss，你依然得零分。这使得很难学会如何打好早期关卡。
RAO 方法：你因两件事获得积分：
1. 你是否解决了自己的特定小任务？（例如：你找到寺庙了吗？）
2. 你雇佣的人（你的子克隆体）是否解决了他们的任务？

如果经理雇佣了一位失败的子代理，经理会受到“委托惩罚”。如果经理雇佣了一位成功的子代理，经理则会获得“委托奖励”。

这教会了经理两个关键教训：

何时克隆：不要为微小任务克隆（那是浪费时间）。当任务过大时才进行克隆。
如何克隆：给出清晰的指令，以便你的克隆体能成功。

3. 结果：论文发现了什么

研究人员在三种类型的“高难度工作”上测试了这种方法：

“制作”游戏（TextCraft-Synth）：想象一款类似《我的世界》的游戏，你需要通过组合许多小物品来构建一个复杂物品（如蜂巢）。
- 结果：经过 RAO 训练的代理能够构建出单个代理无法处理的极其复杂的物品。他们甚至能解决“困难”级别的谜题，而单代理版本则完全失败。
- 速度：由于克隆体可以同时处理制作的不同部分（就像一个人切木头，另一个人涂漆），尽管总步数更多，但在现实时间中他们完成工作的速度快得多。
“长书”测试（Oolong-Real）：想象要求助理在一本 55,000 字长的书中找到特定句子，但助理一次只能“阅读”32,000 字。
- 结果：单个助理不得不猜测或使用技巧，因为它无法读完整本书。而 RAO 代理将书分成块，将每一块分配给不同的克隆体，然后合并答案。它完美地解决了问题，而单个代理则失败了。
“深度研究”测试（DeepDive）：想象要求助理寻找一个特定的历史事实，这需要搜索互联网、阅读五个不同的网站并串联线索。
- 结果：RAO 代理学会了将研究分解为步骤（搜索、验证、综合）并进行委托。虽然由于步骤必须按顺序完成（如果两个事实相互依赖，你无法在同一时刻搜索两个不同的事实）导致耗时更长，但其准确性远高于单个代理。

核心结论

论文认为，我们不应仅仅构建花哨的工具（如克隆），然后指望 AI 自行摸索如何使用它们。相反，我们应该专门训练 AI 使用这些工具。

通过教导 AI 将大问题分解为小问题，将其委托给自己的克隆体，并奖励克隆体做好工作，AI 变得：

更擅长解决难题：它能够应对超出其记忆容量的庞大任务。
更擅长并行任务：它可以同时处理多件事。
更擅长学习：因为它在每个小步骤都能获得反馈，而不仅仅是在最终结果上。

简而言之，RAO 将一位不堪重负的单兵，转变为一个组织良好、自我管理的团队，能够解决任何单兵都无法独自处理的问题。

技术摘要：递归智能体优化（RAO）

问题陈述

大型语言模型（LLM）智能体正越来越多地被部署于涉及长视野、大有效工作记忆和大量探索的复杂现实世界任务中。尽管许多此类任务天然适合分治策略，但现有的递归和多智能体系统通常将递归视为围绕预训练模型构建的静态、推理时脚手架。在这些系统中，模型本身并未被训练以决定何时委托有益、如何制定有效子任务、如何在执行层级间进行沟通，或如何组合子智能体的输出。因此，在训练模型以有效利用递归推理作为一种习得的原语（primitive），而非固定的架构约束方面，存在差距。

方法论：递归智能体优化（RAO）

作者提出了递归智能体优化（RAO），这是一种专为递归智能体端到端训练设计的强化学习（RL）方法。与固定编排方案的先前工作不同，RAO 训练一个单一共享策略（ $\pi_\theta$ ），该策略在动态生成的执行树的每个节点上实例化。

1. 智能体形式化与推理

智能体在一个环境中运行，该环境使其能够在 Python REPL 中交替进行自然语言推理与代码执行。动作空间扩展为包含一个异步函数 launch_subagent(goal, ...)。

动态执行树：当解决任务 $X$ 时，策略可以针对委托的子任务 $X_1, \dots, X_n$ 生成零个或多个子智能体。这些子任务的数量和内容均由策略本身选择。
并发：父智能体可以根据任务依赖关系，顺序或并发（使用 asyncio.gather）启动子智能体。
有界性：对递归深度和每个智能体实例的环境步数施加明确限制，以确保计算有界。

2. 奖励设计（局部节点奖励）

RAO 采用局部奖励结构以改善执行树中的信用分配。对于对应于任务 $X$ 、轨迹为 $\tau_X$ 且具有直接子节点 $C(X)$ 的节点，奖励定义为：
$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$

$\tilde{s}(X, \tau_X)$ ：当前节点的成功信号，源自精确验证、LLM 评判器或代理（例如根任务成功），若缺乏局部监督则使用后者。
委托奖励：第二项根据直接子节点的成功率奖励智能体。参数 $\lambda$ 控制该奖励的强度。
原理：这种设计鼓励富有成效的委托，而非仅仅生成更多子节点。它提供了密集的监督信号，特别是在训练初期根任务成功罕见时。

3. 策略优化

目标是在根任务和策略生成的后代上优化共享策略。目标函数 $J(\theta)$ 对递归展开中所有深度 $d$ 的期望奖励求和：
$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$

课程效应：递归结构自然生成不同难度的相关任务，形成一个隐式课程，其中子任务通常比根任务更简单或更具结构性。
优势估计：为了处理不同深度轨迹数量的变化，作者使用从根展开奖励计算得出的留一法基线。
深度级加权：为防止优化被更深层级（可能包含指数级更多的轨迹）主导，应用了深度级逆频率加权。来自过度代表深度的轨迹被降权，以保持整体更新规模。

主要贡献

递归智能体的端到端训练：RAO 是第一种在动态生成的递归树的所有节点上联合训练单一策略的方法，教导模型决定何时以及如何委托。
新颖的奖励机制：引入带有委托奖励的局部节点奖励，使得在深层递归结构中能够进行有效的信用分配，使策略与委托的质量而非仅仅是数量保持一致。
可扩展的推理原语：该方法证明递归智能体可以扩展到超出模型上下文窗口的任务，并泛化到比训练期间所见任务显著更难的问题。
效率提升：与单智能体训练相比，该方法显示出更高的训练效率，并且可以减少可并行化任务的挂钟时间。

实验结果

作者在三个基准测试上评估了 RAO：TEXTCRAFT-SYNTH（合成制作任务）、OOLONG-REAL（长上下文文档聚合）和 DEEPDIVE（涉及多跳网络搜索的深度研究）。

上下文窗口扩展：在 TEXTCRAFT-SYNTH 上，使用 8K 上下文窗口训练的递归智能体在困难任务上达到了 95% 的成功率，与使用 40K 上下文训练的模型表现相当。相比之下，使用 8K 上下文的单智能体基线在困难任务上完全失败。同样，在 OOLONG-REAL 上，递归智能体处理了高达 175K token 的输入，尽管其训练限制为 32K，而单智能体无法读取完整输入。
对更难任务的泛化：仅在中等难度 TEXTCRAFT-SYNTH 任务上训练的智能体，泛化到困难任务的成功率为 88%，而单智能体基线仅为 20%。
训练效率：在所有基准测试中，递归智能体的学习速度显著快于单智能体基线，这归因于结构化子智能体奖励作为密集过程奖励以及自诱导课程的作用。
挂钟时间：对于可并行化任务（TEXTCRAFT-SYNTH），递归智能体在困难任务上将挂钟时间减少了高达 2.5 倍，相比单智能体。对于顺序任务（DEEPDIVE），虽然由于子任务的顺序性质导致挂钟时间增加，但成功率从 0.24 提升至 0.40。
自适应委托：智能体学会了根据任务难度调整其委托深度，在没有推理时显式深度约束的情况下，扩展到更深的树（多达 10 层）以应对更难的问题。

意义与主张

该论文声称，递归智能体优化代表了推理时脚手架利用方式的转变。与其围绕固定模型设计脚手架，不如训练模型有效利用它们。RAO 证明递归是一种强大的推理时扩展原语，它提供了：

为子智能体提供新鲜的上下文窗口，有效扩展工作记忆。
一种可泛化到更难问题的分治结构。
测试时计算资源的自适应分配。
并行执行的机会。

作者将 RAO 定位为迈向“自组织智能体”的一步，这些智能体能够动态构建自己的问题解决过程。他们指出，虽然他们的实验集中在特定领域，但该方法暗示了训练智能体利用复杂推理时结构的更广泛原则。未来的工作被确定为需要解决昂贵展开的替代采样过程，并训练能够跨定性不同领域转移委托策略的通才递归智能体。