💬 NLP

In-the-Flow Agentic System Optimization for Effective Planning and Tool Use

该论文介绍了 AgentFlow，这是一个可训练的在流中（in-the-flow）智能体框架，它采用了一种新颖的 Flow-GRPO 算法来优化多轮循环中的专门规划器，在多种推理和工具使用基准测试中，实现了相较于现有基线模型及更大规模专有模型的显著性能提升。

原作者： Zhuofeng Li, Haoxiang Zhang, Seungju Han, Sheng Liu, Jianwen Xie, Yu Zhang, Yejin Choi, James Zou, Pan Lu

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhuofeng Li, Haoxiang Zhang, Seungju Han, Sheng Liu, Jianwen Xie, Yu Zhang, Yejin Choi, James Zou, Pan Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何破解谜题。你不想让它只是瞎猜；你希望它能利用地图、放大镜和计算器来寻找真相。这就是大语言模型（LLMs）的世界，它们就像是拥有巨大阅读量、能够交谈并进行推理的超级大脑。最近，科学家们发现了一种让这些大脑变得更加敏锐的方法，即让它们进行练习：它们尝试解决一个问题，在最后阶段接收到一个“做得好”或“再试一次”的信号，并从这个结果中学习。这被称为强化学习（Reinforcement Learning）。

然而，这里有一个难点。当问题变得非常长且复杂时——比如一个包含二十个线索和五种不同工具（搜索引擎、代码编写器、事实核查器）的侦探故事——一次性教导机器人会变得一团糟。这就像是在蒙着眼睛的同时，试图同时学习开车、开飞机和开船。机器人会感到困惑，在早期就会犯错，并且无法弄清楚到底是哪一个具体的步骤导致了失败。目前的大多数系统要么试图用一个巨大的大脑处理所有事情（这在处理长任务时会显得力不从心），要么使用一群互不学习的机器人团队（它们被困在原始且不可改变的习惯中）。

这篇论文介绍了一种训练这些 AI 团队的新方法，叫做 AGENTFLOW。你可以把它想象成一个动态的、充满活力的工作坊，一个由专业化机器人组成的团队在实时协作。AGENTFLOW 并没有让一个巨大的大脑尝试做所有事情，而是将工作进行了拆分：一个**规划者（Planner）决定下一步行动，一个执行者（Executor）执行动作（例如搜索网页），一个验证者（Verifier）检查结果是否合理，以及一个生成器（Generator）*撰写最终答案。它们共享一块“记忆板”，并在每一步之后进行更新。神奇之处在于，规划者是在团队工作的过程中*进行学习，而不仅仅是在事后。

研究人员开发了一种特殊的训练方法，称为 Flow-GRPO。想象一下玩“热豆子”（Hot Potato）的游戏，团队在每一轮都会向每一位玩家传递一个单一的“成功”或“失败”令牌。如果团队在最后解决了谜题，那么他们所采取的每一个步骤都会得到一个“做得好！”的信号。如果失败了，每一个步骤都会得到一个“再试一次”的信号。通过这种方式，规划者能够理解，即使是早期做出的微小决策，对于最终结果也至关重要。通过这种训练方式，系统学会了即时适应、自我纠错，并为任务选择最合适的工具。

实验结果令人印象深刻。团队在十种不同类型的难题上测试了这个系统，范围涵盖了从搜寻冷门事实到解决复杂的数学问题和科学问题。尽管他们使用的是一个相对较小的“大脑”（一个 70 亿参数的模型），但 AGENTFLOW 击败了许多更大、更著名的模型，如 GPT-4o（拥有约 2000 亿参数）以及其他专门的 AI 系统。例如，在侧重搜索的任务中，它的准确率提升了近 15%，而在数学问题上，它跃升了超过 14%。这项研究表明，通过让 AI 团队在对话的流转过程中共同学习，而不是孤立学习，它们在规划、使用工具以及解决需要多步骤的问题方面变得更加出色。这不仅仅是关于拥有一个更大的大脑，更是关于教导这个团队如何有效地协同工作。

技术摘要：面向高效规划与工具使用的“流中”（In-the-Flow）智能体系统优化

问题陈述

虽然面向结果的强化学习（RL）显著推进了大型语言模型（LLM）的推理能力，但现有的工具增强方法仍面临关键局限。大多数现有方法训练的是单一的、整体式的策略，在全上下文环境下交替进行推理和工具调用。这种架构在处理长推理时界和多样化工具集时扩展性较差，往往导致训练不稳定以及对未知场景的泛化能力薄弱。

相反，智能体系统通过专业化模块（如规划器、执行器、批判器）分解任务，提供了一个充满前景 world 的替代方案。然而，目前大多数智能体系统是无需训练的，依赖于手工设计的逻辑或静态提示词启发式规则。那些采用训练的方法通常使用静态数据集上的离线监督微调（SFT）或偏好优化。这些离线策略与多轮交互的实时动态脱节，无法捕捉模块应如何根据不断演变的工具输出进行调整，或如何从早期错误中恢复。因此，智能体系统在动态环境中难以应对稀疏奖励、适应性脆弱以及编排效率低下的问题。

方法论：AGENTFLOW 与 Flow-GRPO

作者引入了 AGENTFLOW，这是一个可训练的、“流中”（in-the-flow）的智能体框架，旨在直接在多轮交互循环中优化规划和工具使用。

1. AGENTFLOW 架构

AGENTFLOW 通过一个共享的、不断演进的记忆（ $M$ ）和一个工具集（ $K$ ）来协调四个专业化模块：

规划器（Planner, $P$ ）： 一个可训练的策略（ $\pi_\theta$ ），负责制定子目标、选择工具并从记忆中检索上下文。
执行器（Executor, $E$ ）： 调用选定的工具并返回执行结果（ $e_t$ ）。
验证器（Verifier, $V$ ）： 评估执行的有效性以及累积的记忆是否足以解决查询，并产生一个二元信号（ $v_t$ ）。
生成器（Generator, $G$ ）： 在终止时生成最终解。

与单体模型中的潜在思维过程不同，AGENTFLOW 维护了一个显式的、确定性的且结构化的记忆，记录着推理过程。这确保了透明度、可控的行为以及受限的上下文增长。该系统作为一个多轮马尔可夫决策过程（MDP）运行，其中规划器在实时循环内进行在策略（on-policy）优化。

2. 基于流的组优化策略算法（Flow-GRPO）

为了解决长时界信用分配问题（即在稀疏的轨迹级奖励中存在的难题），作者提出了 Flow-GRPO。这种在策略算法将复杂的多轮 RL 挑战转化为一系列易于处理的单轮更新：

轨迹级奖励广播： 系统不分配脆弱的中间奖励，而是向整个轨迹分配一个单一的、可验证的最终结果奖励（ $R(\tau)$ ）。该奖励被广播到展开过程中的每一个轮次（ $t$ ）。
单轮分解： 通过将全局成功信号广播到每一轮，多轮优化实际上被分解为独立的单轮策略更新。在每一轮中，规划器可以访问完整的历史上下文（通过记忆），并接收到一个与全局成功对齐的一致奖励信号。
组归一化优势： 为了稳定训练并减少方差，该算法使用组归一化优势。对于 $G$ 个并行展开的组，特定轨迹的优势是通过将其奖励相对于组内奖励的均值和标准差进行归一化来计算的。

目标函数通过最大化并行展开的期望回报，利用类似于 PPO 的裁剪代理目标，并带有针对参考策略的 KL 散度惩罚。

核心贡献

AGENTFLOW 框架： 一个可训练的智能体系统，直接在其多轮循环内优化其规划器。通过由演进记忆协调专业化模块，它实现了自适应的长时界规划和鲁棒的工具编排，弥合了单体推理模型与静态智能体系统之间的差距。
Flow-GRPO 算法： 一种面向结果的在策略算法，将多轮 RL 转换为一系列单轮更新。它通过将可验证的轨迹级结果广播到每一轮来解决信用分配问题，并通过组归一化优势来稳定学习。
全面的实证验证： 在十个多样化基准测试上的广泛实验表明，采用 7B 参数骨干网络的 AGENTFLOW 优于专门的基准模型，甚至优于更大的商业闭源模型。

实验结果

作者在涵盖知识密集型搜索、智能体推理、数学推理和科学推理的十个基准测试上对 AGENTFLOW 进行了评估。

性能提升： 与顶级基准模型相比，AGENTFLOW（7B 骨干网络）在搜索任务上平均准确率提升了 14.9%，在智能体任务上提升了 14.0%，在数学任务上提升了 14.5%，在科学任务上提升了 4.1%。
与商业模型的对比： 值得注意的是，7B 规模的 AGENTFLOW 系统在所有领域都超越了约 200B 参数的 GPT-4o，增幅在 8.2% 到 18.0% 之间。
消融研究：
- 训练策略： 将冻结的规划器替换为更强的模型（GPT-4o）仅带来了微小的提升。相反，在 GPT-4o 轨迹上进行离线 SFT 导致了灾难性的性能崩溃（下降 19.0%），而使用“流中”的 Flow-GRPO 训练则比冻结的基准模型提升了 17.2%。
- 缩放效应： 当将骨干网络从 3B 扩展到 7B 时，性能提升是一致的。此外，将最大允许轮次（ $T_{max}$ ）从 3 增加到 10 始终能改善结果，验证了系统根据问题复杂度调整轮次分配的能力。
定性分析： 案例研究显示，Flow-GRPO 使规划器能够：
- 优化工具选择（例如，从通用搜索转向针对特定领域的网络搜索）。
- 从错误中恢复（例如，纠正代码执行循环中的变量命名问题）。
- 发现新的解决方案路径（例如，在初始失败后战略性地切换工具）。

意义与主张

论文声称，**“流中”优化（in-the-flow optimization）**对于有效的智能体系统至关重要。通过使用 Flow-GRPO 在实时的多轮循环中直接训练规划器，系统学会了处理长时界工作流、适应动态工具反馈以及从复合错误中恢复——这些都是离线训练方法无法捕捉的能力。

作者断言，他们的方法证明了即使是设计精良的智能体系统，即便使用相对较小的 7B 参数骨干网络，也能提供比规模大得多的单体 LLM 更优越且更高效的性能。这表明，对于复杂的推理成功而言，架构和训练方法论（特别是模块化分解与在策略流优化相结合）比单纯的模型规模更为关键。这项工作为智能体系统建立了新的技术前沿，证明了可训练的“流中”优化能带来更强的规划能力、更高的工具调用可靠性以及正向的缩放趋势。