🤖 machine learning

Reinforced Collaboration in Multi-Agent Flow Networks

本文介绍了 MANGO，这是一种数据驱动框架，它利用流网络中的强化学习和文本梯度来优化多智能体协作，有效缓解误差传播，并在各类基准测试中实现了显著的性能与效率提升。

原作者： Zheng Wang, Yuang Liu, Yangkai Ding

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Zheng Wang, Yuang Liu, Yangkai Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一支由专业机器人组成的团队，每个机器人在特定领域都是专家（例如视频观看者、网络搜索者和数学计算器）。你的目标是让它们协同工作，解决一个复杂的谜题，比如从视频中找出特定的比赛获胜者，查询他们的统计数据，并计算日期差。

当前机器人团队的问题在于，它们经常犯下会像滚雪球一样扩大的错误。如果第一个机器人误解了任务，或者第二个机器人查错了人，这个错误就会沿着链条传递下去，导致最终答案错误。这就像“传话”游戏，信息在传递中变得模糊，但这里不是耳语，而是一整条逻辑链的崩溃。

这篇论文介绍了MANGO（多智能体网络梯度优化），这是一种训练机器人团队的新方法，使它们不再仅仅遵循僵化的规则，而是能够从过去的成功中学习，从而变得更好。

以下是 MANGO 的工作原理，使用简单的类比说明：

1. “流网络”（成功之路的地图）

MANGO 不是每次都告诉机器人具体该做什么，而是基于过去成功的任务构建一张地图。

节点（站点）： 想象一张地铁图。地图上的每个站点代表一种特定类型的工作（例如“观看视频”、“搜索网络”、“做数学题”）。
连线（路线）： 连接站点的轨道显示了工作应按何种顺序执行。
启示： MANGO 不只是猜测路线。它查阅了正确的过往路线库，构建了一张只包含实际有效路径的地图。

2. 两步训练法（教练与编辑）

MANGO 通过两种截然不同的方法同时提升团队表现，就像教练和编辑协同工作一样：

教练（强化学习）： 教练观察团队尝试解决新谜题。如果团队选错了站点（例如，试图“搜索网络”而不是“观看视频”），教练会说：“不，那是错误的轨道！”并奖励它们选择正确的路径。随着时间的推移，团队学会了针对任何给定谜题的最佳路线。
编辑（文本梯度）： 有时路线是正确的，但站点上的机器人工作做得很粗糙（例如，“搜索网络”的机器人查错了人）。编辑不会解雇该机器人，而是给它提供具体的书面反馈：“你查错了车手；试着查找那个在 6:56 获胜的车手。”机器人会重写自己的指令（即其“提示词”）以修正这个特定错误。这就像作家根据批评意见修改自己的草稿。

3. “跳过”机制（快速通道）

该论文的一项重大创新在于节省时间和成本。

问题： 在传统训练中，你可能强迫每个机器人在执行每项任务时都重新阅读指令并重写它们，即使它已经完美胜任其工作。这就像让一位大师级厨师每次做饭时都重新阅读煮水的食谱。
解决方案： MANGO 拥有一个“跳过”按钮。如果系统发现某个机器人已经完美地完成了工作（基于过往数据），它就会跳过该机器人的编辑步骤。它让机器人直接开展工作，然后转向下一个。这使得整个过程更快、更经济。

他们发现了什么？

作者在七种不同类型的困难谜题（编程、数学、阅读理解等）上测试了 MANGO。

更好的结果： 与当前最佳方法相比，MANGO 解决这些谜题的效果显著提升（准确率最高提高了 12.8%）。
更快且更便宜： 得益于“跳过”机制，MANGO 在获得这些结果时，使用了 47.4% 更少的时间和计算资源。
适应性： 即使在他们从未见过的谜题上，或使用不同的底层“大脑”（不同的 AI 模型）进行测试时，MANGO 的表现依然出色。

总结

将 MANGO 想象成一个AI 团队的智能训练营。它不是强迫它们遵循僵化的剧本，而是为它们提供成功旅程的地图、指导路径的教练、修正措辞的编辑，以及一个“跳过”按钮，以避免在它们已经知道如何做的事情上浪费时间。其结果是一个更聪明、更快速、且更少犯下会破坏最终答案的错误的团队。

技术摘要：MANGO（多智能体网络梯度优化）

问题陈述

多智能体系统为扩展大语言模型（LLMs）提供了一种有前景的范式，通过将复杂任务分解为专门的子任务。然而，这些系统本质上容易受到错误传播的影响，即工作流设计或智能体执行中的不准确会降低最终结果。该论文指出了两个主要挑战：

工作流生成错误（C1）：任务序列规划错误（例如，选择网络搜索而非视频分析）会导致级联失败。现有方法通常依赖人工启发式或基于规则的设计，难以适应多样化的领域。
单智能体执行错误（C2）：即使工作流正确，单个智能体也可能产生幻觉或不准确的输出（例如，检索错误的日期）。当前用于缓解这些错误的文本梯度方法存在局限性：它们通常为长链条中的中间步骤提供微弱的监督信号（类似于梯度消失），并且通过所有智能体（包括那些已经优化良好的智能体）反向传播梯度会导致高延迟。

方法论：MANGO 框架

作者提出了MANGO（多智能体网络梯度优化），这是一个数据驱动框架，通过基于过去成功工作流构建的流网络来组织智能体协作。该框架利用强化学习（RL）和文本梯度（TG）联合优化工作流路径（边）和智能体行为（节点）。

1. 流网络构建

系统构建了一个有向图 $G = (V, E, s, t)$ ，其中：

节点（ $V$ ）：每个节点代表一个智能体（具有特定系统提示和角色描述的 LLM）。节点是通过将历史成功工作流中的相似操作进行聚类而形成的。
边（ $E$ ）：有向边表示操作之间的有效转换。
源（ $s$ ）和汇（ $t$ ）：网络包含一个接收输入任务的源节点，以及一个评估最终性能的汇节点。

2. 联合优化策略

MANGO 通过互补更新策略解决路径 $P$ 和节点参数 $\Theta_P$ 的联合优化问题：

边优化（强化学习）：
- 工作流生成被表述为寻找从 $s$ 到 $t$ 的路径。
- 一个规划智能体生成高层计划，一个策略网络（ $\pi_\phi$ ）根据当前状态（计划步骤与节点角色/经验之间的相似度）选择下一个执行节点。
- 策略通过 REINFORCE 进行优化，最大化结合过程导向正确性（匹配真实工作流结构）和结果导向性能（最终任务准确率）的奖励。
节点优化（文本梯度）：
- 一旦采样到一条路径，系统就会优化路径上节点的提示（ $P_i$ ）和角色描述（ $r^*_i$ ）。
- MANGO 在引入全局信号的同时引入了局部梯度信号。损失函数将最终任务损失与中间反馈相结合，以防止长链条中的梯度消失。
- 参数使用文本梯度下降进行更新，在不改变模型权重的情况下优化提示。
效率提升的跳过机制：
- 为了降低计算成本，MANGO 采用跳过策略。如果某个节点已经优化良好，智能体可以在优化过程中跳过它。
- 智能体可以从网络中最多 $K$ 个相邻节点中选择。被跳过的节点重用训练工作流中的真实中间步骤，避免了冗余的即时生成和提示更新。

主要贡献

新颖的流网络模型：论文引入了一种数据驱动的流网络模型，将多智能体协作表述为边（工作流路径）和节点（智能体输出）的联合优化，明确解决了错误传播问题。
MANGO 框架：一个统一系统，整合了用于路径选择的强化学习和用于提示优化的文本梯度。它独特地结合了局部梯度信号和跳过机制以提高效率。
实证验证：大量实验表明，MANGO 优于最先进（SOTA）的基线模型，同时显著降低了计算成本。

实验结果

实验在七个基准测试上进行：HumanEval、MBPP、MATH、GSM8K、DROP、MMLU 和 GPQA。

性能：MANGO 在 MATH 数据集上比最佳最先进基线（如 MaAS）实现了高达 12.8% 的提升。它在所有领域 consistently 优于单智能体和多智能体基线。
效率：该框架将训练时间减少了 41.5%，推理时间减少了 47.4%（与 MaAS 相比），这主要归功于跳过机制。它还实现了更低的 API 成本和 Token 使用量。
泛化能力：
- 跨模型：在 GPT-4o-mini 上训练的 MANGO 能有效泛化到未见过的骨干 LLM（Qwen-2.5-72B、Llama-3.1-70B），在零样本和少样本设置中均优于基线。
- 跨领域：该模型表现出强大的可迁移性，在一个领域（例如 MATH）上训练并在另一个领域（例如 GSM8K 或 HumanEval）上测试时表现良好。
消融研究：移除强化学习或文本梯度会显著降低性能，证实了联合优化的必要性。局部信号带来了 6.8% 的准确率提升，突显了它们在缓解错误传播中的作用。

意义与主张

论文主张，MANGO 代表了从基于启发式或基于规则的多智能体设计向数据驱动范式的转变，该范式从历史成功中学习协作模式。通过联合优化工作流结构和智能体提示，MANGO 有效缓解了工作流生成错误和执行错误的双重挑战。跳过机制的引入解决了多智能体系统中计算冗余的关键问题，为高效的智能体协作提供了可扩展的解决方案。作者指出，虽然该框架依赖于初始成功工作流的质量，但它表现出强大的自举能力，即使从较低质量的初始数据开始，也能逐步改进。