💻 computer science

GraphPlanner: Graph Memory-Augmented Agentic Routing for Multi-Agent LLMs

本文提出了 GraphPlanner，一种基于异构图记忆增强的多智能体 LLM 路由框架，它通过将工作流生成建模为马尔可夫决策过程并利用强化学习优化，在显著提升任务准确率的同时大幅降低了计算成本，并展现出强大的泛化与自适应路由能力。

原作者： Tao Feng, Haozhen Zhang, Zijie Lei, Peixuan Han, Jiaxuan You

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Tao Feng, Haozhen Zhang, Zijie Lei, Peixuan Han, Jiaxuan You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 GraphPlanner 的新系统，它就像是一个超级智能的“任务调度员”或“项目经理”，专门负责指挥一群不同能力的 AI 助手（大语言模型）来共同完成复杂的任务。

为了让你更容易理解，我们可以把使用 AI 解决复杂问题想象成经营一家大型餐厅，而 GraphPlanner 就是这家餐厅的总厨兼经理。

1. 以前的做法 vs. GraphPlanner 的做法

以前的做法（单轮或简单多轮路由）：
想象一下，以前餐厅接到一个复杂的订单（比如“做一道需要多步骤的创意菜”），经理（路由器）只会看一眼菜单，然后直接指派给一位厨师（比如只选一位最贵的厨师，或者只选一位最便宜的厨师）去从头到尾做完。

缺点： 如果任务太难，这位厨师可能搞不定；如果任务太简单，请这位大厨又太浪费钱。而且，如果任务需要切菜、炒菜、摆盘三个步骤，一位厨师很难同时完美完成所有环节。

GraphPlanner 的做法（多智能体协作路由）：
GraphPlanner 把这个问题看作是一个动态的团队协作过程。它不再只是选“谁来做”，而是决定“谁在什么时候做什么”。

角色分工： 它把 AI 助手分成了三种角色：
- 策划师 (Planner)： 像主厨，负责把大任务拆解成小步骤（比如先切菜，再炒，最后摆盘）。
- 执行者 (Executor)： 像具体的厨师，负责干具体的活（切菜、炒菜）。
- 总结者 (Summarizer)： 像品控经理，负责把大家做的半成品汇总，整理成最终的完美菜品。
灵活调度： 面对不同的订单，GraphPlanner 会灵活决定：是需要先拆解任务？还是直接让执行者做？最后谁来总结？它会根据任务的难度，动态组合这些角色。

2. 它的核心秘密武器：GARNet（记忆图书馆）

GraphPlanner 最厉害的地方在于它有一个**“记忆图书馆”**（论文中称为 GARNet，一种异构图记忆网络）。

以前的系统： 每次接单都是“失忆”状态，不管以前做过什么，每次都重新思考，容易犯同样的错误，或者不知道哪种搭配最省钱。
GraphPlanner： 它记得所有的历史。
- 它记得：上次那个复杂的数学题，是用“小模型做计算 + 大模型做总结”搞定的，而且很省钱。
- 它记得：上次那个代码任务，如果只让一个模型做，会出错；但让两个模型互相检查就对了。
- 比喻： 就像一位经验丰富的老经理，他脑子里有一本厚厚的“成功案例集”和“失败教训录”。当新订单进来时，他不仅能看当下的需求，还能翻阅过去的记录，知道“哦，这种类型的任务，上次用 A 厨师和 B 厨师搭配效果最好”。

3. 它是怎么学习的？（强化学习）

GraphPlanner 不是被人类手把手教出来的，而是通过**“试错”和“奖励”**自己学会的（论文中称为强化学习，PPO 算法）。

过程： 它一开始可能会乱指挥，比如让最贵的厨师去切菜（浪费钱），或者让最笨的厨师去解复杂的数学题（做错了）。
奖励机制：
- 如果它指挥得当，任务做对了，而且花的钱（GPU 成本）少，它就得到奖励。
- 如果它指挥失误，或者花了冤枉钱，它就受到惩罚。
结果： 经过成千上万次的“模拟经营”，它学会了如何用最少的钱、最快的速度，调配最合适的 AI 组合来完成任务。

4. 它取得了什么成绩？

论文通过 14 种不同类型的任务（如数学题、写代码、常识问答等）测试了 GraphPlanner，发现：

更准、更省： 它的准确率比以前的方法提高了最多 9.3%，同时把计算成本（可以理解为“电费”或“服务器租金”）从 186.26 GiB 降到了 1.04 GiB。
- 比喻： 以前做一道大餐要烧掉 186 度电，现在只要 1 度电，而且菜做得更好吃。
举一反三（泛化能力）： 即使遇到它以前从未见过的任务类型，或者从未用过的 AI 模型，它也能表现得很好，不需要重新训练。
- 比喻： 即使餐厅换了新厨师，或者来了个从来没点过的奇怪订单，这位经理也能立刻上手，安排得井井有条。
灵活的记忆模式： 它有两种模式：
- 快速模式（归纳式）： 不查历史档案，直接凭经验做决定，速度最快。
- 深思熟虑模式（直推式）： 把历史档案全翻一遍，结合具体情况做决定，效果最好但稍微慢一点。用户可以根据需要选择。

总结

简单来说，GraphPlanner 就是一个懂历史、会算账、能灵活排班的超级 AI 经理。它不再让 AI 单打独斗，而是通过把任务拆解、分配给不同能力的 AI 助手，并参考过去的成功经验，实现了**“花小钱，办大事”**的效果。它让复杂的 AI 协作变得像一支训练有素的乐队，每个人都在最合适的时间演奏最合适的乐器。

1. 研究背景与问题 (Problem)

背景：
大型语言模型（LLM）路由（Routing）技术旨在通过结合不同模型的优势，在效率与性能之间取得平衡。现有的路由方法主要分为两类：

单轮路由 (Single-round)： 基于查询嵌入或分类器一次性分配模型。虽然高效，但缺乏多步推理、任务分解和跨模型协调能力，难以处理复杂任务。
多轮路由 (Multi-round)： 通过多次调用模型并累积上下文来增强灵活性。然而，它们通常将每次调用视为独立事件，缺乏对智能体（Agent）角色（如规划者、执行者、总结者）的显式建模，导致调用冗余、上下文冲突以及无法充分利用不同模型的互补优势。

核心问题：
随着智能体 LLM (Agentic LLM) 的兴起，任务规划、多轮协作和记忆利用变得至关重要。现有的路由方法无法适应这种动态、异构的智能体环境。主要挑战包括：

异构依赖关系复杂： 查询、响应和候选模型之间的关系在智能体工作流中高度动态且复杂，需要路由器能够捕捉并推理这些依赖。
延迟奖励 (Deferred Rewards)： 早期的路由决策对最终结果有长远影响，传统的即时反馈机制难以解决这种信用分配问题。
历史记忆利用不足： 现有的路由系统很少系统性地利用丰富的历史智能体工作流记忆（如成功的协作模式、错误模式），导致无法进行自适应的路由优化。

目标：
如何将路由扩展至智能体 LLM 设置，使其不仅能选择模型，还能动态决定智能体角色（规划、执行、总结），并利用历史记忆生成最优的工作流。

2. 方法论 (Methodology)

作者提出了 GraphPlanner，一种基于异构图记忆增强的智能体路由器。其核心是将路由工作流生成建模为马尔可夫决策过程 (MDP)，并利用强化学习进行优化。

2.1 核心框架：MDP 建模

GraphPlanner 将路由过程形式化为 MDP $(S, A, T, r, \gamma)$ ：

状态 (State, $S$ )： 当前待解决的查询 $q_t$ 。
动作 (Action, $A$ )： 在每个步骤 $t$ $t$ ，路由器需同时决定：
1. LLM 骨干模型 ( $m_t$ )： 从候选模型池中选择。
2. 智能体角色 ( $\alpha_t$ )： 选择角色（Planner 规划者、Executor 执行者、Summarizer 总结者）。
- 动作空间大小为 $3 \times K$ （3 种角色 $\times$ K 个模型）。
- 引入动态掩码机制，确保语义有效性（例如：第一步不能选总结者，最后一步必须是执行者，规划者调用次数受限）。
转移 (Transition, $T$ )： 根据动作生成子查询、响应或摘要，并更新工作流状态。
奖励 (Reward, $r$ )： 平衡任务效用（如准确率）与计算成本（Token 消耗）。
$r_t = U(\hat{y}, y^*) - \alpha C(a_t)$
其中 $\alpha$ 是成本 - 效用权衡系数。

2.2 核心组件：GARNet (异构图记忆网络)

为了捕捉复杂的交互记忆，GraphPlanner 引入了 GARNet，这是一个异构图神经网络，包含两个子图：

工作流记忆图 ( $G_{workflow}$ )： 记录当前查询的实时交互（当前查询、响应、角色节点）。
历史记忆图 ( $G_{history}$ )： 记录过去所有查询的交互轨迹。

图结构设计：

节点类型： 查询节点、响应节点、角色枢纽节点 (Role Hub Nodes)。
关键创新 - 共享角色枢纽： 所有查询和响应节点（无论当前轮次还是历史）都连接到固定的 $(LLM, \text{Role})$ $(LL M, Role)$ 枢纽节点。
- 枢纽节点编码了特定角色在特定模型上的历史表现（效用和成本）。
- 这种设计使得 GARNet 能够自然地整合多轮上下文，无需显式的时间边，通过共享邻居传递信息。
消息传递： 采用双层编码机制：
1. 先编码历史图，提取角色枢纽的更新嵌入。
2. 将历史嵌入注入工作流图编码器，生成融合局部上下文和历史经验的表示。

2.3 训练与推理

训练算法： 使用 近端策略优化 (PPO) 进行端到端强化学习，联合优化最终答案的准确性和计算成本。
推理模式：
- 归纳式 (Inductive)： 仅基于当前查询生成决策，轻量级，无额外存储开销。
- 直推式 (Transductive)： 在推理时利用训练阶段保留的历史交互，提供更丰富的上下文，性能更强但成本略高。

3. 主要贡献 (Key Contributions)

范式转变： 首次将 LLM 路由从单纯的“模型选择”扩展为“智能体工作流生成”，同时决策模型和角色（规划、执行、总结）。
异构图记忆机制 (GARNet)： 提出了一种新颖的异构图结构，通过共享的角色枢纽节点，高效地整合了历史交互记忆和当前工作流状态，解决了复杂依赖关系建模和延迟奖励问题。
强化学习优化： 设计了基于 PPO 的端到端训练框架，能够自动学习在准确性与计算成本之间的最佳权衡策略。
双重推理能力： 支持归纳式（高效）和直推式（高性能）两种推理模式，适应不同场景需求。

4. 实验结果 (Results)

作者在 14 个任务、6 个领域（包括数学、代码、常识推理、世界知识等）上进行了广泛评估。

4.1 性能对比

Phase 1 (优化现有工作流)： GraphPlanner 在 5 个场景中的 4 个达到 SOTA，平均准确率提升 +3.8%。
Phase 2 (生成最优工作流)： GraphPlanner 在 5 个场景中的 4 个达到 SOTA，平均准确率提升 +9.3%（相比最强基线）。
- 在数学和代码等需要多步推理的任务上，提升尤为显著（+5.0% 和 +4.0%）。
成本效率： 相比基线，GPU 计算成本从 186.26 GiB 降低至 1.04 GiB，Token 消耗也大幅减少。GraphPlanner 始终位于 Pareto 前沿，即在相同成本下获得更高准确率，或在相同准确率下成本更低。

4.2 泛化能力 (Zero-Shot)

未见任务： 在 LogicGrid, MGSM, CommonGen 等未见数据集上，GraphPlanner 平均准确率达到 78%，显著优于单轮路由 (46-58%) 和多轮路由 (38%)。
未见模型： 在训练未使用的 LLM（如 Mistral-Nemo, Mixtral 等）上，GraphPlanner 表现出极强的零样本适应能力，无需微调即可保持高性能。

4.3 消融实验

历史记忆： 移除历史记忆 (w/o History) 导致性能大幅下降，证明历史交互信号至关重要。
图结构： 异构图 (Hetero-Graph) 优于同构图 (Homo-Graph)，证明区分角色类型的必要性。
推理模式： 直推式模式性能略优于归纳式，但归纳式模式在保持竞争力的同时更轻量。

5. 意义与展望 (Significance)

理论意义： 证明了将路由问题建模为基于图记忆的 MDP 是解决复杂智能体协作任务的有效途径。它揭示了利用历史记忆和异构图结构来指导动态工作流生成的潜力。
实际应用： GraphPlanner 提供了一种低成本、高效率的解决方案，能够自动为不同难度的任务构建定制化的多智能体工作流。这对于资源受限的部署环境（如边缘计算）以及需要高可靠性的复杂推理场景（如医疗、法律、科学推理）具有重要价值。
未来方向： 论文计划引入更丰富的智能体角色（如思考者 Thinker、验证者 Verifier），并进一步探索在更大规模异构智能体系统中的可扩展性。

总结： GraphPlanner 通过引入异构图记忆和强化学习，成功解决了多智能体 LLM 路由中的动态规划、记忆利用和成本优化难题，为构建高效、自适应的下一代智能体系统奠定了坚实基础。