💻 computer science

QueenBee Planner: Skill-Evolving Communication Topologies for Token-Efficient LLM Multi-Agent Systems

QueenBee Planner 框架通过将智能体间通信拓扑视为一种自我改进的设计技能，增强了具有令牌效率的 LLM 多智能体系统，其中一个可学习的规划器能够生成最优的消息传递结构，这些结构在准确性和成本方面显著优于固定或冷启动基准，并将执行轨迹提炼为稳健且具有抗证伪性的设计规则。

原作者： Congjia Tian, Yuhang Yao, Jiaming Cui

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Congjia Tian, Yuhang Yao, Jiaming Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一支由 8 位才华横溢但彼此孤立的专家（即“工人”）组成的团队。每位专家都掌握着一个巨大拼图的一小块碎片（即数据的“碎片”），但谁也无法看到全貌。他们的任务是找出最终答案，但他们只能通过彼此交流来实现。

这个论文提出的核心问题是：这些专家应该如何进行交流？

他们应该是所有人同时大声喊叫？还是组成一个圆圈？或者是像传纸条一样排成一列传递信息？或者应该形成一个特定的层级结构，由某些人收集笔记并向上传递？

在大多数计算机系统中，工程师们会选择一种连接方式（一种“固定拓扑结构”）并沿用下去。这篇论文介绍了一个名为 QueenBee Planner 的系统，它不仅仅是选择一种连接风格，它还能学习如何为任务设计最佳的对话流，并在每次尝试中变得更加聪明。

以下是其工作原理的拆解，通过简单的概念来理解：

1. “建筑师”与“工人”

将该系统视为有两个截然不同的角色：

工人： 这些是进行实际数学运算或推理的专家。在这个系统中，他们是冻结的。他们不会学习任何新知识；他们只是按照原有的方式精准地完成工作。
QueenBee Planner： 这是“建筑师”。它不进行数学运算。它的唯一工作是绘制一张地图（一个“通信有向无环图/DAG”），上面写着：“在第一轮中，专家 A 向专家 B 发送一条笔记。在第二轮中，专家 B 将这条笔记与自己的笔记合并，然后发送给专家 C。”

神奇之处在于，建筑师是在学习的。它尝试不同的地图，观察哪些地图能以最少的交流次数获得正确的答案，并为下次使用记住这些好的方案。

2. “技能库”（建筑师的笔记本）

建筑师并不是靠瞎猜，它保留了一个名为“设计技能”的笔记本。这些不是针对特定谜题的答案，而是关于如何连接人的规则。

保留 (Preserve)： “嘿，上次这种传递笔记的方式效果非常好。让我们继续这样做。”
修改 (Modify)： “这种传递模式曾经奏效，但我们现在的谜题略有不同。让我们稍微调整一下。”
规避 (Avoid)： “上次我们尝试这种特定的模式时，大家都乱套了，答案也是错的。永远不要再那样做了。”

3. “安全门”（防止坏习惯）

论文非常谨慎地处理建筑师的学习过程。它知道有时你会得到一个幸运的猜测或偶然的成功。如果建筑师仅仅记住了每一次幸运的胜利，它就会开始做出错误的决策。

因此，系统在将任何内容写入笔记本之前，都设有严格的“安全门”：

“留出测试” (The "Held-Out" Test)： 建筑师不能只说，“我在练习测试中表现很好，所以我很聪明。”它必须证明自己能在它从未见过的新测试中表现出色。
“运气检查” (The "Lucky Run" Check)： 如果一个设计仅仅是因为运气好才成功了一次，系统会忽略它。它需要看到该设计能够持续稳定地发挥作用，才会将其添加到笔记本中。
“证伪检查” (The "Falsification" Check)： 如果建筑师提出了一个关于为什么某个设计有效的精妙解释，系统会试图证明这个解释是错误的。如果这个解释无法通过测试，那么该设计就不会被加入。

4. 结果：更聪明的地图，更少的噪音

研究人员在两类任务上测试了该系统：

计数频率 (Counting Frequency, CF)： 一个团队必须计算一个巨型列表中数字出现次数的任务。
孤岛任务 (Silo Tasks)： 一个信息隐藏在不同“孤岛”中的任务，团队必须通过协作来找到全局答案。

发生了什么？

固定拓扑结构 (Fixed Topologies)： 当团队使用预设的连接风格（如标准的树状或圆圈结构）时，他们会犯错，并且消耗大量的“Token”（即计算机能量/金钱）。
冷生成 (Cold Generation)： 当建筑师在没有任何记忆的情况下从零开始绘制地图时，它的表现是不稳定的，且经常出错。
QueenBee (自我进化型)： 在经过几轮学习后，建筑师开始绘制混合地图。这些地图通常比固定拓扑结构更简单、更直接。
- 在计数任务中，相比于表现最好的固定方法，QueenBee 系统减少了 37% 的错误，并将成本（消息和计算机调用）降低了一半以上。
- 在“孤岛”任务中，该系统学会了比即使是“完美”的固定地图更好的协作方式。

核心总结

论文认为，架构（智能体如何连接）与智能体本身的智能同样重要。

通过将“如何连接智能体”视为一种可学习的技能而非一个固定的设置，该系统学会了随着时间的推移构建更好的通信网络。它不仅仅是在记忆答案；它在学习解决问题的蓝图。工人们保持不变，但他们彼此交流的方式不断进化，变得更快、更便宜、更准确。

技术摘要：QueenBee Planner

问题陈述

大语言模型（LLM）多智能体系统的设计范式已从优化单个智能体的推理（如提示词、思维链）转向优化相互作用的智能体组织结构。虽然近期的研究已经确立了通信拓扑是决定系统准确性、成本和鲁棒性的首要因素，但现有方法存在一个关键局限：它们通常为特定任务设计一种拓扑结构，然后便停止了。它们未能跨任务积累可复用的关于通信结构的设计知识。此外，当前的方法往往将任务求解行为与架构设计混为一谈，或者在优化路由时没有存储显式的拓扑经验。

本文解决的核心挑战是如何防止自我改进的设计循环将噪声（幸运的运行结果、看似合理但错误的解释）转化为策略。一个值得信赖的自我进化架构师需要明确的纪律，以确保通信结构的改进是真实的、可复现的，并且有别于底层工作智能体的能力。

方法论

本文引入了 QueenBee Planner，该框架将智能体间的通信拓扑视为一种可检索、可自我改进的设计技能。该系统在严格的关注点分离下运行：

1. 规划者-工作者分离 (Planner-Worker Separation)

冻结的工作者 (Frozen Workers)： 在整个学习过程中，一组工作智能体、一个任务适配器和一个评分函数保持固定。工作者仅观察任务的私有分片，并根据接收到的消息更新其信念状态。
生成式规划者 (Generative Planner)： 一个外部 LLM 充当架构师。其唯一的学习目标是生成时序通信有向无环图 (Temporal Communication DAGs)。这些 DAG 指定了谁在哪个轮次向谁发送信息、谁合并消息以及谁输出最终答案。

2. 时序通信 DAG

规划者生成一个展开时间的图 $G = (N, T, E, h, I, R)$ ，其中：

$N$ 是工作者的数量。
$T$ 是通信轮数。
$E$ 代表有向时序边（消息流）。
$h$ 是最终答案持有者。
图受限于轮数 ( $T_{max}$ )、总边数 ( $M$ ) 和最大入度 ( $\beta$ ) 的可行性限制，以控制 Token 成本和合并复杂度。

3. 技能库与设计规则 (Skill Bank and Design Rules)

规划者的记忆是一个包含证据支持的设计规则的技能库 (Skill Bank)。每个技能 $s = (z, r, a, q, E)$ 由以下部分组成：

条件 ( $z$ )： 任务特征（例如：智能体数量、预算）。
规则 ( $r$ )： 结构模式（例如：“阶段性缩减”、“审计边”）。
动作 ( $a$ )： 包含三种动作之一：
- 保留 (Preserve)： 将该结构作为可执行的脚手架保留。
- 修改 (Modify)： 针对略微不同的任务条件调整核心结构。
- 规避 (Avoid)： 由于过去的失败，将该结构视为负面约束。
证据 ( $E$ )： 支持性数据和反例。

4. 严谨的自我进化循环 (Disciplined Self-Evolution Loop)

为了防止漂移和过拟合，系统在更新技能库之前采用了几种严格的机制：

模体级信用分配 (Motif-Level Credit Assignment)： 系统不是将信用分配给整个图，而是将图分解为结构模体（例如：入度限制、缩减深度）。信用被分配给这些模体，并带有方差感知惩罚，以防止偶然的单次成功主导策略。
留出集验收门控 (Held-Out Acceptance Gate)： 只有当更新 ( $\Delta S$ ) 在留出任务和种子上表现出明显的性能提升时，才会被准入到长期技能库中，而不仅仅是在训练数据上。
方差感知信用 (Variance-Aware Credit)： 规则要求具备最小样本计数和保守的损失估计，以确保稳定性。
洞察证伪 (Insight Falsification)： 规划者提出的自然语言洞察被视为假设，必须在留出证据上通过证伪检查后才能成为技能。
转移信任 (Transfer Trust)： 技能不会自动应用于所有任务；只有在存在直接或间接的成功证据针对特定任务槽位时，才会部署。
结构去重 (Structural Deduplication)： 合并同构的图规范，以防止技能库随执行轮数线性增长。

核心贡献

将拓扑重构为技能： 本文将多智能体通信拓扑重新定义为一种可检索、可自我改进的设计技能，实现了“架构师”（规划者）与“工作者”的分离。学习的对象是通信设计知识，而非任务求解行为。
引入严谨的自我改进机制： 提出了一个基于技能库生成时序 DAG 的综合框架，具有留出集门控、模体级归因、方差感知信用和洞察证伪等机制，以确保可靠的进化。
关于架构学习的实证主张： 作者证明，在这些纪律约束下，即使工作者池保持冻结，规划者也能提高其生成的通信结构在留出任务上的表现，这证明了系统学习的是设计组织而非仅仅是记忆答案。

实验结果

该方法在两类任务族上进行了评估：计数-频率 (Count-Frequency, CF) 聚合任务和 Silo-Bench 风格的分布式协调任务。

计数-频率 (CF) 任务：
- 在 DeepSeek-V4-Flash 全测试设置下，自我进化的最佳历史图（一种混合缩减-审计结构）将 RMSE 从 12.53（最强固定拓扑）降低至 7.87。
- 这种提升伴随着显著的效率增益：与最佳固定拓扑相比，消息量减少了 74.2%，模型调用减少了 54.5%，Token 成本减少了 59.6%。
- 这种改进在各种工作模型（DeepSeek, Qwen, GPT-4o, MiMo）中均保持一致，RMSE 降幅在 14% 到 56% 之间。
Silo-Bench 风格的任务：
- 自我进化图生成达到了 0.539 的精确匹配 (EM)（经过 3 轮后），优于冷启动生成 (0.125)、最佳单一定型拓扑 (0.333)，甚至优于单例最优 (per-case oracle) 固定拓扑 (0.417)。
- 这表明系统学习的是细粒度的、任务相关的结构，而非仅仅从固定集合中进行选择。
进化轨迹：
- 逐轮分析显示，虽然探索过程会引入噪声（RMSE 波动），但保留的“最佳历史”存档持续改善，证明了系统随时间推移在积累可复用的设计知识（例如：阶段性缩减、汇聚覆盖）。

意义与主张

本文主张，多智能体系统的架构不仅仅是一个实现细节，而是一个明确的学习对象。QueenBee Planner 证明了多智能体系统可以学习可复用的架构设计知识（何时保留、修改或规避通信模式），而不仅仅是记忆任务答案。

作者对研究范围保持谦逊，指出目前的结论是基于特定的任务族（CF 和 Silo 风格）以及有限的进化轮数。他们认为，系统并非在寻找单一的普适最优拓扑，而是在积累可迁移的先验知识。其主要贡献在于验证了：通过严谨的、基于证据的反思，一个冻结工作者的系统可以仅通过进化其通信设计策略来提升性能。