🤖 AI

TodyComm: Task-Oriented Dynamic Communication for Multi-Round LLM-based Multi-Agent System

本文介绍了 TodyComm，这是一种面向任务的动态通信算法，它通过策略梯度自适应地生成行为驱动拓扑，从而优化基于大语言模型的多轮多智能体协作，在动态对抗和带宽受限环境中超越固定结构方法，同时保持令牌的效率与可扩展性。

原作者： Wenzhe Fan, Tommaso Tognoli, Henry Peng Zou, Chunyu Miao, Yibo Wang, Xinhua Zhang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenzhe Fan, Tommaso Tognoli, Henry Peng Zou, Chunyu Miao, Yibo Wang, Xinhua Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群专家正试图共同解决一个复杂的难题。在一个理想的世界里，他们会彼此交流、分享想法，并整合各自的知识以找到最佳答案。这正是许多当前 AI 系统的工作方式：由多个“智能体”（AI 模型）组成的团队，经过多轮协作来解决问题。

然而，该论文指出，这些团队目前的运作方式存在一个重大缺陷。大多数系统采用固定的通信计划。这就像一场会议，无论发生什么情况，所有人都被迫坐在相同的座位上，与相同的人交谈。如果房间里有人开始提供错误建议（或暗中试图欺骗团队），固定的计划不会改变。团队继续听从这个捣乱者的意见，从而导致得出错误的答案。

该论文的作者提出了一种名为TodyComm（面向任务的动态通信）的新系统。请将 TodyComm 想象成不是一个僵化的会议日程，而是一个智能且不断变化的舞池。

核心理念：动态舞池

在传统系统中，“舞伴”（谁与谁交谈）在开始时决定一次，之后永不改变。

而在TodyComm中，舞伴每一轮都会根据谁跳得好、谁踩了脚而发生变化。

问题所在：有时，一个智能体（团队成员）可能会开始表现异常。也许他们累了、困惑了，甚至是一个试图误导团队的“破坏者”。在固定系统中，团队会持续听从他们的意见。
TodyComm 的解决方案：系统实时监测智能体的行为。如果智能体 A 开始给出令人困惑或错误的答案，TodyComm 会立即切断连接。智能体 A 不再被允许与团队其他成员交谈。与此同时，系统会加强那些给出良好、可靠答案的智能体之间的连接。

工作原理（幕后的“魔法”）

论文通过几个巧妙的技巧描述了这一过程：

“声誉分数”（节点潜力）：
想象每个智能体都有一个隐藏的“声誉分数”，在每一轮后更新。如果智能体给出好答案，分数上升；如果给出错误或误导性答案，分数下降。TodyComm 使用一种特殊的记忆网络（称为 GRN）来记录智能体的历史，从而判断某人是始终可靠，还是仅仅状态不佳。
“智能过滤器”（动态拓扑）：
系统不是让所有人随意交谈，而是为每一轮构建一张新的连接“地图”。它会问：“为了当前解决这个具体问题，谁应该与谁交谈？"
- 如果团队面临数学问题，它可能会将“数学专家”与“逻辑检查员”连接起来。
- 如果出现破坏者，系统会有效地将其置于“暂停”状态，切断其通信线路，使其无法毒害团队的思考。
在实践中学习（强化学习）：
系统并非凭空猜测该信任谁，而是通过学习来优化。它尝试不同的连接模式，观察哪些模式能导向正确答案。随着时间的推移，它变得非常擅长识别并隔离“坏苹果”，同时提升“好苹果”的作用。

为何重要：“破坏者”测试

研究人员在一个非常严峻的场景中测试了该系统：动态对抗环境。
想象一个由 6 个智能体组成的团队。在对话中途，其中 3 个突然决定充当“破坏者”。他们不仅给出错误答案，而且提供看似合理但旨在欺骗他人的错误答案。

旧系统：由于坚持固定计划，它们继续听从破坏者的意见。其准确率急剧下降（有时超过 50%）。
TodyComm：它察觉到行为的变化。它迅速重组团队，让破坏者保持沉默，并让可靠的智能体主导。即使有一半的团队试图欺骗它，TodyComm 依然能找到正确答案。

优势

效率：它不会浪费时间听取那些无益的意见。这节省了“令牌”（生成文本的计算成本），使系统运行更快、成本更低。
灵活性：无论团队规模大小，也无论问题是关于科学、数学还是通用知识，它都能发挥作用。
韧性：它能够应对“恶意行为者”改变策略或在不同时间出现的情况。

总结

TodyComm就像一位极具洞察力的团队队长。它不遵循僵化的剧本，而是逐轮观察团队的表现。如果有人开始搞砸或试图欺骗团队，队长会立即调整座位安排将其排除在外，并将团队的精力集中在那些做得对的成员身上。这使得团队即使在环境混乱或充满敌意的情况下，也能解决复杂的问题。

技术摘要：TodyComm

问题陈述

现有的基于多轮大语言模型（LLM）的多智能体系统（MAS）通常在推理阶段依赖固定的通信拓扑结构。虽然这些固定图在静态环境中表现有效，但在动态场景中，当智能体角色、可靠性或环境约束（如通信带宽）在交互轮次间发生变化时，这些固定图无法适应。具体而言，在动态对抗环境中，智能体可能在未知的轮次转变为对抗行为，产生看似合理但具有误导性的分析。固定拓扑无法实时隔离这些不可靠的智能体，导致性能显著下降。此外，现有的动态方法往往缺乏任务级反馈（效用），或在训练过程中需要不切实际的对抗标签。

方法论：TodyComm

作者提出了TodyComm（面向任务的动态通信），这是一个为多轮基于 LLM 的多智能体系统学习行为驱动、轮次自适应通信拓扑的框架。其核心方法论是将多智能体交互形式化为马尔可夫决策过程（MDP），并通过强化学习（RL）优化通信结构。

1. MDP 形式化

回合（Episodes）： 在 $T$ 个交互轮次中解决查询 $q$ 。
动作（Actions）： 轮次 $t \in [2, \dots, T]$ 的智能体间通信图序列 $G^t_C$ ，以及第 $T+1$ 轮的最终决策图 $G_D$ 。
状态（State）： 所有智能体的集体响应 $\{o^t_i\}$ 、查询 $q$ 以及历史上下文。
奖励（Reward）： 最终聚合答案的任务效用（例如准确率）。
目标（Objective）： 通过策略 $\pi_\theta$ 学习构建最优通信图，以最大化期望任务效用 $E[U_q(\tau)]$ 。

2. 动态边优化

TodyComm 学习基于智能体行为而非静态规则来选择边。

节点嵌入（Node Embeddings）： 门控循环网络（GRN）跨轮次聚合信息，捕捉时间依赖性、个体智能体行为及关系上下文。节点特征 $f^t_i$ 由自信息、邻域信息和差异信息（分歧指标）构建。
标量势（Scalar Potentials）： 模型不直接优化离散边，而是通过多层感知机（MLP）学习标量节点势 $c^t_i \in [0, 1]$ 。这些势代表了智能体在给定轮次的“通信潜力”。
约束图构建： 通信图的构建过程如下：
1. 筛选（Screening）： 过滤低势节点以缩小搜索空间。
2. 贪婪边选择（Greedy Edge Selection）： 基于高势节点势的乘积（ $c^t_i c^t_j$ $c_{i}^{t} c_{j}^{t}$ ）迭代添加边，同时满足以下约束：
  - DAG 约束： 图必须是有向无环图。
  - 度数预算（Degree Budgets）： 对入边（ $B_{in}$ ）和出边（ $B_{out}$ ）设置节点级限制，以控制 Token 使用量。
  - 边掩码（Edge Masks）： 对允许的连接施加预定义约束。

3. 理论保证

本文提供了学习到的图与最优图相比在效用损失（遗憾）上的理论界限。该遗憾由以下各项之和界定：

筛选遗憾（Screening Regret）： 在筛选阶段排除潜在有用节点所损失的效用。
估计损失（Estimation Loss）： 标量势估计中的误差。
边可加性损失（Edge-Additivity Loss）： 偏离任务效用在边上近似可加这一假设的偏差。

主要贡献

首个面向任务的动态拓扑： TodyComm 是首个在多轮基于 LLM 的多智能体系统中，学习由智能体行为和任务效用驱动的动态通信拓扑的框架，能够在训练和推理阶段自适应调整结构。
对动态对抗的鲁棒性： 该方法能有效处理智能体在未知轮次转变为对抗行为的场景，通过动态隔离它们来维持系统性能。
Token 效率与可扩展性： 通过执行度数预算并剪枝不可靠连接，TodyComm 在显著降低 Token 消耗的同时，实现了比固定拓扑基线更高的任务准确率。
泛化能力： 该框架在智能体数量变化、攻击机制（针对性与非针对性）、攻击爆发模式以及任务领域变化中均表现出强大的泛化能力。

实验结果

实验在五个基准测试（MMLU、ARC-Challenge、GSM8K、OpenBookQA、MedQA）上进行，涵盖了不同的攻击率（<50%、=50%、>50%）。

性能： TodyComm 始终优于基线方法（随机图、完全图、G-Designer、AgentPrune）。在高攻击率（>50%）下，其准确率显著更高（例如在 MMLU 上为 64.71% 对比 45.97%）。
Token 效率： TodyComm 在保持更高准确率的同时，其 Token 效率达到或超过了基于剪枝的方法（如 AgentPrune）。在预算约束下，其在 OpenBookQA 上将 Token 使用量减少了高达 27%。
稳定性： 该方法在不同随机种子下表现出低方差，并在训练过程中快速收敛，未出现过拟合。
可扩展性： 只要应用合理的度数预算，当智能体数量从 6 增加到 20 时，性能保持稳定。
泛化性： 当在较少的智能体、不同的数据集或不同的攻击机制上进行训练，并在不匹配的条件下进行评估时，该模型表现出良好的泛化能力。

意义与主张

本文主张 TodyComm 解决了多智能体研究中的一个关键缺口：现有系统无法使通信结构适应不断变化的智能体行为和动态约束。通过将拓扑选择框定为任务驱动的优化问题，TodyComm 使系统能够在现实、不可预测的协作环境中保持鲁棒性和效率。作者强调，他们的方法超越了静态或启发式的图设计，提供了一种原则性的、可学习的机制来协调 LLM 智能体，该机制既有理论依据，又在多样化的推理任务和对抗环境中经过实证验证。这项工作主要作为鲁棒高效多智能体协作的研究进展呈现，并建议未来工作将这些动态图能力扩展到非对抗性协作场景中。