💬 NLP

Latent Collaboration in Multi-Agent Systems

本文介绍了 LatentMAS，这是一个无需训练的框架，它使多智能体系统能够通过共享的隐藏嵌入直接在连续潜空间内进行协作，从而与传统的基于文本的方法相比，实现了更优越的推理性能、显著的 Token 减少以及更快的推理速度。

原作者： Jiaru Zou, Ruizhong Qiu, Gaotang Li, Xiyuan Yang, Katherine Tieu, Pan Lu, Ke Shen, Hanghang Tong, Yejin Choi, Jingrui He, James Zou, Mengdi Wang, Ling Yang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiaru Zou, Ruizhong Qiu, Gaotang Li, Xiyuan Yang, Katherine Tieu, Pan Lu, Ke Shen, Hanghang Tong, Yejin Choi, Jingrui He, James Zou, Mengdi Wang, Ling Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一支由天才专家组成的团队，正试图解开一个复杂的谜题。在人工智能的世界里，这些 AI 智能体（Agents）就是“大语言模型”（LLMs）。

旧方式：嘈杂的会议室
传统上，当这些 AI 智能体协作时，它们的沟通方式就像在嘈ار杂的会议室里的人一样。一个智能体产生想法，将其用纯英文写成文字（文本），然后将这张便条传给下一个智能体。下一个智能体必须阅读那篇长长的便条，思考，再写下一篇新的长便条，然后传递下去。

这个过程既缓慢又浪费。这就像是在拥挤的体育场里大声喊出秘密信息一样。你必须把每一个词（Token）都大声说出来，即使核心思想非常简单。这需要耗费大量的时间和能量（计算能力）。

新方式：LatentMAS（“心灵感应”团队）
这篇论文介绍了一种全新的 AI 智能体协作方式——LatentMAS。与其在房间里大声喊叫便条，这些智能体使用**“心灵感应”**进行交流。

以下是其工作原理的拆解，通过简单的概念来理解：

1. 用“秘密代码”思考（潜空间思维/Latent Thoughts）

与其写下完整的句子，如“答案是 42”，每个智能体会生成“潜空间思维”。

类比： 想象一位厨师通常会将食谱写在纸上交给下一位厨师。而在使用 LatentMAS 时，厨师直接将实际的食材和锅里的精确状态交给下一位厨师。下一位厨师不需要阅读关于汤的描述；他们可以直接从锅里“品尝”出汤的当前状态。
技术细节： 智能体跳过了将想法转化为文字的步骤。它们直接传递来自内部大脑（模型的隐藏层）的原始、高层级的“感觉”或“表征”。

2. “共享背包”（潜空间工作记忆/Latent Working Memory）

在旧方式中，如果智能体 A 想到了某些东西，它必须把所有内容都写下来，然后智能体 B 必须把这些内容全部读一遍才能理解。

类比： 想象一场接力赛。在旧方式中，跑步者必须停下来，写一封信，交给下一个跑步者，然后下一个跑步者必须读完信后才能继续跑。
新方式： 在 LatentMAS 中，跑步者们共享一个神奇的背包。当智能体 A 完成它的部分时，它并不写信。它只是将整个背包（其中包含了所有的上下文和新的想法）交给智能体 B。智能体 B 打开背包，瞬间就能明白智能体 A 所知道的一切，无需任何翻译或重读。这被称为“无损信息传输”，因为信息在传递过程中不会丢失。

3. 为什么它是游戏规则的改变者

论文声称这种方法是一次巨大的升级，原因有三：

更快（速度）： 因为智能体不再浪费时间编写和阅读数千个单词，它们完成任务的速度要快得多。论文指出，它们比基于文本的团队快了 4 到 7 倍。
更聪明（准确性）： 通过传递思想的“原始感觉”而非简化的文本摘要，智能体能更好地理解细微差别。论文显示，在处理困难的数学和科学问题时，它们的正确率更高（提升了高达 14%）。
更便宜（效率）： 编写文本需要消耗大量的计算能力。传递“原始思想”所需的计算量要少得多。研究发现，它们完成任务所使用的“Token”（AI 计算的数字货币）减少了 70% 到 83%。

“神奇胶水”（输入-输出对齐/Input-Output Alignment）

你可能会问：“如果它们不写单词，下一个智能体是如何理解这些原始数据的？”
研究人员开发了一种特殊的“翻译器”（一种数学上的微调），它就像一种**“神奇胶水”**。它确保当智能体 A 将其“原始思想”传递给智能体 B 时，智能体 B 的大脑能够立即将其识别为有效的输入，尽管它看起来与普通的单词不同。这一过程是自动完成的，无需重新训练 AI 模型。

总结

LatentMAS 就像是将 AI 智能体团队从一群在图书馆里传递手写便条的人，升级为一群共享同一个完美大脑的心灵感应者。它们解决问题的速度更快，犯错更少，且消耗的能量更低，而这一切都不需要学习任何新技能或进行重新训练。

论文在包括数学、科学、编程和常识在内的 9 项挑战中测试了该方法，结果显示，“心灵感应”团队始终优于“传递便条”的团队。

技术摘要：多智能体系统中的潜空间协作 (Latent Collaboration in Multi-Agent Systems)

1. 问题陈述

当前的基于大语言模型（LLM）的多智能体系统（MAS）依赖于基于文本的中介机制进行推理和通信。在这些系统中，智能体通过自然语言 Token 进行信息交换，这充当了一种“通用语言”。虽然这种方法很有效，但也引入了显著的低效性：

计算开销： 生成和解码文本 Token 的计算成本很高，导致高延迟和高 Token 使用量。
信息丢失： 将连续的内部表示转换为离散的 Token，再将其转换回来的过程，可能会导致信息丢失或产生“重编码”成本。
表达能力限制： 离散的 Token 可能无法捕捉模型连续内部思维过程的全部丰富性。

现有研究已经探索了针对单模型内部推理（例如，潜空间思维链/latent Chain-of-Thought）或有限信息交换（例如，两个模型之间的 KV Cache 共享）的潜层表示。然而，一个能够实现**纯潜空间协作（pure latent collaboration）**的全面框架——即推理和通信完全在连续的潜空间内进行，而不经过中间的文本解码——仍处于空白状态。

2. 方法论：LatentMAS

作者引入了 LatentMAS，这是一个端到端、**无需训练（training-free）**的框架，它使 LLM 智能体能够在纯连续潜空间内进行协作。该框架基于三个核心机制运行：

A. 自回归潜思维生成 (Auto-Regressive Latent Thoughts Generation)

智能体不再进行 Token 解码，而是通过自回归地生成最后一层隐藏层表示 ( $h_t$ ) 来执行推理。

过程： 给定输入嵌入（embeddings），智能体会计算最终的隐藏状态。该状态随后被视为下一步的输入，从而绕过了标准的 Softmax 和词表投影 ( $W_{out}$ )。
输入-输出对齐： 为了防止分布漂移（即生成的隐藏状态在统计上与学习到的 Token 嵌入不一致），作者提出了一个线性对齐算子。一个投影矩阵 $W_a$ （近似为 $W_{out}^\dagger W_{in}$ ）将输出的隐藏状态映射回有效的输入嵌入空间，然后再将其喂入下一步。该矩阵在每次运行中仅计算一次并重复使用。

B. 潜空间工作记忆传输 (Latent Working Memory Transfer)

为了在不使用文本的情况下促进智能体间的通信，LatentMAS 利用存储在键值（KV）缓存中的共享潜空间工作记忆。

机制： 当智能体 $A_1$ 完成其潜思维推理步骤时，其累积的 KV 缓存（包含初始输入上下文和新生成的潜思维）会被提取出来。
传输： 这些 KV 缓存被直接前置（prepend）到后续智能体 ( $A_2$ ) 的 KV 缓存中。这使得 $A_2$ 能够以 $A_1$ 完整的内部状态为条件进行生成，而无需将信息重新编码为文本。
保真度： 该机制确保了无损的信息传输，因为原始的连续表示被完整保留并直接传递。

C. 系统架构

该框架与特定的协作策略无关，并在两种标准的 MAS 设置下进行了评估：

顺序式 MAS (Sequential MAS)： 一个智能体链式流水线（规划器 $\to$ 评论家 $\to$ 精炼器 $\to$ 解题者），其中潜思维按顺序流动。
层级式 MAS (Hierarchical MAS)： 领域专门化的智能体（数学、科学、代码）独立进行推理，由一个总结器智能体聚合它们的潜空间工作记忆，以合成最终答案。

只有流水线中的最后一个智能体会将结果解码为文本；所有中间的推理和通信都保持在潜空间内。

3. 核心贡献

纯潜空间协作框架： LatentMAS 是第一个统一了跨多个智能体的潜推理和潜通信的框架，它完全在连续空间内运行，无需中间文本生成。
无需训练的设计： 该方法不需要微调或额外的训练数据。它利用现有的预训练模型，并使用简单的线性投影来对齐潜空间。
理论分析：
- 表达能力： 作者证明了潜思维表示信息的效率比基于文本的推理高出 $O(d_h / \log |V|)$ ，其中 $d_h$ 是隐藏层维度， $|V|$ 是词表大小。
- 信息保存： 他们证明了传输 KV 缓存可以保证等同于直接输入交换的信息保真度。
- 复杂度： 与具有同等表达能力的文本类 MAS 相比，LatentMAS 表现出更低的时间复杂度，避免了 Token 解码和重编码的开销。
实证验证： 在 9 个基准测试（数学、科学、常识、代码）和 5 种模型规模（Qwen3 和 Llama3 系列）上进行了全面的评估。

4. 结果

LatentMAS 在所有指标上均表现出优于单模型基线和基于文本的 MAS (TextMAS) 的一致性提升：

准确率：
- 比单模型基线平均高出 14.6%（顺序式）和 13.3%（层级式）。
- 比基于文本的 MAS 基线高出 2.8%（顺序式）和 4.6%（层级式）。
- 在特定任务上，比表现最好的文本类基线高出高达 14.6% 的准确率。
Token 效率：
- 与基于文本的 MAS 相比，减少了 70.8% 至 83.7% 的总输出 Token 使用量。
- 与单智能体相比，减少了 15.0% 至 60.3% 的 Token 使用量。
推理速度：
- 与基于文本的 MAS 相比，实现了 4.0 倍至 4.3 倍 的端到端推理加速。
- 根据任务和模型规模的不同，实现了 2.6 倍至 7.7 倍 的加速。
潜步分析 (Latent Step Analysis)： 性能在 40–80 个潜步 时达到顶峰，之后收益趋于平缓，这表明在推理深度与冗余之间存在一个最佳平衡点。

5. 重要性与主张

论文声称，LatentMAS 建立了一个可扩展且通用的范式，用于超越自然语言约束的智能体协作。其重要性在于：

效率-表达能力权衡： 它重塑了传统的权衡关系，在提供更高推理表达能力（更丰富的语义结构）的同时，大幅降低了计算开销。
无损通信： 通过避开离散的文本瓶颈，它确保了在传输过程中智能体的内部状态得以完美保留，这可能导致更稳健的多智能体推理。
实际部署： 作为一个无需训练的方法，它可以立即应用于现有的 LLM，以在不进行重训成本的情况下增强系统级智能。

作者总结道，从文本中介转向潜空间中介协作，是迈向在智能体 AI 时代实现高效、高容量系统级智能的关键一步。