💬 NLP

Beyond tokens: a unified framework for latent communication in LLM-based multi-agent systems

本文提出了一个统一的框架，从信息类型、对齐策略和融合机制三个维度对基于大语言模型的多智能体系统中新兴的隐性通信方法进行分类，旨在系统地整理文献、识别设计模式并指出未来研究的关键挑战。

原作者： Yingzhuo Liu

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yingzhuo Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个由专家级 AI 助手组成的团队正在通力合作解决一个复杂的谜题。目前，他们工作的标准方式就像一群人在互相传递纸条。一个人思考，写下一张纸条，传给下一个人，下一个人阅读，思考，写下新的纸条，然后传下去。

这篇论文认为，这种“传递纸条”的方法（使用自然语言）既低效又浪费。它提出了一种新的 AI 智能体交流方式：潜空间通信（Latent Communication）。与其写纸条，不如直接把它们原始、未经过滤的“思想”传递给对方。

以下是利用简单类比对该论文思想进行的拆解：

1. “传递纸条”的问题（自然语言）

当 AI 智能体使用普通文本进行交流时，会出现三个问题：

速度慢且昂贵： 每当一个智能体写下一张纸条时，它都必须将其复杂的内部思想转化为文字（Token）。下一个智能体则必须阅读这些文字，再将它们转化回思想。这就像是将一本书翻译成法语，交给对方，然后接收者为了理解剧情又得把它翻译回英语。这浪费了大量的计算资源。
信息丢失： AI 的内部“思想”是一部宏大的、高清晰度的 3D 电影。当它写下一张纸条时，必须将这部电影压缩成一句话（几个词）。这就像试图通过只说一句“声音很大”来描述一整场交响乐。接收者会错过发送者所考虑的所有微妙细节、概率和备选方案。
存在噪音： 人类语言充满了废话、礼貌用语和模糊的词汇。AI 智能体经常在说“我认为……”或“也许……”时浪费时间，而它们本可以直接发送原始数据。

2. 解决方案：“传递大脑”（潜空间通信）

与其写纸条，不如直接把一个包含其精确内部状态的 USB 驱动器交给接收者。

“USB 驱动器”（潜空间数据）： 这可以是 AI 起始时的原始数字（嵌入/Embeddings）、它在思考过程中产生的中间计算过程（隐藏状态/Hidden States），或者是它构建起来的“记忆库”（KV-Cache）。
优势： 接收者插上这个驱动器，就能瞬间“知道”发送者所知道的一切，无需阅读任何文字。它完全跳过了翻译步骤，节省了时间，保持了信息的完整性，并消除了噪音。

3. 构建这些系统的“三部分配方”

论文通过三个问题（轴线）将研究人员尝试实现此目标的各种方法进行了分类整理：

发送“什么”？（内容）
- 草稿： 仅发送基础输入（嵌入/Embeddings）。
- 草稿集： 发送中间思想（隐藏状态/Hidden States）。
- 完整档案： 发送整个计算记忆库（KV-Caches）。这包含的信息最多，但文件也最大。
哪一部分与哪一部分“连接”？（对齐）
- 交接： 是发送者的最终思想进入接收者的第一个思想？还是它们逐层匹配（就像将两台机器中特定的齿轮连接起来）？
如何“融合”？（融合方式）
- 粘贴： 将新数据粘在接收者当前思想的前面或后面。
- 混合： 通过数学方式将数字相加。
- 观察： 使用特殊的“注意力（Attention）”机制，让接收者能够专注于发送者数据中最重要的部分。

4. 论文的研究发现

作者研究了 2024 年至 2026 年间提出的 18 种不同方法，并发现了明显的规律：

“无需训练”趋势： 大多数方法可以立即投入使用，无需教导 AI 任何新知识。你可以直接将它们接入现有模型。
“记忆库”胜出： 发送完整“记忆库”（KV-Caches）的方法正变得越来越受欢迎，因为它们保留了最多的信息，并提供了巨大的速度提升（有时能让任务快 24 倍）。
权衡取舍： 发送更详细的数据（如完整的记忆库）虽然更快、更聪明，但要求发送和接收的 AI 在构建上非常相似。如果它们的构建方式不同，就很难在不进行额外训练的情况下将它们连接起来。

5. 重大挑战（下一步是什么？）

论文指出，这个领域还很年轻，面临着一些障碍：

“通用翻译官”问题： 要让一家公司构建的 AI 直接与另一家公司构建的 AI 对话而不经过翻译器，仍然很难。
安全性： 由于这些消息是不可见的数字而非文字，人类很难检查 AI 是否正在发送一条误导接收者的“中毒”消息。
边缘设备： 发送巨大的“记忆库”对于强大的计算机来说很棒，但对于电池和内存有限的手机或机器人等小型设备来说却很难实现。

总结

这篇论文为 AI 智能体交流的新方式绘制了一张地图。与其进行喋喋不休、缓慢且有损的文本信息传递，它们正朝着直接、高速的数据传输迈进。作者提供了一套统一的语言来描述这些新方法，帮助研究人员弄清楚构建更快、更聪明、更高效的 AI 团队的最佳路径。

技术摘要：超越 Token：基于 LLM 的多智能体系统中潜性通信（Latent Communication）的统一框架

1. 问题陈述

基于大语言模型（LLM）的多智能体系统（MAS）目前依赖**自然语言（NL）**作为主要的通信协议。尽管自然语言具有可解释性，但这种逐 Token 的交换存在三个结构性局限：

高推理成本： 每条消息都要求发送方将内部推理解码为 Token，并要求接收方重新编码这些 Token，这导致仅通信环节就产生了双倍的计算开销（ $O(L \cdot T \cdot d)$ ）。
信息丢失： 将高维隐藏状态（携带约 40,000 比特信息）离散化为单个 Token（受限于 $\log_2 V \approx 15$ 比特）会丢弃校准后的置信度、替代推理路径以及细粒度的语义区别。
冗余与歧义： 自然语言针对流畅性而非信息密度进行了优化，导致了来自礼貌用语、模棱两可的表达以及模糊指代的额外开销。

**潜性通信（Latent Communication）**提出了一种替代方案，即智能体直接交换连续的内部表示（嵌入、隐藏状态或 KV-cache），绕过语言瓶颈以保留信息并降低延迟，尽管这以牺牲人类可解释性为代价。

2. 方法论：一个统一的三轴框架

本文引入了一个统一框架来组织快速发展的潜性通信文献。它将任何潜性通信协议分解为三个正交轴：

轴 1：WHAT（通信信息的类型）

该轴定义了发送方暴露的连续量：

嵌入（Embeddings）： 输入层向量（例如 CIPHER）。信息量最少，但架构开销较轻。
隐藏状态（Hidden States）： 中间层输出（例如 AC, Interlat, SDE）。编码中间推理过程，但缺乏完整的上下文注意力键（Keys）。
KV-Cache： 注意力机制中的键值对（Key-Value pairs）（例如 KVComm, Cache-to-Cache）。信息量最大，允许接收方“恢复”发送方的上下文，但传输成本和架构依赖性最高。
其他： 状态增量（State deltas）、持久化记忆或视觉潜变量注入（例如 Vision Wormhole）。

轴 2：WHICH（发送方与接收方的对齐方式）

该轴定义了发送方的潜空间如何映射到接收方的潜空间：

潜信息对齐（Latent Information Alignment）： 范围从相同空间（相同模型）到学习到的投影头（同质骨干网络）或通用编解码器（异构架构）。
层对齐（Layer Alignment）：
- 末层 $\to$ 首层（Last $\to$ First）： 发送方的最后一层映射到接收方的第一层。
- 全对等层（All $\to$ Corresponding）： 发送方的第 $\ell$ 层映射到接收方的第 $\ell$ 层（常见于 KV-cache 方法）。
- 选定层对齐（Selected $\to$ Selected）：* 基于启发式或学习的选择特定层。

轴 3：HOW（信息融合策略）

该轴定义了接收到的潜变量如何集成到接收方的计算中：

拼接（Concatenation）： 将潜变量附加到 Prompt 或隐藏状态之后。
前置（Prepending）： 将潜变量（尤其是 KV-cache）插入到接收方序列的开头。
数学运算（Mathematical Operations）： 逐元素相加或学习到的线性投影（例如添加状态增量）。
交叉注意力（Cross-Attention）： 接收方对一组同伴的潜变量进行注意力计算。
缓存恢复（Cache Restoration）： 直接替换或移植接收方 KV-cache 的部分内容，以避免重复计算。

3. 核心贡献

本文做出了四个主要贡献：

统一框架： 提出了 WHAT/WHICH/HOW 的分解法，为归类和比较潜性通信方法提供了一套共享词汇。
系统性分类： 分析了 2024 年至 2026 年间发表的 18 种代表性方法，将其映射到该框架中，并识别出五种可推广的设计模式（例如，信息丰富度与传输成本之间的权衡）。
实证综合： 总结了报告的结果，强调潜性方法相比于自然语言通信（NL-Comm），一致地降低了 2–24 倍 的延迟并减少了 3–4 倍 的 Token 使用量，且准确率通常与基准模型持平或更优。
开放挑战： 确定了六个关键的开放问题：
- 跨架构对齐（Cross-Architecture Alignment）： 在不依赖重度训练的情况下，超越对相同模型的假设。
- 安全性（Security）： 应对潜性通道在对抗性扰动下的不透明性。
- 压缩（Compression）： 开发更好的量化和压缩技术以实现边缘侧部署。
- 理论理解（Theoretical Understanding）： 建立关于加速比和信息传输的信息论界限。
- 潜性思维链统一（Latent CoT Unification）： 弥合智能体内潜性推理与智能体间潜性通信之间的鸿沟。
- 实际部署（Real-World Deployment）： 适应边缘侧约束（电池、内存、带宽）。

4. 结果与发现

本文综合了对 18 种方法的调研结果：

延迟： 潜性通信提供了显著的加速，其中 Interlat 在长上下文任务上报告了高达 24 倍 的加速，而 Agent Memory 通过磁盘持久化 KV-cache 实现了 136 倍 的 TTFT（首 Token 延迟）加速。
准确率： 如 SDE（状态增量轨迹）和 Mixture of Thoughts (MoT) 等方法，在复杂推理和分布外（OOD）基准测试中报告了最先进的性能提升。
训练范式： 一个显著的趋势是**无需训练（training-free）**方法的占主导地位（例如 CIPHER, KVComm, RelayCaching），它们依赖于架构对齐而非学习适配器。训练主要用于异构对齐或复杂的融合函数。
KV-Cache 的主导地位： 尽管传输成本较高，但基于 KV-cache 的方法正成为高保真通信的默认选择，因为它们能够完整保留发送方的上下文。

5. 意义与主张

本文声称其意义在于通过为碎片化的领域提供结构化分类法，降低了研究门槛。作者认为，该领域正在从随机的实现转向系统的设计空间。

作者并不主张潜性通信是自然语言的普遍替代品。相反，他们提出了一个混合观点：自然语言在人类监督、调试和安全审计方面仍然具有优势；而潜性通信则更适用于耦合紧密的、智能体之间中间信号的传递，即在延迟和信息密度至关重要的场景下。

文章最后指出，在解决上述开放问题（特别是跨架构对齐和安全性）的驱动下，未来 12 到 18 个月可能会涌现出新的方法、基准测试和理论理解。