⚡ electrical engineering

Large Language Models over Networks: Collaborative Intelligence under Resource Constraints

本文提出了一种协同智能范式，其中分布于设备端与云端的多款大语言模型通过垂直与水平协同合作，在多样化的资源约束下提供高质量响应，同时探讨训练策略与开放的研究挑战。

原作者： Liangqi Yuan, Wenzhi Fang, Shiqiang Wang, H. Vincent Poor, Christopher G. Brinton

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Liangqi Yuan, Wenzhi Fang, Shiqiang Wang, H. Vincent Poor, Christopher G. Brinton

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一支工人团队正在尝试解决一个复杂的拼图。有些工人个头小、速度快，就在你的书桌上工作（你的手机或笔记本电脑），但它们不够聪明。另一些则是巨人，拥有海量的知识库，但它们在遥远的办公室（云端）工作，发送消息并等待回复需要时间。此外，呼叫巨人需要花钱，而且有时电话线会中断。

这篇论文提出了一种让这些工人协作的新方法。与其试图让小工人变得更聪明，或者强迫巨人来到你的书桌前，不如让它们直接互相交谈，共同解决问题。作者将这种方法称为“协作智能”。

以下是他们观点的分解，使用简单的类比来说明：

1. 问题：为什么一个工人不够用

小工人（设备端）： 想象一部智能手机。它速度快且隐私性好，但就像一个读过几本书的学生。它能处理简单的问题，但如果你让它写一份复杂的法律合同或分析一段视频，它可能会困惑或耗尽能量。
巨人（云端）： 想象数据中心里一位超级聪明的专家。它们无所不知，但距离遥远。向它们发送问题需要时间（延迟），按字数收费，并且需要强大的互联网连接。如果互联网中断，你就束手无策了。
两难困境： 你不能只让小工人处理所有事情（答案糟糕），也不能只让巨人处理所有事情（太慢、太贵，或者如果互联网中断则根本不可能）。

2. 解决方案：团队集会

论文建议这些工人应在任务层面进行协作。它们不需要共享“大脑”（AI 的内部代码或权重）；它们只需要共享消息（问题、答案和笔记）。

作者描述了团队集会的两种方式：

垂直协作（助手与老板）：
- 想象一个本地助手（你的手机）先尝试回答问题。如果它心想“我不确定，这太难了”，它就会迅速向老板（云端）求助。
- 诀窍： 助手不会每次都把整个对话历史都丢给老板（这既慢又贵）。相反，它们在提问前会总结关键点，从而节省时间和金钱。
水平协作（同伴群体）：
- 想象一群朋友（如几个机器人或手机）正在合作一个项目。它们没有老板；它们只是互相交谈。
- 辩论风格： 它们都猜测一个答案，然后争论谁是对的，直到达成一致。
- 分工合作： 一个人查找事实，另一个人做数学计算，第三个人撰写报告。
- 挑战： 如果它们交谈过多，就会浪费时间和数据。论文建议它们需要学习如何高效交谈，以免只是重复自己。

3. 学习如何协作

论文认为，我们不应该用僵化的规则（例如“如果问题很难，就呼叫云端”）来编程这些工人。相反，我们应该教导它们学习如何协作。

学习路由： 小工人学会评估自己的信心。它学会：“这个问题我能轻松回答，所以我自己解决以省钱”，或者“这很棘手，而且我还有预算，所以我呼叫云端”。它学会管理整个对话的“预算”，而不仅仅是针对一个问题。
学习合作： 工人们被训练停止像独奏艺术家那样行动。它们不再只是等待指令，而是学会相互适应。例如，如果一个工人很慢，其他工人就会学会等待，或者更清晰地总结自己的想法，以便团队更快完成。

4. 现实世界的例子：厨房助手

论文在一个“智能厨房”场景中测试了这一想法。

设置： 用户正在做饭并与手机交谈。手机配有摄像头（观察食物）和一个小型 AI 大脑。云端则有一个超级聪明的 AI。
目标： 在回答有关烹饪过程的问题时，严格遵守时间限制（总共 30 秒）和金钱限制（总共 0.05 美元）。
结果：
- 如果手机试图独自完成所有事情，答案还可以，但不够出色。
- 如果手机将所有内容都发送到云端，答案完美，但会耗尽金钱和时间。
- 获胜者： “学习到的路由器”。该系统学会将简单问题发送给手机，将困难问题发送给云端，但它还会决定确切地发送哪些照片给云端以节省数据。它像一个精明的购物者一样管理预算，将 0.05 美元的价值最大化，以获得尽可能好的答案。

5. 剩余的障碍

论文承认这还不完美。仍有两大挑战：

扩展规模： 如果你有 1000 个机器人或汽车试图互相交谈，会发生什么？网络可能会因过多的 chatter 而堵塞。我们需要更好的方法来组织这些庞大的群体。
信任与安全： 如果恶意行为者欺骗了链条中的一个工人，那个坏主意可能会像谣言一样传播给其他人。此外，如果工人们为了解决问题而共享私人照片或医疗数据，我们如何确保这些数据不会泄露？

总结

简而言之，这篇论文指出：不要试图让每个设备都成为超级计算机。 相反，让小设备和大云端计算机像团队一样互相交谈。通过教导它们决定何时互相帮助以及如何高效沟通，我们可以获得两全其美的效果：快速、私密且智能的答案，而不会耗尽资金或压垮互联网。

技术摘要：网络上的大语言模型：资源约束下的协同智能

1. 问题陈述

大语言模型（LLM）的部署面临一个根本性的二元对立：拥有数千亿参数的前沿模型具备卓越能力，但需要资源丰富的云环境；而适合在设备上执行的轻量级模型，在处理复杂任务时则存在显著的能力差距。现有的解决方案，如模型分区、推测解码和联邦学习，主要在模型层面运作。这些方法需要白盒访问模型内部、紧密耦合的执行过程，并且通常假设硬件是同质的。

因此，它们无法解决涉及以下场景的问题：

间歇性连接（例如：无人机、野外机器人）。
严格的延迟预算（例如：闭环控制）。
数据驻留约束（例如：医疗保健、金融）。
受 API 速率限制和每 token 成本约束的持续高吞吐量推理。

没有任何单一端点（设备或云）能够在整个资源约束谱系（计算、内存、通信和成本）上提供高质量服务。本文主张从模型级分布转向协同智能，这是一种范式，其中分布在网络层级中的多个独立的、黑盒 LLM 通过自然语言或结构化消息在任务层面进行协作，而无需共享权重或内部状态。

2. 方法论与系统设计

本文提出了一个协同推理框架，该框架沿两个互补且可组合的维度组织：垂直设备 - 云协作和水平多智能体协作。

A. 垂直设备 - 云协作

这种拓扑结构解决了轻量级设备端 LLM 与强大云 LLM 之间的能力差距。

联合 LLM 与模态选择：系统必须决定哪个端点处理请求，并且对于多模态输入，决定传输哪些子集数据（例如：特定的摄像头视角）。传输所有输入通常是不必要的；优化输入构成可以在保持质量的同时降低通信成本。
上下文管理：在多轮对话中，切换端点需要传输累积的对话历史。本文强调了频繁切换（高上下文传输开销）与会话承诺（丧失适应性）之间的张力。实际的解决方案涉及上下文缓存和选择性摘要，以便在传输前压缩状态。

B. 水平多智能体协作

这种拓扑结构使对等 LLM 智能体能够集体解决问题。

协作模式：本文确定了三种主要模式：
1. 辩论：智能体生成独立响应，进行批判和修订，直到达成共识。
2. 分工：将任务分解为子任务（例如：检索、计算、综合），并分配给专门的智能体。
3. 分层：一个主管智能体分解任务并监控进度，而工作智能体执行子任务。
通信拓扑：拓扑结构的选择（全连接、星型、中继）对开销有重大影响。由于消息是自然语言而非紧凑向量，全连接辩论的扩展性较差（ $O(N^2T^2)$ 的 token 流量）。分层结构被指出具有更高的通信效率。

C. 学习协作

本文区分了学习路由（垂直）和学习合作（水平）。

路由策略学习：
- 基于路由器的选择：一个轻量级分类器根据查询特征预测最佳端点，通过约束优化进行训练，以在成本/延迟预算下最大化质量。
- 通过后训练进行自路由：设备端 LLM 通过强化学习（RL）进行训练，首先尝试任务，并根据内部推理信号（例如：自一致性、熵）决定是否升级。这消除了对外部路由器的需求，并利用模型自身的能力评估。
协作能力学习：
- 协作策略优化：超越静态提示工程，智能体在真实的协作场景中通过强化学习进行共同训练。本文指出，单独训练智能体是不够的；同时共同训练允许智能体适应不断演变的策略。
- 智能体间网络优化：训练直接纳入通信成本，鼓励智能体使用稀疏拓扑和简洁、高信息量的消息，以减少 token 流量同时保持性能。

3. 关键结果与案例研究

本文提出了一个关于多模态对话中的设备 - 云路由（厨房助手场景）的案例研究，以验证所提出的学习方法。

设置：Jetson TX2 设备上的轻量级纯文本 LLM（Phi-3-mini）与云多模态前沿 LLM（GPT-4o）协作。系统在严格的累积预算下运行（30 秒延迟，0.05 美元成本）。
发现：
- 仅设备端：快速且免费，但响应质量低。
- 仅云端：质量高，但经常违反预算约束。
- 基于提示的路由器（LLM-as-Router）：描绘了标准的质量 - 延迟 - 成本权衡曲线；更高的质量需要成比例更高的延迟和成本。
- 基于 RL 的学习型路由器：打破了标准权衡曲线。通过将剩余预算作为策略状态的一部分进行内化，学习型路由器能够针对整个对话而非单个查询来推理资源消耗。它在显著更低的延迟和成本下，实现了与仅云端方法相当的响应质量。

4. 开放挑战与研究方向

本文确定了两个主要的开放挑战轴：

资源异构性下的扩展：
- 开发能够适应不断变化的生态系统的协议，其中端点在能力和成本上相差数个数量级，且无需重新训练。
- 从成对协作扩展到大规模集群（例如：无人机群），解决调度、在波动链路上的共识以及长上下文内存压力问题。
可信的协同智能：
- 隐私：平衡上下文共享（为了质量）与敏感数据（PII、医疗记录）在信任边界内的 containment。
- 安全：防御级联提示注入攻击，其中一个节点的妥协会通过协作层级传播，从而可能在物理系统中造成现实世界的危害。

5. 意义与主张

本文主张，协同智能代表了网络 LLM 的一种独特且必要的范式。其意义在于：

任务级编排：与之前的模型级方法不同，它通过语义交换编排异构、黑盒端点（包括专有 API）之间的协作。
打破权衡：通过将资源预算视为有状态的、时间约束的学习路由策略，该系统能够实现静态或基于查询的决策无法达到的质量 - 延迟 - 成本平衡。
可扩展性：它提供了一个框架，将垂直卸载和水平多智能体协作结合成混合拓扑，从而支持复杂的流程（例如：云协调的无人机群），这是任何单一端点都无法独自处理的。

作者得出结论，实现这一愿景需要在异构生态系统的自适应协议以及分布式自主智能体的鲁棒安全机制方面取得进展。