🤖 machine learning

Device-Cloud Collaborative LLM Inference with Multi-Modal, Multi-Task, Multi-Turn Conversations

本文介绍了 TMO，一种端云协同的大语言模型（LLM）推理系统，该系统利用一种资源受限的强化学习策略，在多模态、多任务和多轮对话中动态优化卸载决策，从而在平衡响应质量、延迟和成本的同时，克服端侧部署的资源限制以及仅靠云端的通信开销。

原作者： Liangqi Yuan, Dong-Jun Han, Shiqiang Wang, Christopher G. Brinton

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Liangqi Yuan, Dong-Jun Han, Shiqiang Wang, Christopher G. Brinton

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个住在遥远云端、超级聪明且巨大的大脑，还有一个坐在你口袋里、反应敏捷且机智的小脑。大脑能看到一切、听到一切并解决不可能的难题，但它和你交流需要很长时间，而且使用它需要花费大量的“数字金币”。而小脑速度极快且免费使用，但它有点健忘，只能理解文字，无法理解图片或复杂的场景。

这正是开发 TMO（三重卸载）的研究人员试图解决的问题。他们构建了一个聪明的“交通控制器”，决定对于你提出的每一个问题，是让你的小脑处理，还是将其发送给云端的大脑。但这里有个转折：你不仅仅是在问一个问题，你正在进行一场长期的、多轮的对话（比如问完“晚餐吃什么？”接着问“盘子在哪儿？”然后问“能把灯打开吗？”）。此外，你可能还会拍摄照片或视频来帮助大脑理解。

研究人员发现，仅仅靠猜测或者始终使用大脑是一个坏主意。相反，他们使用强化学习（可以想象成一个 AI 玩视频游戏，通过尝试来学习如何获得速度快、成本低和准确度高的分数）训练了一个特殊的决策者。这个 AI 学会了玩一场高风险的“资源管理”游戏。

重大发现
主要发现是，这个智能控制器可以同时处理三个棘手的任务：多模态（文本、照片、视频）、多任务（编辑消息、寻找丢失物品、提供推荐）以及多轮对话（保持对话的连贯性）。

在他们的测试中（涉及超过 21,000 轮对话以及一个名为 M4A1 的自定义数据集），TMO 系统表现出了能够击败其他方法的能力。它在保持高响应质量（在他们的量表上得分约为 1.06）的同时，将等待时间控制在约 13.07 秒，并将成本控制在 0.01371 美元（即 13.71 个千分之一美元）。最重要的是，它在不违反规则的情况下完成了任务：从未超过 30 秒的时间限制或 0.05 美元的支出限制。

他们对什么说“不”
论文非常明确地指出了哪些方法是行不通的。他们测试了一个“路由”（另一种仅仅是进行猜测而不进行学习的 AI），并发现它失败了。有些路由太懒，忽略了所有的照片；而有些则太贪婪，为每个问题都发送所有照片，从而浪费了金钱和时间。研究人员还反对使用“专家”数据（即由人类展示完美答案的情况）。他们发现，即使是人类也难以知道在长对话中何时是发送照片或切换大脑的最佳时机，因此他们使用随机化动作构建了他们的系统。这迫使 AI 学习游戏本身的规则，而不是仅仅模仿一个可能也在瞎猜的人。

他们的确定性如何？
作者对他们的结果充满信心，但也谨慎地表示，这些是基于其特定数据集的模拟和实验，目前还不是解决现实世界所有情况的万能药。他们通过进行数千次试验，证明了他们的系统比他们测试的**先进技术（SOTA）**方法（如 AIwRG 和 PerLLM）表现更好。

例如，当他们测试如果云端变得极其缓慢（导致等待时间延长 10 倍）会发生什么时，他们的系统会聪明地切换回小脑，以避免违反时间限制。当他们测试不同的设备类型时，从微小的树莓派到强大的 iPhone 15 Pro，系统都能完美适配，显示出只要它了解规则，并不在乎你使用的是什么样的硬件。

“不确定性”技巧
最酷的部分之一是他们如何处理 AI 回答具有一定不可预测性的事实。有时同一个问题得到的评分会有所不同。为了解决这个问题，他们使用了“最近邻”策略。想象你在尝试猜测一个新问题的得分；与其盲目猜测，不如看看之前见过的与该问题最接近的 5 个问题（即它的邻居），并取它们的平均分。这有助于系统在数据较为混乱时保持稳定。

底线
论文表明，通过使用这种智能的、具备资源意识的学习方法，我们可以拥有两全其美：既有设备的快速和低成本，又有云端超强的大脑和多维视觉能力。这目前还不是一个解决全世界问题的方案，但在他们的模拟中，TMO 展示了它如何处理在处理照片、视频和长对话时，如何在不超出预算或耗尽耐心的情况下，应对现实世界中复杂的 AI 对话。

技术摘要：TMO —— 基于 Three-M 卸载的设备-云端协作式 LLM 推理

1. 问题陈述

大语言模型（LLM）的部署面临着一种两难境地：设备端部署受限于计算、内存和能源资源，往往限制了响应质量；而云端部署则引入了延迟、通信成本和使用费用。这些挑战在具有 Three-M 特性的现代应用场景中被进一步放大：

多模态（Multi-Modal）： 任务需要多样化的数据源（例如，来自不同摄像机角度的文本、图像）。
多任务（Multi-Task）： 应用范围从简单的消息编辑到复杂的活动识别。
多轮对话（Multi-Turn）： 对话涉及序列依赖关系，早期的决策会影响未来的资源可用性和上下文。

现有的框架往往无法在这些维度上处理响应质量、延迟和成本之间复杂的权衡。具体而言，它们在以下方面表现不佳：

最优推理位置： 决定是在设备端处理任务还是卸载到云端。
模态选择： 确定应上传哪些特定的数据模态（例如，哪一个摄像机视角），以平衡信息增益与传输成本。
资源约束： 在无需重新训练的情况下，适应用户指定的任意资源预算（延迟和成本限制）。
推理不确定性： 处理 LLM 输出的随机性以及离线训练期间生成式任务缺乏地面真值（ground-truth）度量的问题。

2. 方法论：TMO 系统

作者提出了 TMO，一个协调“Three-M”卸载的设备-云端协作推理系统。TMO 的核心是一个**资源受限强化学习（RCRL）**决策引擎。

A. 系统架构

设备端 LLM： 一个轻量级模型（例如 Phi-3-mini），针对简单任务的高速文本处理进行了优化。
云端 LLM： 一个大规模、多模态模型（例如 GPT-4o），能够处理复杂任务和多样化的数据输入。
决策引擎： 在每个对话轮次 $t$ ，系统选择一个动作 $a_t = (\ell_t, M_t)$ ，其中 $\ell_t$ 是选定的 LLM（设备或云端）， $M_t$ 是要上传的模态子集。

B. RCRL 公式化

该问题被建模为一个马尔可夫决策过程（MDP）：

状态 ( $s_t$ )： 包括包含最近 $\tau$ 轮的滑动窗口，捕捉之前的 LLM 选择、上传的模alities 以及任务类别。至关重要的是，状态通过剩余资源预算 ( $\xi_t$ ) 进行了增强，以实现资源感知的决策。
动作 ( $a_t$ )： 选择 LLM 类型和要上传的具体模态。
奖励 ( $r_t$ )： 一个平衡以下指标的复合度量：
- 响应得分 ( $S_{at}$ )： 估计的 LLM 响应质量。
- 关联度指标 ( $\Lambda_{at}$ )： Prompt 与所选模态之间的相关性（通过 CLIP 计算）。
- 延迟 ( $\psi_{at}$ )： 计算时间（设备端）或通信 + 推理时间（云端）。
- 使用成本 ( $\phi_{at}$ )： 能量消耗（设备端）或服务费用（云端）。
- 约束惩罚： 如果累计资源消耗超过用户指定的预算 $\xi_j$ ，则奖励设为零。

C. 关键技术创新

通过最近邻估计处理不确定性： 为了解决 LLM 评判者的非确定性以及离线训练中分布外（OOD）状态-动作对的问题，TMO 采用了**k-最近邻（k-NN）**策略。它通过对 $k$ 个最相似的历史对进行加权平均（基于欧几里得距离）来估计未见过的状态-动作对的响应得分。
资源感知泛化： 为了确保策略能够在无需重新训练的情况下适应任意用户预算，作者：
- 将剩余预算向量直接纳入状态空间。
- 使用从分布（均匀分布、正态分布、混合分布）中采样的随机资源预算进行训练。这防止了对特定预算约束的过拟合。
任务-模态关联： 系统使用预训练的 CLIP 模型来计算文本 Prompt 与图像模态之间的相似度得分，从而引导对最具信息量的数据源的选择。

3. M4A1 数据集

意识到缺乏适用于这一特定问题的合适数据集，作者构建了 M4A1，这是第一个专为多模态、多任务、多轮对话和多 LLM 评估设计的数据集。

组成： 21,014 个对话轮次，衍生自 ActionSense 数据集（包含第一视角、侧视和顶视的厨房活动）和指令数据集。
结构： 每个回合包括 2–5 轮对话、四种任务类别（助手、推荐、查询、消息编辑）以及与四种 LLM 角色（设备端、云端、参考、评判者）的交互。
生成策略： 与专家数据集不同，M4A1 对 LLM 和模态选择使用了随机动作。这确保了状态-动作空间的均匀覆盖，使得 k-NN 估计器对于任何策略决策都具有鲁棒性和低方差。

4. 实验结果

作者将 TMO（使用 RC-A2C、RC-PPO 和 RC-DQN）与几种基线模型进行了对比：

朴素基线： 仅设备端、仅云端以及随机选择。
LLM-as-Router： 使用各种 LLM（Phi-3、LLaMA、Mistral、GPT-4 等）作为零样本决策引擎。
SOTA 探索决策模型： AIwRG（主动推理）和 PerLLM（基于 Bandit 的方法）。

主要发现：

性能： TMO（特别是 RC-A2C）实现了最高的总体奖励（0.86），显著优于 LLM-as-Router 方法，后者在约束违反和次优模态选择方面表现不佳。
约束遵守： 在各种预算配置下，TMO 保持了近乎零的约束违反，而基线模型经常超出延迟或成本限制。
鲁棒性：
- 设备差异： TMO 在多种硬件（从 Raspberry Pi 到 iPhone 15 Pro）上表现一致，能够根据设备能力调整策略。
- 预算泛化： 通过随机预算训练，TMO 能够在无需重新训练的情况下，泛化到未见的预算约束（均匀分布、正态分布、混合分布）。
- 延迟敏感性： 当人为增加云端延迟（最高达 10 倍）时，TMO 会动态地将流量转向设备端 LLM 以维持约束。
消融研究： 移除任何关键组件（LLM 选择逻辑、模态选择、资源感知或不确定性估计）都会导致性能显著下降，验证了完整框架的必要性。

5. 意义与主张

论文声称 TMO 代表了 LLM 部署策略的一个根本转变，因为它超越了静态卸载或单一查询路由。其意义在于：

整体优化： 它是第一个在严格资源约束下，共同优化 LLM 选择、多模态数据卸载和多轮对话的系统。
实际适应性： 资源感知的状态表示和随机训练使系统能够适应现实场景中任意用户定义的资源预算，而无需重新训练。
处理不确定性： 提出的最近邻估计策略为在 LLM 推理数据上训练 RL 策略提供了一种鲁棒的方法，解决了生成式模型固有的随机性和评估挑战。
数据集贡献： M4A1 数据集的发布填补了文献中的关键空白，为评估复杂、多轮、多模态环境下的协作推理提供了标准化的基准。

作者总结道，虽然 TMO 显著改善了响应质量、延迟和成本之间的权衡，但未来的工作将侧重于结合动态运行时条件（例如实时网络带宽、电池电量），以实现主动适配。