🤖 AI

Adaptive DNN Partitioning and Offloading in Heterogeneous Edge-Cloud Continuum

本文提出并验证了一种面向异构边缘 - 云连续体的自适应深度神经网络划分与卸载框架，该框架能根据运行时条件动态调整，并在物理测试床上证明，与静态基线相比，其显著降低了能耗和延迟。

原作者： Akuen Akoi Deng, Eimantas Butkus, Alfreds Lapkovskis, Praveen Kumar Donta

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Akuen Akoi Deng, Eimantas Butkus, Alfreds Lapkovskis, Praveen Kumar Donta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常聪明但疲惫的机器人（你的物联网设备，比如智能摄像头或无人机），它需要解决一个复杂的谜题。这个谜题是一个深度神经网络（DNN），本质上是一个庞大的、多步骤的决策“食谱”，用于执行诸如识别人脸或识别车辆等任务。

在过去，这个机器人只有两个糟糕的选择：

独自完成所有工作：它试图独自解决整个谜题。这会让它精疲力竭（消耗过多电池），并且耗时很长。
将所有工作发送到云端：它将整个谜题“邮件”发送给远处数据中心的一台超级计算机。这对计算机来说很快，但机器人需要花费大量时间等待邮件的发送和接收，而且互联网连接可能缓慢或不稳定。

问题所在：“静态”计划

大多数现有方案采用静态计划。这就像一位厨师决定：“我将在这里切蔬菜，在中间厨房烹饪酱汁，并在最终厨房装盘”，然后永远不改变这个计划，即使互联网变慢、中间厨房变得繁忙，或者机器人的电池电量不足。这种僵化的方法往往导致能源浪费或结果缓慢。

解决方案：“自适应”厨师

本文的作者构建了一个智能自适应框架。可以将其想象为一位动态项目经理，它持续监控团队并实时调整计划。

以下是他们系统的工作原理，采用三厨房餐厅的类比：

三个厨房（连续体）：
- 边缘（树莓派）：一辆小型的、电池供电的餐车。它离顾客很近，但炉灶很小，燃料有限。
- 雾（笔记本电脑）：一个中型的本地厨房。它有更好的炉灶，但不如大型厨房强大。
- 云（台式电脑）：一个巨大的工业工厂，拥有超快烤箱和无限电力，但距离遥远。
动态拆分：
该系统不使用固定食谱，而是将谜题（神经网络）分解为若干层。它会问：“是让餐车切洋葱，还是应该把它们送到本地厨房？”
- 它首先对谜题进行性能分析，以了解每个步骤的规模。
- 它测量厨房之间“道路”（网络链路）的状况，查看交通是否拥堵。
- 它计算每种可能的任务拆分方式在燃料（能量）和时间（延迟）方面的成本。
持续重新评估：
这是神奇之处。该系统并非只制定一次计划。每隔几分钟，它会检查：
- “通往工厂的道路是否变得拥堵？”
- “餐车的电池是否电量不足？”
- “本地厨房是否过热？”
  如果条件发生变化，它会立即重新分配工作。也许今天餐车负责切菜，但明天，因为道路畅通，它会将切菜任务发送到工厂，以节省餐车的电池。

现实世界测试

作者不仅在计算机上进行了模拟，还构建了一个物理测试平台（真实实验室）：

边缘：一台树莓派（餐车）。
雾：一台笔记本电脑（本地厨房）。
云：一台配备高端显卡的强大 PC（工业工厂）。

他们使用三个著名的“谜题”（AI 模型）进行了测试：VGG16（非常复杂）、AlexNet（中等复杂度）和MobileNetV2（专为小型设备设计的轻量级模型）。

结果：节省燃料和时间

当他们将其“自适应”管理器与旧的“静态”计划进行比较时，结果令人印象深刻：

能源节省：自适应系统节省了27% 到 36% 的额外能源。这就像餐车仅用一箱汽油就能运行更长时间，因为它只在绝对必要且道路畅通时才进行重体力劳动。
速度提升：它还将处理速度提高了6% 到 23%。通过避开交通拥堵，并在正确的时间将工作发送到正确的厨房，最终菜肴得以更快上桌。

结论

本文证明，灵活优于僵化。通过持续监控环境，并在小型设备、本地计算机和大型云之间转移工作负载，你可以节省大量电池寿命并更快地获得结果。这对于未来需要在电池供电的同时做出快速、智能决策的智能设备而言，意义重大。

技术摘要：异构边缘 - 云连续体中的自适应 DNN 分区与卸载

问题陈述

物联网（IoT）设备的激增产生了海量数据，需要通过深度神经网络（DNN）进行复杂处理。虽然集中式云执行提供了计算能力，但它为实时物联网应用引入了不可接受的延迟、带宽限制和隐私风险。相反，在资源受限的边缘设备上完全执行 DNN 往往导致高能耗和缓慢的推理时间。

现有的跨边缘 - 云连续体分布推理的解决方案通常依赖于静态分区策略。这些方法在部署前定义固定的神经网络层分割点，无法适应运行时动态变化，如波动的网络带宽、节点移动性或变化的计算负载。此外，文献中存在显著差距：大多数提出的框架在假设理想网络条件的模拟环境中进行评估，极少在物理硬件上得到验证。此外，许多现实世界研究主要关注延迟或任务完成时间，往往忽视将能耗作为主要优化目标。

方法论

作者提出了一种自适应分区与卸载框架，旨在将 DNN 推理工作负载动态分割到异构的三层连续体（边缘、雾和云）中，在遵守严格延迟约束的同时最小化能耗。

系统架构

该框架运行在一个物理测试床上，包含：

边缘：Raspberry Pi 4（资源受限）。
雾：笔记本电脑（Intel Core i7）。
云：高性能台式 PC（NVIDIA RTX 4070 Ti GPU）。

该架构允许采用分区方案，其中前 $i$ 层在边缘运行，第 $i+1$ 到 $j$ 层在雾层运行，第 $j+1$ 到 $N-1$ 层在云端运行。

算法流程

该框架遵循一个五阶段流程：

离线分析：在运行时之前，系统对模型进行分析以生成两个查找表：
- 激活大小表：记录每个特征边界处中间张量的大小，以估算通信成本。
- 相对计算权重表：基于单次执行，为每一层分配总推理工作的归一化分数，作为扩展运行时测量的稳定参考。
两点链路探测：为了在不产生高开销的情况下估算网络条件，系统在网段间传输两个大小对比鲜明的有效载荷（ $s_1, s_2$ ）。通过平均往返时间，系统将链路建模为 $rtt(s) = \omega + s/\beta$ ，从而推导出固定开销（ $\omega$ ）和有效吞吐量（ $\beta$ ）。
候选分割估算：对于任何候选分割 $(i, j)$ ，系统预测端到端延迟和能耗。延迟是计算时间（基于分析得出的权重和节点速度）与传输时间（基于链路模型）的总和。能耗通过将节点特定的计算时间乘以经验功率速率来估算。
最佳候选搜索：系统评估所有有效的分割对。过滤候选项以确保它们满足延迟截止时间（ $L_{max}$ ）且表现不劣于静态基线。最优分割最小化加权目标分数：
$S(i, j) = w_{end}\frac{\hat{E}_{end}}{n_{end}} + w_{tot}\frac{\hat{E}_{tot}}{n_{tot}} + w_{lat}\frac{\hat{L}}{n_{lat}}$
其中权重优先考虑边缘能耗（0.6–0.9），优于系统总能耗和延迟。
自适应分布式推理调度：
- 初始化：系统运行一个基线分割和三个“探测”分割（边缘侧重、平衡、云侧重），以拟合每个节点的计算速率和链路模型。
- 稳态：系统执行当前分割以进行一个时间窗口的推理。定期地，它通过重新探测链路和重新拟合速率来重新评估环境。如果新候选项将目标分数提高了至少 3%（或者如果违反了延迟截止时间），系统将切换到新分区。如果在违反截止时间期间没有更好的候选项，则回退到静态基线。

主要贡献

本文概述了三个主要贡献：

自适应框架：一种新颖的 DNN 推理框架，可动态将工作负载分区到异构的边缘 - 云连续体中，优先保证能效而不违反延迟约束。
物理测试床：构建并利用一个完全功能的三层测试床（Raspberry Pi、笔记本电脑、台式 PC），在真实硬件上评估垂直卸载策略，解决了以往工作依赖模拟的问题。
实证评估：使用三种广泛采用的 CNN（VGG16、AlexNet、MobileNetV2）进行全面的现实世界实验，收集了单设备、静态和自适应配置下的硬件测量能耗和延迟指标。

结果

该框架针对两个基线进行了评估：单设备执行和静态分区（固定均等工作负载分配）。

能耗降低：与静态基线相比，自适应框架实现了显著的节能：
- VGG16：降低 35.82%（从 5.69 J 降至 3.65 J）。
- AlexNet：降低 35.70%（从 0.68 J 降至 0.43 J）。
- MobileNetV2：降低 27.09%（从 0.92 J 降至 0.67 J）。
延迟降低：端到端延迟也有所降低：
- VGG16：降低 6.34%。
- AlexNet：降低 22.92%。
- MobileNetV2：降低 14.20%。
观察：对于 MobileNetV2，由于网络开销，静态分区实际上比单设备执行增加了延迟；自适应框架通过移动分割点成功缓解了这一问题。结果一致表明，能耗降低幅度超过延迟降低幅度，反映了该框架的目标权重设置。

意义与主张

本文声称，其发现证实了在动态、异构环境中自适应分区优于静态方法。通过在真实硬件而非模拟环境中验证该方法，这项工作解决了文献中关于卸载策略实际性能的关键差距。

作者断言，他们的框架成功地在资源受限的边缘设备上最小化了能耗，同时未违反实时延迟约束。与基于强化学习（RL）的方法或复杂的并行推理架构不同，该框架依赖于对单一加权目标函数的轻量级、周期性评估，使其能够持续适应环境变化，如网络带宽波动和节点负载变化。结果被呈现为在延迟降低方面与最先进的工作相当，但特别侧重于能效，而这一指标在现有的异构边缘 - 云研究中经常被忽视。