💻 computer science

Latency-Optimal Adaptive Split Inference for Privacy-Preserving Cloud-Edge-End Collaboration

本文提出了一种用于隐私保护型云-边缘-终端协同的延迟最优自适应拆分推理框架，其中终端设备执行明文模型前缀，并在将加密段卸载到边缘和云服务器之前使用全同态加密（FHE）对激活值进行加密，从而在保持模型准确性的同时，实现相对于全云端 FHE 的显著加速。

原作者： Yi Li, Peng Zhang, Man Ho Au

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yi Li, Peng Zhang, Man Ho Au

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人大脑（神经网络），它看一眼照片就能准确地告诉你里面有什么。现在，想象这个机器人住在遥远的一个名为“云端”的巨大且功能强大的计算机中心。如果你想使用这个大脑，你就必须把你的照片发送到云端。但如果你的照片是一个秘密怎么办？也许是你的医疗记录或私人日记。把照片发往云端让你感到风险，因为云端可能会窥视它。

为了解决这个问题，科学家们发明了一个神奇的魔术盒，叫做全同态加密（FHE）。你可以把它想象成一个特殊的隔板手套，让你可以在不打开锁盒的情况下对里面的东西进行数学运算。你可以把你的秘密照片放进盒子里，锁好，然后发送到云端。云端可以在照片仍然处于锁定状态时对它进行“思考”，在锁盒内进行数据计算，并传回一个锁定的答案。云端从未看到照片，但它依然算出了答案！问题在于，这个魔术盒极其沉重且运行缓慢。在锁定的盒子上做数学运算需要很长时间，而且如果你必须带着整个沉重的盒子一路走到云端，速度会变得更慢。

这正是故事有趣的地方。如果不需要搬运整个沉重的盒子呢？如果你能自己完成容易的部分，把中间部分锁起来，然后把剩下的工作交给附近的助手呢？这就是研究人员正在提出的问题：我们如何拆分工作，既能保证速度，又能确保我们的秘密安全？

智能拆分：一种团队协作方案

在这篇论文中，由 Yi Li、Peng Zhang 和 Man Ho Au 组成的研究小组提出了一种处理这个“沉重盒子”问题的聪明新方法。他们将这个想法称为**延迟最优自适应拆分推理（Latency-Optimal Adaptive Split Inference）**框架。让我们用一个简单的故事来拆解它的含义。

想象你正在尝试解决一个巨大的、由 1,000 块碎片组成的拼图（AI 模型）。

旧方法（全云端模式）： 你把整个拼图装进一个沉重的保险箱，锁好，然后邮寄到一个超快速的工厂（云端）。工厂解锁它，解决它，然后把它寄回来。但因为保险箱太重，且工厂离得很远，所以需要花费很长时间。
新方法（拆分推理）： 你保留拼图的前几块简单的碎片（“前缀”），并在家里自己解决它们。然后，你把中间部分锁进一个更小、更轻的保险箱，并把它发送给住在你家附近的助手（边缘计算/Edge）。助手在锁定的部分上做一些更多的计算。如果拼图对助手来说仍然太大，他们会将锁定的盒子传递给大工厂（云端）来完成最后几块。最后，答案传回给你，你再将其解锁。

研究人员构建了一个“智能规划器”（一个计算机程序），它能找出切割拼图的完美位置。它会询问：“我应该在第 50 块后停止？第 100 块？还是应该把整个东西都发给云端？”该规划器会观察你的计算机有多快、助手的速度有多快、云端的速度有多快，以及需要传输多少数据。它会选择能让你最快得到答案的组合，同时绝不会让助手或云端看到实际的照片。

他们是如何实现的

团队在两种不同类型的拼图上测试了他们的想法：一种是关于动物图片的拼图（称为 CIFAR-10），另一种是关于医学切片的图片（称为 PathMNIST）。他们使用了一种特定的魔术锁（称为 CKKS），这种锁非常擅长处理这些图片所需的数学运算。

以下是他们的发现：

速度至上： 他们的“拆分”方法是速度上的游戏规则改变者。当他们将自己的方法与将整个锁定盒子发送到云端进行比较时，他们的法对于动物图片快了约 12.9 倍，对于医学图片快了约 12.8 倍。
“微调”技巧： 他们发现，在非常详细的层面进行拆分工作（即在单个层级之间切割，他们称之为“卷积级/convolution-level”）比仅在大的块层面进行切割（称为“块级/block-level”）要好得多。详细拆分的效率比粗略拆分快了约 3.9 倍。
没有丢失秘密： 尽管他们在拆分工作并使用魔术锁，但答案的准确性与在普通计算机上完成时完全一样。准确度没有任何下降。
成本： 权衡之处在于，“沉重的盒子”（数据）必须来回传输更多次。研究人员测量出，对于每一张图片，获得答案的总时间对于动物图片约为 1,033 秒（大约 17 分钟），对于医学图片约为 1,023 秒。虽然这听起来很长，但相比于另一种方案——即如果他们把所有东西都发往云端，那将需要超过 13,000 秒（超过 3 小时）——这是一个巨大的进步！

为什么这很重要

研究人员非常明确地说明了他们做了什么以及没做什么。他们并没有发明一种新型的魔术锁；他们使用了现有的魔术锁（CKKS），但通过拆分工作找到了更高效的使用方法。他们也没有解决让数学运算瞬间完成的问题；由于魔术锁很重，这个过程仍然很慢。然而，他们证明了通过对在哪里进行工作保持聪明——利用你自己的设备处理开始部分，利用本地助手处理中间部分，最后利用大工厂完成结尾——你可以让保护隐私的 AI 变得真正可用。

他们在模拟设置（一台假装是本地助手和一台假装是大工厂的计算机）中测试了这一点，并发现他们的“智能规划器”始终能选出最快的路径。他们还展示了即使互联网连接发生变化，他们的计划依然保持稳定。只有当本地助手变得几乎和大型工厂一样快时，计划才会发生改变，届时规划器会决定不再向工厂发送盒子。

简而言之，这篇论文向我们展示了我们不必在隐私和速度之间做出选择。通过将工作分解为细小的、智能的碎片，并沿着一连串的助手传递，我们可以在保持秘密在锁盒中的同时，比以前更快地获得答案。这就像是意识到你不需要独自跑完整个马拉松；你可以跑完第一英里，然后把接力棒交给朋友，让他们跑完剩下的路程，同时还能确保你的秘密信息在接力棒中是安全的。

技术摘要：面向隐私保护的云-边-端协作中延迟最优的自适应拆分推理

1. 问题陈述

物联网（IoT）终端设备在处理敏感数据（如医学图像）时面临着关键的权衡：它们缺乏运行完整卷积神经网络（CNN）所需的计算资源，但将原始数据或中间特征卸载到云端或边缘服务器又会暴露敏感信息。虽然全同态加密（FHE）允许在不解密的情况下对加密数据进行计算，但在云端完全部署 FHE 会因密文膨胀和同态算术开销而导致速度极慢。相反，仅依赖边缘服务器则因其相对于云端的有限容量而显得力不从心。

本文解决的核心挑战是确定在哪里拆分 CNN 以及如何在边缘和云端层级之间分配加密的后缀部分，以在严格保护隐私的同时最小化端到端延迟。具体而言，本文旨在解决寻找最优拆分对（即端侧拆分点和边缘侧终止点）的问题，以平衡本地明文执行、加密成本、通信延迟以及远程 FHE 执行成本。

2. 方法论

系统架构与威胁模型

所提出的框架运行在三层架构之上：

终端设备： 作为信任锚点。它执行 CNN 的初始明文前缀，使用 FHE（具体为 CKKS 方案）对中间激活值进行加密，并在本地保留私钥。它绝不传输原始输入或明文特征。
边缘服务器： 第一个外部层级。它接收加密的激活值，并在密文上执行连续的模型片段。
云服务器： 高容量层级。如果边缘侧未终止推理，则由云端完成剩余的加密后缀部分。

威胁模型： 边缘和云服务器被建模为“诚实但好奇”（honest-but-curious）。它们会忠实地执行协议，但可能会尝试从处理的密文中推断出私密信息。该框架假设各层级之间不存在共谋；即使边缘和云端结合观察结果，在没有端设备持有的私钥的情况下，它们也无法解密数据。

FHE 兼容的模型设计

为了实现高效的同态评估，本文使用二次残差激活函数替换了标准的 ReLU 激活函数： $\sigma(z) = (\alpha \cdot z)^2 + z$ 。这保留了一个线性的残差路径，同时使用了与 CKKS 方案支持加法和乘法相兼容的 2 次多项式。模型从头开始使用此激活函数进行训练，以确保在加密域内维持准确性。

延迟最优规划算法

作者将部署过程表述为一个约束优化问题，旨在最小化总延迟 $T_{tot}(q, e)$ ，其中 $q$ 是端侧拆分点， $e$ 是边缘侧终止点。总延迟由以下部分组成：

本地明文执行 ( $T_{end}$ )： 基于终端设备的 GFLOPS 计算。
加密 ( $T_{enc}$ )： 加密拆分激活值的成本。
通信 ( $T_{comm}$ )： 层级间密文的传输延迟，基于 CKKS 参数和 SIMD 打包确定的有效载荷大小以及配置的链路带宽进行计算。
远程 FHE 执行 ( $T_{edge}, T_{cloud}$ )： 使用针对特定硬件（如特定层组，如卷积+池化、全连接层）经过经验校准的成本密度（每 GFLOP 对应的秒数）进行估算。

该规划器支持两种粒度：

卷积级（Convolution-level）： 允许在单个卷积层处设置拆分点。
块级（Block-level）： 将拆分点限制在完整的网络块或全连接层的边界处。

系统在满足诸如最大模型暴露策略（限制端设备上的模型参数比例）和结构一致性等约束条件下，评估所有可行的拆分对 $(q, e)$ ，并选择使延迟最小化的组合。

3. 核心贡献

隐私保护的拆分框架： 一种新颖的架构，其中终端设备是唯一的私钥和明文数据持有者，而边缘和云端层级严格在 FHE 密文上执行计算。
延迟感知规划器： 一个统一的成本模型和优化算法，综合考虑了明文执行、加密、通信以及跨边缘和云端的异构 FHE 执行成本。
粒度感知的划分： 该框架支持卷积级和块级拆分，证明了更细粒度的拆分可以通过更好地利用边缘资源来显著降低延迟。
原型实现： 使用 CKKS/OpenFHE 在混合测试床上（树莓派 4B 作为终端，Xeon 服务器上的 Docker 容器作为边缘/云端）实现的 VGG16 类模型的原型系统。

4. 实验结果

实验在 CIFAR-10 和 PathMNIST 数据集上使用修改后的 VGG16（SquareVGG16）架构进行。

延迟性能：
- 所提出的卷积级拆分在 CIFAR-10 上实现了 1033.279 s/样本 的摊销端到端延迟，在 PathMNIST 上为 1023.429 s/样本。
- 与全云端 FHE 基准相比，实现了约 12.9倍 的加速；与块级拆分基准相比，实现了约 3.9倍 的加速。
- 全云端 FHE 基准由于在远程执行整个模型，导致了极高的延迟（在 CIFAR-10 上约为 13,357 s/样本）。
准确率：
- 协作方案在 CIFAR-10 上达到了 88.53% 的准确率，在 PathMNIST 上达到了 91.43%。
- 这些结果与明文 SquareVGG16 模型完全一致（或误差在 0.01 个百分点以内），证实了 FHE 兼容的激活函数和拆分推理不会降低模型性能。
通信开销：
- 卷积级拆分的通信量（约 276 MB/样本）高于块级拆分（141 MB/样本），因为向云端的移交发生得更早（在 Conv. III-1 之后而非 Block III 之后）。然而，边缘侧 FHE 计算时间的减少抵消了通信成本，从而实现了更低的总体延迟。
敏感性分析：
- 最优拆分计划（端侧为 Block II，边缘侧为 Conv. III-1）在各种带宽配置下保持稳定。只有当边缘的 FHE 执行速率接近云端时，计划才会向边缘层级更深处移动。

5. 重要性与主张

本文的主张在于证明，通过自适应划分，隐私保护的拆分推理可以实现延迟最优。通过将拆分点选择视为涉及加密、通信和异构 FHE 执行成本的联合优化问题，该框架弥合了 FHE 的高安全性与 IoT 应用实际延迟需求之间的差距。

作者强调，其工作提供了一个系统级的解决方案，该方案：

保留了全云端 FHE 的加密隐私边界（没有任何明文离开终端设备），同时大幅降低了延迟。
验证了在异构云-边环境中，细粒度（卷积级）拆分优于粗粒度（块级）拆分，即使通信成本有所增加。
为未来的加密分布式推理研究提供了一个可复现、经过基准校准的成本模型。

论文最后进行了谦逊的总结，指出目前的实现是一个用于非交互式批处理推理的基于 CPU 的研究原型，而非实时决策工具，未来的工作将侧重于硬件加速和更广泛的模型族。