🤖 AI

Differentially Private and Communication Efficient Large Language Model Split Inference via Stochastic Quantization and Soft Prompt

本文提出了名为 DEL 的框架，通过结合嵌入投影与差分隐私随机量化技术降低通信开销，并利用服务器端软提示（Soft Prompt）补偿隐私带来的效用损失，从而在无需本地模型的情况下实现了大语言模型的高效、隐私保护分割推理。

原作者： Yujie Gu, Richeng Jin, Xiaoyu Ji, Yier Jin, Wenyuan Xu

发布于 2026-02-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Yujie Gu, Richeng Jin, Xiaoyu Ji, Yier Jin, Wenyuan Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DEL 的新方法，旨在解决大语言模型（LLM）在使用时的两个核心矛盾：隐私安全和通信效率。

为了让你更容易理解，我们可以把使用大语言模型的过程想象成**“寄信给一位住在云端的超级天才”**。

1. 现在的困境：寄信太贵，且怕被偷看

场景：你想让云端的超级天才（大模型）帮你写文章或回答问题。
问题 A（隐私泄露）：你直接写信（发送原始数据），路上可能被邮差（黑客）偷看，或者云端的天才（服务提供商）虽然答应保密，但可能会偷偷记下你的秘密（比如你的住址、病情）。
问题 B（通信太慢/太贵）：
- 以前的方法（如加密）：就像把信锁进一个巨大的保险箱，虽然安全，但搬运这个保险箱非常重、非常慢，普通人的手机根本搬不动（计算和通信开销太大）。
- 另一种方法（如“拆分 + 降噪”）：你先把信的内容“打散”成乱码发给天才，天才处理后再发回来，你需要自己再拼凑回去。但这需要你在自己家里也放一个“拼凑工厂”（本地小模型），这又需要你的手机有超级强大的性能，普通手机根本带不动。

2. 论文提出的解决方案：DEL 框架

DEL 就像是一个**“聪明的翻译官 + 魔法滤镜”**的组合，它分三步走：

第一步：把“长篇大论”压缩成“核心摘要”（降维与量化）

比喻：你原本要寄给天才的是一封写满细节的长信（高维度的词向量），这封信太重了。
做法：DEL 先让你把信交给一个**“本地翻译官”（编码器）。这个翻译官只提取信中最核心的意思，把几千字的长信压缩成一张“极简便签”**（低维度的潜在空间）。
魔法滤镜（随机量化）：在寄出这张便签前，DEL 给便签加了一层**“模糊滤镜”**（随机量化）。
- 这就好比把便签上的字迹稍微涂花了一点，让外人（黑客）看不太清具体写了什么，但核心意思（比如“我想问天气”）依然保留着。
- 这层滤镜不仅保护了隐私（符合差分隐私），而且因为字迹变“模糊”了，便签变得非常小，传输速度极快，流量消耗极低。

第二步：云端天才的“读心术”（软提示 Soft Prompt）

痛点：因为便签被涂花了，云端的天才可能会看不懂，或者回答得很奇怪（效用下降）。以前的方法需要你在自己家里再雇一个“翻译”来帮天才解读，但这太累了。
创新做法：DEL 不需要你雇人。它在云端给天才准备了一个**“魔法咒语”**（软提示，Soft Prompt）。
- 这个“咒语”是专门训练过的，它的作用就像是**“翻译官的说明书”**。
- 当云端天才收到那张被涂花的便签时，它先读一遍这个“魔法咒语”，瞬间就能明白：“哦，虽然字迹模糊，但这其实是用户想问天气，而且用户刚才涂花的地方是这种风格。”
- 这样，云端天才就能直接给出高质量的答案，完全不需要你在本地再运行任何复杂的程序。

3. 核心优势总结

隐私保护（像戴了面具）：你的原始信息在发送前就被“打散”和“模糊化”了，即使被截获，也很难还原成你的真实隐私（如姓名、地址）。
通信高效（像发微信而不是寄快递）：通过压缩和模糊处理，发送的数据量变得非常小，普通手机也能秒发秒收。
无需本地算力（像不用自带发电机）：以前为了修复模糊信息，需要手机自己跑一个大模型来“降噪”，现在全靠云端那个“魔法咒语”来修复，手机只需要发个便签，省电、省内存、省速度。

4. 实验结果：真的好用吗？

论文在多个测试中（比如写故事、回答问题）发现：

相比以前的方法，DEL 在保护隐私的同时，回答的质量更高（更通顺、更准确）。
即使隐私保护得很严格（把字迹涂得很花），加上“魔法咒语”后，云端天才依然能猜对你想说什么。
它不需要用户手机有任何特殊硬件，普通设备就能流畅运行。

一句话总结

DEL 就像是一个“智能压缩打包 + 云端自动解码”的快递服务：它把你的秘密信息压缩成极小的、模糊的包裹寄给云端，云端通过一套特殊的“解码咒语”直接还原出高质量的答案，既保护了你的隐私，又让你不用花钱买昂贵的设备。

论文技术总结：基于随机量化和软提示的差分隐私且通信高效的大语言模型拆分推理 (DEL)

1. 研究背景与问题定义

背景：
大型语言模型（LLM）在自然语言处理任务中表现卓越，但由于其巨大的计算资源需求，通常部署在云端作为在线推理服务。这种服务模式导致用户必须将包含敏感信息（如姓名、地址、医疗记录等）的查询发送给服务提供商，从而引发严重的隐私泄露风险。

现有挑战：
现有的隐私保护推理方案存在以下局限性：

同态加密 (HE)： 虽然能提供强隐私保护，但计算和通信开销过大，无法适用于现代 Transformer 架构的 LLM。
扰动机制 (如 Split-and-Denoise, SnD)： 通过在用户端对 Token 嵌入添加噪声并传输中间表示来实现差分隐私（DP）。然而，高维的扰动嵌入导致巨大的通信开销（例如 Llama3-8B 的 1024 个 Token 序列可能产生超过 16MB 的通信量）。此外，为了恢复效用，SnD 等方法需要在用户端部署本地去噪模型，这对资源受限的设备构成了沉重的计算负担。
InferDPT： 虽然支持文本生成，但同样依赖本地轻量级 LLM 进行去噪，且整体性能受限于本地模型的能力，未能充分利用远程强大 LLM 的能力。

核心问题：
如何在保证差分隐私（DP）的前提下，显著降低 LLM 拆分推理中的通信开销，同时避免在用户端部署计算密集的本地模型，并维持高质量的推理效用？

2. 方法论：DEL 框架

作者提出了 DEL (Differentially private and communication Efficient LLM split inference) 框架，其核心流程如图 2 所示，主要包含以下三个关键模块：

2.1 隐私保护机制：降维与随机量化

为了克服“维度灾难”并减少通信量，DEL 在用户端执行以下操作：

嵌入投影 (Embedding Projection)： 利用预训练的编码器 ( $g_e$ ) 将高维的 Token 嵌入 ( $x \in \mathbb{R}^b$ ) 映射到低维潜在空间 ( $v \in \mathbb{R}^d, d \ll b$ )。这不仅降低了传输数据量，还改善了隐私与效用的权衡。
差分隐私随机量化 (Differentially Private Stochastic Quantization)：
- 提出了一种 $n$ -bit 随机量化机制，将低维潜在向量映射到离散的量化级别。
- 该机制结合了随机性，使得量化过程本身提供差分隐私保证。
- 理论保证： 证明了该机制满足 $\mu$ -高斯差分隐私 ( $\mu$ -GDP)。在特定条件下，其方差与高斯机制相当，但通信效率显著提升（从 32 位浮点数降至 1-4 bit）。
- 服务器端通过配对预训练的解码器 ( $g_d$ ) 将量化后的低维表示重构回原始嵌入维度，供 LLM 处理。

2.2 效用保持机制：服务器端软提示 (Soft Prompt)

针对隐私扰动导致的效用下降问题，DEL 摒弃了在用户端部署去噪模型的传统思路，转而采用服务器端软提示策略：

原理： 在服务器端，将学习到的软提示向量 ( $E$ ) 拼接到重构后的私有嵌入 ( $\hat{x}$ ) 之前，形成最终输入 $[E, \hat{x}]$ 。
训练目标： 在服务器端冻结 LLM 和编解码器，仅优化软提示参数 $E$ ，以最大化给定私有嵌入下的真实序列条件似然。
优势： 软提示能够适应由隐私机制引起的分布偏移，补偿效用损失，且无需用户端增加任何计算负担。这是首次将软提示应用于改善 LLM 推理中的隐私 - 效用权衡。

3. 主要贡献

新型 DP 机制： 提出了一种结合低维投影和随机 $n$ -bit 量化的差分隐私机制，在提供严格隐私保证的同时，大幅降低了通信开销。
轻量级推理框架： 设计了无需用户端本地去噪模型的框架，利用服务器端软提示来补偿隐私带来的效用损失，解决了资源受限设备的部署难题。
卓越的隐私 - 效用权衡： 在文本生成和自然语言理解（NLU）任务上的广泛实验表明，DEL 在多种 SOTA LLM 上均优于现有方法（如 RANTEXT, InferDPT, SnD）。

4. 实验结果

4.1 开放域文本生成任务

数据集： C4, WikiText-2, Penn Treebank (PTB), CNN/Daily Mail。
模型： Llama3, Qwen2.5, DeepSeek-MoE, Pangu-Embedded 等。
指标： 困惑度 (PPL) 和连贯性 (COH)。
结果：
- 在相同的隐私攻击成功率 (ASR) 下，DEL 的 PPL 显著低于高斯噪声机制，且 COH 分数优于 InferDPT。
- 与 InferDPT 相比，DEL 不依赖本地模型即可达到甚至超越远程 LLM 在无隐私设置下的性能（特别是在隐私要求较低时）。
- 通信开销大幅降低：将嵌入维度压缩了 32 倍，并将传输精度从 32-bit 浮点数降至 1-4 bit。

4.2 自然语言理解 (NLU) 任务

数据集： Quora Question Pairs (QQP), MSR Paraphrase Corpus (MRPC)。
对比： 与 SnD (Split-and-Denoise) 对比。
结果：
- 在 MRPC 和 QQP 任务上，DEL 在准确率和 AUC 上均优于 SnD。
- 在保持相同隐私水平下，DEL 将通信需求从 32-bit 降至 1-4 bit，且效用损失极小。

4.3 软提示的迁移性

实验表明，在公共数据集（如 C4）上训练的软提示可以迁移到其他评估数据集和不同的隐私预算 ( $\mu$ ) 下，依然保持优异的性能，证明了其强大的泛化能力。

5. 意义与影响

实用性提升： DEL 解决了现有隐私保护方案中通信开销大和计算负担重的问题，使得在资源受限设备上部署隐私保护的 LLM 推理成为可能。
范式创新： 首次展示了利用服务器端软提示来修复隐私扰动带来的效用损失，为未来的隐私保护推理提供了新的思路。
安全性与效率的平衡： 在严格的差分隐私保证下，实现了比现有 SOTA 方法更优的隐私 - 效用 - 通信效率权衡，推动了私有 LLM 服务在现实世界中的应用。

总结：
DEL 框架通过“降维 + 随机量化”解决通信瓶颈，通过“服务器端软提示”解决效用损失，成功构建了一个高效、隐私安全且无需用户端重计算的 LLM 拆分推理方案。