💻 computer science

InferDPT: Privacy-Preserving Inference for Closed-box Large Language Model

本文提出了 InferDPT 框架，通过引入新型差分隐私机制 RANTEXT 来解决闭源大语言模型推理中的隐私泄露问题，在有效抵御嵌入修改攻击的同时，实现了与无隐私保护模型相当的高质量文本生成。

原作者： Meng Tong, Kejiang Chen, Jie Zhang, Yuang Qi, Weiming Zhang, Nenghai Yu, Tianwei Zhang, Zhikun Zhang

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Meng Tong, Kejiang Chen, Jie Zhang, Yuang Qi, Weiming Zhang, Nenghai Yu, Tianwei Zhang, Zhikun Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于如何在使用像 ChatGPT 这样强大的“黑盒”大模型时，既能享受它们写作的便利，又能保护个人隐私的论文。

我们可以把这篇论文的核心思想想象成：你想请一位才华横溢但有点“大嘴巴”的作家（大语言模型）帮你续写故事，但你不想让他知道故事里真实的秘密（比如你的真实姓名、具体地点或敏感经历）。

以下是用通俗语言和比喻对这篇论文《InferDPT》的解读：

1. 核心问题：为什么需要保护？

想象一下，你让 ChatGPT 帮你写一封关于“我在波士顿当移民”的求职信。

风险：如果你直接把真实信息发给它，虽然它很聪明，但它可能会“记不住”或者“不小心”把“波士顿”、“移民”这些敏感词泄露给它的后台，甚至被黑客通过生成的文本反推回你的真实信息。
现状：以前的方法要么太慢（像用加密锁写信，写一个字要等半天），要么太笨（把“波士顿”随机改成“火星”，结果文章逻辑不通，没法用）。

2. 解决方案：InferDPT（智能“传话员”系统）

作者发明了一个叫 InferDPT 的系统，它像一个聪明的“传话员”，由两个主要步骤组成：

第一步：扰动模块（“蒙面化妆师”）

做什么：在把文章发给大模型之前，先给文章里的每个词“化个妆”。
怎么化：它不会把词乱改（比如把“猫”改成“汽车”），而是利用一种叫差分隐私的技术，把词替换成意思相近但长相不同的词。
- 比喻：就像把“张三”改成“李四”，把“北京”改成“上海”。虽然名字变了，但“人”和“城市”的概念还在，大模型依然能理解上下文。
创新点 (RANTEXT)：以前的化妆师（旧算法）要么换得太彻底（导致文章不通顺），要么换得不够彻底（容易被猜出原词）。作者发明了一种叫 RANTEXT 的新化妆法，它会根据隐私保护的需求，动态决定换多少个词、换多像。这就像是一个聪明的化妆师，既保证你看起来不像本人（保护隐私），又保证你看起来还是像个人（保持文章通顺）。

第二步：提取模块（“本地翻译官”）

做什么：大模型收到“化过妆”的文章后，会生成一段“化过妆”的续写内容。这时候，内容虽然通顺，但里面可能混着“李四”、“上海”这些假名字，而且可能丢失了一些原意。
怎么解：你在自己家里（本地）运行一个小型的、私密的 AI 模型（比如 Vicuna）。
- 比喻：这个本地小模型就像一个翻译官。它看着大模型生成的“假话”（Perturbed Generation），结合你原本的真实草稿（Raw Document），把里面的“假名字”翻译回“真名字”，把逻辑理顺，最后输出一篇既通顺又保护了隐私的完美文章。
关键点：这个翻译过程是在你自己家里完成的，大模型永远看不到你的真实原文，也看不到你最后修正好的文章。

3. 为什么这个方法很厉害？（RANTEXT 的魔法）

作者提出的核心算法 RANTEXT 就像是一个动态的“词库”：

旧方法：要么用整个字典做词库（太大，容易换错词），要么用很小的词库（太小，容易被猜出原词）。
RANTEXT：它给每个词都画了一个随机的“朋友圈”。
- 如果隐私要求高（ $\epsilon$ 小），朋友圈就大一点，随机性更强，别人更难猜出原词。
- 如果隐私要求低（ $\epsilon$ 大），朋友圈就小一点，只换几个最像的词，保证文章读起来很顺。
- 比喻：这就像你出门时，根据天气（隐私需求）决定穿多少层衣服。天冷（隐私高）就穿厚大衣（随机性大），天热（隐私低）就穿件衬衫（随机性小），但无论穿什么，你都能正常走路（文章通顺）。

4. 实验结果：真的好用吗？

作者做了很多测试，发现：

质量：用这套系统生成的文章，质量几乎和直接用 ChatGPT（没有隐私保护）生成的文章一样好，甚至比你自己用本地小模型写的要好得多。
安全：即使黑客试图通过生成的文章反推你的原文（比如通过“嵌入反转攻击”），在 RANTEXT 的保护下，黑客的成功率极低。
- 比喻：就算黑客拿着放大镜看你的“化过妆”的文章，也几乎不可能还原出你原本长什么样。

总结

InferDPT 就像是一个**“隐私保镖 + 智能翻译”**的组合：

它先把你的秘密伪装成看起来很像但其实是假的东西，发给大模型。
大模型基于这个假东西写出精彩的续集。
你的本地小模型再把假东西还原成真实的秘密，同时保留大模型的才华。

这样，你既利用了大模型的强大能力，又确保你的秘密（如个人经历、位置、身份）不会泄露给任何人。这就是这篇论文想要告诉我们的：在 AI 时代，我们可以既聪明又安全。

这是一篇关于InferDPT（一种针对黑盒大语言模型隐私保护推理框架）及其核心机制RANTEXT的论文技术总结。

1. 研究背景与问题 (Problem)

背景：大语言模型（LLMs，如 ChatGPT）在文本生成任务中表现出色，但用户在使用黑盒 LLMs（如通过 API 调用）时，必须上传包含敏感信息的提示词（Prompt）。这引发了严重的隐私泄露风险，例如三星员工泄露会议记录、GPT-3.5 意外泄露个人自拍等案例。
现有挑战：
- 现有方案局限性：现有的隐私保护方案（如同态加密 CipherGPT）计算和通信成本过高，不切实际；基于本地差分隐私（LDP）的方案（如 SANTEXT+ 和 CUSTEXT+）主要用于分类任务，直接用于文本生成会导致严重的语义失真，破坏生成文本的连贯性。
- 黑盒限制：用户无法访问 LLM 的内部架构或参数，只能将其视为黑盒，这使得传统的模型微调或内部修改方法无法应用。
- 隐私与效用的权衡：在文本生成中，微小的信息扭曲（由 LDP 噪声引起）都可能导致生成的文本不连贯或逻辑不通。

2. 方法论 (Methodology)

论文提出了 InferDPT 框架，这是首个针对黑盒 LLM 文本生成任务的实用隐私保护推理框架。该框架包含两个核心模块，并引入了一种新的差分隐私机制 RANTEXT。

A. InferDPT 框架架构

扰动模块 (Perturbation Module)：
- 功能：在用户端，利用本地差分隐私（LDP）机制对原始文档（Document）中的每个 Token 进行扰动，生成扰动后的提示词（Perturbed Prompt）。
- 流程：将扰动后的提示词发送给远程黑盒 LLM，获取扰动后的生成结果（Perturbed Generation）。
- 核心机制：采用 RANTEXT（见下文）替代传统的静态邻接列表方法，以在保护隐私的同时保持语义相关性。
提取模块 (Extraction Module)：
- 灵感：基于知识蒸馏（Knowledge Distillation）和观察到的现象（扰动后的生成结果中仍包含大量与原始生成结果共享的 Token，且共享数量与隐私参数 $\epsilon$ 正相关）。
- 功能：在用户本地部署一个轻量级的小语言模型（Local Model，如 Vicuna-7b）。该模型接收“原始文档”和“扰动后的生成结果”作为输入。
- 目标：利用小模型从扰动结果中提取连贯、一致的文本片段，并将其重构为与原始文档语义对齐的最终输出。这实际上是利用远程 LLM 的强大生成能力来“蒸馏”到本地模型，弥补扰动带来的信息损失。

B. RANTEXT 机制 (核心创新)

为了解决现有 LDP 方法（SANTEXT+, CUSTEXT+）在文本生成中的缺陷，作者设计了 RANTEXT：

随机邻接列表 (Random Adjacency List, $C_r$ )：
- 不同于 SANTEXT+ 使用整个词汇表（太大，语义不相关）或 CUSTEXT+ 使用固定小列表（太小，易被攻击），RANTEXT 为每个 Token 动态生成一个随机邻接列表。
- 构建过程：
  1. 计算原始 Token 的嵌入向量 $\phi(t)$ 。
  2. 添加拉普拉斯噪声生成随机嵌入 $\hat{\phi}(t)$ 。
  3. 计算两者间的欧氏距离作为阈值。
  4. 收集词汇表中所有嵌入距离小于该阈值的 Token 构成 $C_r$ 。
指数机制采样：利用 $\epsilon$ -LDP 的指数机制，从 $C_r$ 中采样一个新 Token 替换原始 Token。
优势：
- 隐私性：列表大小动态变化且通常大于 CUSTEXT+，增加了攻击者重构原始 Token 的难度（抵抗嵌入反转攻击）。
- 效用性：列表大小通常小于 SANTEXT+，且基于语义距离筛选，保证了扰动后的 Token 在语义上与原始 Token 更相关，减少了信息失真。

3. 主要贡献 (Key Contributions)

提出 InferDPT 框架：首个实现黑盒 LLM 文本生成任务中差分隐私的实用框架，解决了隐私保护与生成质量之间的矛盾。
设计 RANTEXT 机制：一种新颖的基于指数机制的 LDP 算法，引入“随机邻接列表”概念，在隐私保护（抵抗嵌入反转攻击）和文本效用之间取得了比现有 SOTA 方法更好的平衡。
提出自适应攻击 (GPT Inference Attack)：针对 RANTEXT 提出了利用 GPT-4 能力进行 Token 重构的攻击方法，用于更严格地评估隐私安全性。
广泛的实验验证：在三个数据集（CNN/Daily Mail, Wikitext-103-v1, ArXiv）上进行了评估，证明了 InferDPT 在隐私参数 $\epsilon=3.0$ 时，生成质量可媲美非隐私的 GPT-4。

4. 实验结果 (Results)

隐私保护能力：
- 在嵌入反转攻击 (Embedding Inversion Attack) 中，当 $\epsilon=6.0$ 时，RANTEXT 的平均隐私保护水平超过 0.90（即攻击成功率低于 10%）。
- 相比之下，SANTEXT+ 的保护水平低 0.58 倍，CUSTEXT+ 低 3.35 倍。
- 在GPT 推理攻击下，RANTEXT 依然表现出最强的防御能力，优于 BERT 推理攻击和其他基线。
生成质量 (Utility)：
- 多样性 (Diversity) 和 连贯性 (Coherence)：RANTEXT 优于 SANTEXT+ 和 CUSTEXT+，且生成的文本质量与直接使用 GPT-4 相当。
- MAUVE 分数：虽然略低于直接 GPT-4（主要因为 RANTEXT 丢弃了不在词汇表中的专有名词以保护隐私，且存在语义扰动），但显著优于其他差分隐私方法。
效率：
- 扰动模块耗时极短（约 0.05 秒）。
- 主要开销在提取模块（约 3.5 秒），整体推理延迟在可接受范围内。

5. 意义与结论 (Significance)

理论意义：重新定义了文本生成场景下的 LDP 输入集（从固定静态列表变为动态随机列表），解决了传统 LDP 在生成任务中语义失真严重的问题。
实践价值：为普通用户在使用商业黑盒 LLM（如 ChatGPT）处理敏感数据（如医疗记录、法律文件、个人隐私）时提供了一种可行的隐私保护方案，无需依赖昂贵的同态加密或模型内部修改。
未来方向：指出了当前方法在 MAUVE 分数上的差距以及本地模型资源需求的问题，建议未来通过优化提取模型的系统提示（System Prompt）或开发更优的扰动机制来进一步提升性能。

总结：InferDPT 通过“扰动 - 提取”的双阶段架构，结合创新的 RANTEXT 机制，成功地在黑盒 LLM 文本生成任务中实现了隐私保护与生成质量的有效平衡，是隐私保护与大模型应用结合的重要进展。