💬 NLP

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

该论文提出了 DP-Fusion，一种针对大语言模型的标记级差分隐私推理机制，通过在理论上限制敏感上下文标记对输出的影响，从而实现高质量的文档隐私化，并与现有方法相比显著提升了隐私与效用的权衡。

原作者： Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、爱说话的机器人（大语言模型，或称 LLM），它能帮你总结文档。有时，这些文档包含敏感信息，比如患者的姓名、特定的日期或银行账号。你想让机器人总结故事，但又不想让它不小心泄露这些秘密。

问题在于，目前的机器人表现得很糟糕。如果你只是告诉它们“不要说出名字”，它们可能会变得混乱并写出一些不知所云的内容。如果你告诉它们“把它改写得好一点”，它们可能还是会不小心泄露秘密。

走进 DP-FUSION：这款“秘密安全”搅拌机

作者们开发了一种名为 DP-FUSION 的新方法，它被称为一种特殊的文本“搅拌机”。它能保证在隐藏秘密的同时，保持故事的可读性。以下是它的工作原理，我们用一个简单的类比来说明：

场景：两个版本的同一个故事

想象你有一份关于“史密斯夫人（Mrs. Smith）”账单金额为“345.25美元”的医疗报告。

原始故事： 包含了姓名“史密斯夫人”和精确的账单金额。
脱敏后的故事： 你用记号笔把“史密斯夫人”和“345.25美元”涂掉，用空白占位符如 [姓名] 和 [金额] 来替换。

DP-FUSION 如何工作（搅拌过程）

DP-FUSION 并不只是在两个版本之间做选择，它进行了一场聪明的“舞蹈”：

运行两次机器人：
- 首先，它要求机器人使用脱敏后的故事（安全版本）来预测下一个词。这会得到一个“安全”的猜测。
- 其次，它要求机器人使用原始故事（含有秘密的版本）来预测下一个词。这会得到一个“冒险”的猜测，可能会泄露秘密。
“隐私旋钮”（搅拌器旋钮）：
- 系统有一个被称为 $\epsilon$ (epsilon) 的旋钮。
- 旋钮调到最低（低 $\epsilon$ ）： 搅拌机会将这两个猜测混合得非常彻底，使得“冒险”的秘密几乎完全被“安全”的猜测所淹没。机器人可能会说“一位患者”而不是“史密斯夫人”。这种方式非常私密，但故事可能会显得有些平淡乏味。
- 旋钮调高（高 $\epsilon$ ）： 搅拌机会让更多的“冒险”猜测通过。如果语境合适，机器人可能会说出“史密斯夫人”。这样故事听起来更好，但泄露秘密的风险也会略微增加。
保证：
- DP-FUSION 的神奇之处在于，它在数学上证明了无论黑客如何努力尝试去猜，他们成功的概率都会受到这个旋钮设置的严格限制。即使黑客完全了解这个搅拌器的工作原理，他们也无法通过逆向工程推导出秘密。

为什么它比我们现有的方法更好？

论文将 DP-FUSION 与其他方法进行了对比：

“清洗器”（NER）： 这就像是用黑色记号笔涂掉秘密。它很安全，但会在文本中留下难看的空洞，导致可读性较低（效用低）。
“改写器”（提示词工程/Prompt Engineering）： 这就像是要求机器人“把它改写得好一点”。它听起来不错，但由于机器人没有被强制要求必须谨慎，它往往还是会不小心泄露秘密。
DP-FUSION： 它是这两者的平衡点。它既能保持文本流畅（高质量），又能从数学上保证秘密被隐藏。

结果

研究人员在真实的法律和医疗文档上测试了该方法。他们发现：

质量： 由 DP-FUSION 生成的文本比其他隐私处理方法更自然、更具可读性。事实上，在“困惑度”（衡量文本是否令人困惑的一个指标）方面，它比次优的隐私处理方法要好 6 倍。
安全性： 即使黑客试图猜测隐藏的名字或日期，他们的成功率也几乎和随机猜测一样低。
额外安全性： 该方法还有助于阻止“越狱攻击”（Jailbreak attacks），即黑客试图诱导机器人忽略其规则的行为。通过将可疑的输入视为“敏感标记（sensitive tokens）”，搅拌机可以稀释它们的影响力，从而保持机器人的安全。

总结

DP-FUSION 是一种使用 AI 来总结敏感文档的新方法。它就像一个智能搅拌机，将“安全版”文本与“真实版”文本进行混合，并通过一个隐私旋钮进行控制。这确保了秘密（如姓名或日期）在数学上得到保证，同时生成的文本依然保持高质量且易于阅读。

技术摘要：DP-FUSION

问题陈述

大语言模型（LLMs）在推理过程中缺乏内在的隐私保证。当 LLM 被增强以使用包含敏感信息（例如个人身份信息或 PII）的工具或外部数据库时，模型的输出可能会无意中泄露这些上下文。现有的隐私保护推理方法存在显著局限性：

缺乏可证明的保证： 诸如提示工程（prompt engineering）或简单的脱敏（redaction）等方法无法提供正式的隐私保证，且容易受到重构攻击或成员推理攻击的影响。
效用/隐私权衡较差： 诸如 DP-Decoding（通过插值均匀噪声）或 DP-Prompt（裁剪 Logits）等差异化隐私（DP）推理方法通常会导致文本质量严重下降（高困惑度/perplexity）以换取隐私。

所解决的具体挑战是文档私有化：对包含敏感 Token 的文档进行改写，使得攻击者无法从改写后的输出中可靠地推断出原始的敏感 Token，同时保持高质量的文本质量。

方法论：DP-FUSION

作者提出了 DP-FUSION，一种 Token 级的差异化隐私推理（DPI）机制，它能够可证明地限制敏感上下文 Token 对生成输出的影响。该方法运行在一个适应性灰盒攻击者（gray-box attacker）的威胁模型下，该攻击者了解推理方法、模型架构和权重，并能观察到私有化后的输出和被脱敏后的输入。

核心机制

DP-FUSION 借鉴了基于集成预测（ensemble-based prediction）的隐私概念（类似于 PMixED），并将其应用于推理场景。该过程包含四个主要步骤：

Token 标记（Token Labeling）： 使用标记器（如 NER）识别并将输入文档中的敏感 Token 子集分组为隐私组（ $G_1, \dots, G_m$ ）。
基准推理（公开）： 在对文档中所有敏感 Token 进行脱敏（替换为等长的占位符）的情况下运行 LLM，以获得“公开”的下一个 Token 分布（ $p_{pub}$ ）。
私有推理： 为每个隐私组运行 $m$ 次 LLM（一次针对每个隐私组），其中仅揭示特定组 $G_i$ 的 Token 以及脱敏后的上下文。这会产生 $m$ 个“私有”的下一个 Token 分布（ $p_{priv, i}$ ）。
分布混合（Mollification）： 通过二分查找法计算每个组 $i$ $i$ 的系数 $\lambda_i \in [0, 1]$ $λ_{i} \in [0, 1]$ 。 $\lambda_i$ $λ_{i}$ 是满足预定义隐私预算 $\beta_i$ $β_{i}$ 的最大值，使得混合分布（ $\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$ $λ_{i} p_{p r i v, i} + (1 - λ_{i}) p_{p u b}$ ）与基准分布 $p_{pub}$ $p_{p u b}$ 之间的 Rényi 散度满足要求。
- 最终的下一个 Token 分布是这些混合分布的平均值。
- 从该混合分布中采样一个 Token。

隐私保证

该方法提供每组 $(\alpha, \beta_i)$ -Rényi 差异化隐私（RDP）。

邻域定义： 如果两个文档仅在单个隐私组的所有 Token 存在或不存在上有所不同，则认为它们是相邻的。
理论界限： 该算法确保相邻文档的输出分布之间的对称 Rényi 散度是受限的。这转化为整个生成转录本的 $(\epsilon, \delta)$ -DP 保证，其中 $\epsilon$ 受生成的 Token 数量、Rényi 阶数 $\alpha$ 和各组预算 $\beta_i$ 的控制。
鲁棒性： 即使查询是被恶意选择的（例如，越狱尝试），该机制也能限制攻击者的优势。

核心贡献

Token 级 DP 推理： 引入了一种能在 LLM 推理期间提供可证明 DP 保证的方法，特别适用于改写任务。
改进的效用/隐私权衡： 与向输出分布添加噪声或裁剪 Logits 的先前方法不同，DP-FUSION 根据“敏感”与“非敏感”上下文之间的差异来混合分布。这使得在严格限制特定 Token 泄露的同时，能够保留更多的语义信息。
缓解提示注入（Prompt Injection）： 作者证明该机制也可应用于安全性领域，其中“敏感 Token”被定义为从不可信来源（例如 RAG 流水线）检索到的块。通过限制这些块的影响，DP-FUSION 可以缓解提示注入攻击。
开源实现： 作者发布了一个 PyPI 包和 GitHub 仓库，支持将 DP-FUSION 应用于任意 LLM 和数据集。

实验结果

实验使用 Qwen 2.5 7B-Instruct 模型在 TAB-ECHR 数据集（带有手工标注 PII 的欧洲人权法院案例）上进行。

效用（困惑度/Perplexity）： 在宽松隐私设置（ $\alpha\beta = 0.10$ $α β = 0.10$ ）下，DP-FUSION 的困惑度（PPL）达到 1.426；在严格设置（ $\alpha\beta = 0.01$ $α β = 0.01$ ）下为 1.459。
- 这显著优于 DP-Decoding（PPL > 3.9）和 DP-Prompt（宽度为 50 时 PPL > 4.26，宽度为 5 时 PPL > 100）。
- 在同等隐私水平下，DP-FUSION 的困惑度比表现最好的基准方法（DP-Prompt）低 6 倍。
效用（LLM-as-a-Judge）： 在与 DP-Decoding 和 DP-Prompt 的成对比较中，DP-FUSION 改写的文本胜率 >95%。在严格隐私设置下，它在 45% 的情况下也优于 “No DPI - NER”（纯脱敏）基准。
隐私（攻击成功率/ASR）： 作者评估了 Token 恢复攻击（Min-K% 和 LOSS 攻击）。
- 即使在高效用情况下，DP-FUSION 仍保持了接近随机猜测的攻击成功率（对于 $|C|=5$ ，约为 26-29%）。
- 相比之下，DP-Prompt（宽度 50）显示 ASR 约为 50%，表明尽管其困惑度较低，但在经验隐私方面失败了。
- 由于引入了分布混合过程中的随机性，DP-FUSION 在严格设置下提供了比 No-DPI NER 基准略好的隐私保护。

意义与主张

论文声称，DP-FUSION 通过提供可证明的 DP 保证，且不会出现现有 DP 推理方法中常见的严重效用退化，代表了在部署带有敏感数据的 LLM 方面的重大进展。

范式转变： 作者认为，隐私不应被视为后处理步骤或全局噪声注入，而可以通过显式建模特定 Token 组的影响并通过分布混合来限制该影响来进行管理。
实用性： 该方法在计算上是可行的（可并行化），并且可以在无需重新训练的情况下与现有 LLM 配合使用。
双重效用： 除了隐私之外，该机制还被声称能有效应对 RAG 系统中的提示注入等安全威胁，为处理不可信上下文提供了一种统一的方法。

作者对初始 Token 标记器（NER）的质量依赖保持审慎态度，承认标记中的假阴性情况超出了理论保证范围，但实验结果表明，现成的标记器足以应对所展示的使用场景。