💻 computer science

Protecting User Prompts Via Character-Level Differential Privacy

该论文提出了一种基于字符级差分隐私的提示保护方法，通过随机扰动字符并在服务端利用上下文恢复非敏感词，从而在无需显式识别敏感信息的前提下，有效平衡了用户提示的隐私保护与下游任务的实用性。

原作者： Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种保护你在向人工智能（AI）提问时隐私的新方法。简单来说，它就像是在把信寄给 AI 之前，先给信上的敏感信息（比如名字、电话、地址）穿上了一层“防弹衣”，让 AI 能读懂信的大意，却猜不出具体的秘密。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这项技术：

1. 核心问题：把秘密告诉“陌生人”

想象一下，你写了一封家书，里面包含了你的家庭住址、孩子的名字和病历号。你想让一个住在国外的“超级翻译官”（也就是大型语言模型，LLM）帮你总结这封信的内容。

风险：这个翻译官是由第三方公司运营的。如果你直接把原信发过去，翻译官（或者黑客）就能直接看到你的所有隐私。
现状：以前的方法通常是先让人工智能或规则去“找”出哪些词是隐私（比如名字），然后把它涂黑（删掉）。但这就像让一个不熟练的保安去抓小偷，他可能会漏掉一些（比如把“王小明”漏了），或者误删了不该删的（把“苹果”当成水果删了，其实那是你爱吃的水果）。

2. 新方案：给每个字母都“撒点胡椒面”

这篇论文提出的方法非常巧妙，它不需要去识别什么是隐私，而是对信里的每一个字都进行“微调”。

比喻：打乱拼图
想象你的信是由一个个字母组成的拼图。
- 普通词（非隐私）：比如“医生”、“医院”、“今天”。这些词很常见，就像拼图里那种形状很标准的块。即使你故意把拼图的边缘稍微磨圆一点（加一点噪音），那个“超级翻译官”也能凭借经验，一眼看出：“哦，这肯定是‘医生’这个词。”
- 敏感词（隐私）：比如“张三”、"13800138000"、"845-41-54-4"。这些词很独特，就像拼图里形状怪异的块。如果你把它们的边缘也磨圆一点，甚至换个颜色，翻译官就彻底懵了。他可能会猜是“李四”，也可能是“王五”，甚至完全猜不出来。

3. 具体是怎么做的？（三步走）

撒胡椒面（加噪）：
在你的电脑或手机上，在把信发给 AI 之前，程序会随机地把信里每一个字母都稍微改一下。
- 比如把 "Harlan" 改成 "H_rlan" 或者 "H@rlan"。
- 这种修改是随机的，就像你在信纸上撒了一层胡椒面，有些字母被盖住了，有些被换掉了。
- 关键点：不管这个词是隐私还是非隐私，每个字母都有机会被改。这样就不需要先去识别什么是隐私了，避免了“漏网之鱼”。
寄给翻译官（发送）：
把这封被“撒了胡椒面”的信发给远程的 AI。这时候，信里充满了乱码和错别字。
翻译官的“脑补”（恢复与总结）：
AI 收到信后，会尝试做两件事：
- 修复：利用它强大的语言能力，把那些常见的词（如“医生”、“医院”）自动修正回来。因为它见过太多次这些词了，哪怕少几个字母也能猜对。
- 总结：基于修复后的内容，把信的主要内容总结出来。
- 结果：对于敏感词（如“张三”），因为太独特且被改得面目全非，AI 很难猜对。它可能会猜成“哈兰”或者完全乱码。这就保护了隐私。

4. 为什么这个方法很厉害？

不用“找”隐私：以前的方法需要教 AI 什么是隐私（比如“名字是隐私”），但这很难教全。新方法不管是不是隐私，一视同仁地给所有字母加噪。就像给整个房间喷了防雾剂，不管你是想藏镜子还是藏画，都看不清了。
聪明地“牺牲”：它利用了 AI 的一个特点——AI 擅长猜常见的东西，但不擅长猜生僻的东西。
- 常见的词（非隐私）：AI 能猜对，所以信的意思（实用性）保留了。
- 生僻的词（隐私）：AI 猜不对，所以隐私被保护了。
数学上的保障：作者用数学公式证明，如果 AI 连这些被打乱的敏感词都猜不对，那世界上其他的黑客或方法也猜不对。这就像给锁加了一把只有数学能证明打不开的锁。

5. 实验结果怎么样？

作者在两个数据集上做了测试：

医疗记录（包含病人名字、病历号）。
公司邮件（包含员工姓名、电话）。

结果令人惊讶：

当 AI 试图恢复那些敏感词（如病人名字）时，它的成功率几乎和瞎蒙一样低（比如 20% 以下）。
但是，对于非敏感词（如“医生”、“检查”），AI 能恢复 70%-80%。
最终生成的总结报告，意思和原信非常接近（相似度很高），但里面的具体隐私信息却像被“抹去”了一样。

总结

这就好比你想让一个聪明的但有点近视的翻译官帮你读信。

你先把信里所有的字都稍微涂花一点（加噪）。
翻译官看到“医院”这种大词，虽然有点模糊，但能认出来。
但看到“张三”这种小字，因为太模糊且独特，翻译官就彻底认不出了，只能瞎猜。
最后，翻译官给你读出了信的大意（保护了实用性），却完全没听清那个人的名字（保护了隐私）。

这项技术让普通用户在使用云端 AI 时，不再需要担心把秘密告诉第三方，而无需复杂的设置或额外的软件。

1. 研究背景与问题 (Problem)

随着大型语言模型（LLM）的普及，用户越来越多地将其用于个人和工作任务。然而，用户提交的提示词（Prompts）中往往包含高度敏感的信息，如个人身份信息（PII）、专有公司数据或机密细节。

核心风险：大多数 LLM 由第三方托管。如果用户直接将包含敏感信息的原始提示发送给这些模型，存在数据泄露给第三方的风险。敏感信息可能被模型记忆，并在未来的交互中意外暴露，或遭到不信任实体的访问，导致严重的伦理和监管违规。
现有方案的局限性：
- 基于 NER 和规则的方法：依赖实体识别模型，容易产生假阳性和假阴性，且无法处理未见过的敏感格式。
- 同态加密/安全多方计算：计算和通信开销巨大，且通常需要修改 LLM 架构，难以在第三方托管场景下实施。
- 词级差分隐私 (Word-level DP)：虽然提供形式化隐私保证，但会 indiscriminately（不加区分地）扰动所有单词，包括非敏感词，导致语义连贯性下降，隐私与效用（Utility）的权衡不佳。
- 混淆技术：缺乏形式化的隐私保证。

2. 方法论 (Methodology)

作者提出了一种新的字符级本地差分隐私（Character-Level Local Differential Privacy, LDP） 机制，旨在在发送提示给不可信的 LLM 之前，在客户端（用户侧）对提示进行清洗。

核心流程：

噪声注入 (Noise Injection)：
- 在用户端，对提示中的每一个单词的每一个字符独立应用 $k$ -随机响应（ $k$ -Randomized Response, $k$ -RR） 机制。
- 该机制基于差分隐私理论，以概率 $\gamma$ 保留原始字符，以概率 $1-\gamma$ 将其替换为字符集 $C$ 中的随机字符（排除空格）。
- 此过程在客户端完成，无需访问远程 LLM，且保持单词长度不变。
提示恢复与任务执行 (Prompt Restoration & Task Execution)：
- 经过扰动的文本 $T^*$ 被发送给远程 LLM。
- LLM 被指示执行两个任务：首先恢复被噪声破坏的文本（利用上下文线索纠正拼写错误），然后执行下游任务（如摘要生成）。
- 核心直觉：
  - 非敏感词（常见词）：由于在训练数据中频繁出现，且受上下文、词长和语法约束，LLM 能够利用这些线索高概率地恢复原始单词。
  - 敏感词（稀有词/PII）：如特定的人名、电话号码等，通常具有高熵且在训练语料中罕见。即使有上下文，LLM 也难以区分原始词与随机扰动后的词，因此恢复率极低，接近随机猜测。

隐私定义与基线：

作者定义隐私泄露为：扰动后的单词被成功恢复为原始单词。
建立了理论基线：假设单词由完全随机字符组成，计算在 $k$ -RR 机制下，算法仅凭猜测恢复原始单词的概率。实验表明，敏感词的恢复率接近这一理论基线，意味着恢复效果不优于随机猜测。

3. 主要贡献 (Key Contributions)

提出字符级 LDP 提示清洗方法：
- 在客户端直接对字符应用 $k$ -RR，无需显式识别敏感信息（不依赖 NER 或规则），避免了漏报和误报问题。
- 实现了自动化的隐私保护，无需修改远程 LLM 架构。
利用 LLM 的上下文恢复能力平衡隐私与效用：
- 利用 LLM 擅长恢复常见词但难以恢复稀有词的特性，实现了“敏感信息被匿名化，非敏感上下文保持可读”的效果。
- 使用了 GPT-4o mini 和 Llama-3.1 8B 进行验证。
建立理论基线与实证验证：
- 推导了随机单词在字符级扰动下的恢复概率公式。
- 实验证明，敏感 PII 的恢复率接近随机猜测基线，而非敏感词的恢复率显著更高。
统一的隐私 - 效用评估框架：
- 将提出的方法与词级差分隐私和基于规则的 PII 红action（Presidio） 进行了对比。
- 评估指标包括：敏感词恢复率（隐私）、非敏感词恢复率及摘要语义相似度（效用）。

4. 实验结果 (Results)

实验在两个数据集上进行：i2b2/UTHealth（医疗记录）和 Enron（电子邮件），使用 GPT-4o mini 和 Llama-3.1 8B 作为远程 LLM。

隐私保护效果：
- 在隐私参数 $\epsilon$ 处于 4 到 6 的范围内时，敏感词（如姓名、地址、MRN）的恢复率非常低（接近理论随机基线）。
- 例如，在 $\epsilon=5.5$ 时，GPT-4o mini 对敏感词的恢复率低于 20-25%，而非敏感词的恢复率约为 70%。
- 即使进行迭代恢复（让 LLM 尝试第二次恢复），敏感词的恢复率也没有显著增加，进一步证实了稀有词难以被重构。
效用保持：
- 尽管部分非敏感词未被完全恢复，但生成的摘要与原始提示的摘要在语义相似度（Cosine Similarity） 上非常高（在 $\epsilon=5.5$ 时可达 80%）。
- 这表明 LLM 能够理解被扰动的上下文并生成高质量的输出。
对比分析：
- vs. 词级 DP：字符级扰动在同等隐私水平下，能更好地保留摘要质量。词级扰动会替换整个 Token，导致更大的语义偏移，难以修复。
- vs. Presidio (规则基线)：Presidio 在固定设置下效用很高，但缺乏可调性（无法根据风险调整 $\epsilon$ ），且容易因格式不匹配而漏掉敏感信息。字符级 LDP 对所有文本一视同仁，提供了更稳健的隐私保护。
推荐参数：
- 对于 GPT-4o mini，推荐 $\epsilon = 5.5$ 。
- 对于 Llama-3.1 8B，推荐 $\epsilon = 6.0$ 。
- 在此范围内可实现最佳的隐私 - 效用平衡。

5. 意义与结论 (Significance & Conclusion)

无需依赖敏感信息检测：该方法最大的优势在于不需要预先知道哪些词是敏感的，也不需要训练专门的分类器，从而避免了 NER 模型的局限性（如漏报、领域漂移）。
形式化隐私保证：基于差分隐私理论，提供了可量化的隐私保护，且通过 LLM 作为“最强恢复者”的代理，证明了即使是最先进的模型也无法有效恢复高熵敏感词。
实用性强：计算开销低（仅客户端字符替换），适用于第三方托管 LLM 场景，无需修改服务端模型。
结论：该研究提出了一种有效的提示词隐私保护机制，通过字符级扰动和 LLM 的上下文恢复能力，成功在保护敏感 PII 的同时，维持了下游任务的高可用性。这为在不可信环境中安全使用 LLM 提供了一条新的技术路径。