🤖 AI

SharedRequest: Privacy-Preserving Model-Agnostic Inference for Large Language Models

该论文提出了 SharedRequest，这是一个与模型无关的框架，它通过对语义等价的查询进行混合与批处理来掩盖敏感提示词，从而在无需修改模型的情况下，增强了隐私保护型大语言模型推理的性能，并实现了卓越的效用以及高达 5 倍的成本降低。

原作者： Peihua Mai, Xuanrong Gao, Youlong Ding, Xianglong Du, Wei Liu, Yan Pang

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Peihua Mai, Xuanrong Gao, Youlong Ding, Xianglong Du, Wei Liu, Yan Pang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想向一个超级聪明的 AI（比如一个数字先知）提问，但你的问题中包含一个秘密——也许是你的具体职位、某种医疗状况，或者是一项财务细节。你不希望 AI 公司知道你的这个秘密，但你仍然需要一个好的答案。

目前，试图隐藏你的秘密通常会导致两种糟糕的结果：

“模糊照片”法： 你把词句搅乱得太厉害，导致 AI 感到困惑，从而给你一个糟糕的答案。
“重锁”法： 你使用复杂的数学方法将问题锁起来。这虽然保证了安全，但速度极慢且成本高昂，很难让大规模人群使用。

这篇论文介绍了一种名为 SharedRequest 的新系统。把它想象成一种聪明的“群聊”策略，它同时解决了这两个问题。

核心理念：“团购订单”类比

想象一下，你和 99 个朋友都想从一家面包店（AI）订购一个定制蛋糕。

问题所在： 你们每个人想要的口味都不同，但你担心面包师会看到你的具体订单，从而猜出你的个人秘密（例如：“我订的是无麸质蛋糕，因为我有乳糜泻”）。
旧方法： 你们每个人分别发送自己的订单，并将词句搅乱，以便面包师无法阅读。这种方式既慢又贵，而且面包师可能仍会对搅乱后的词句感到困惑。
SharedRequest 的方式：
1. 分组： 系统注意到你们中有 50 个人只想买“巧克力蛋糕”，另外 50 个人想要“香草蛋糕”。它根据你们想做的事情（通用的指令），而不是你们是谁，将你们归为一组。
2. 混淆： 对于“巧克力”组，系统会将你的真实订单（“[姓名] 的无麸质巧克力蛋糕”）与 10 个虚假订单（“[虚假姓名 1] 的无麸质巧克力蛋糕”、“[虚假姓名 2] 的普通巧克力蛋糕”等）混合在一起。
3. 批处理： 面包店收到了一大堆被打乱的 60 份巧克力蛋糕订单。他们无法分辨哪一个是你的，哪一个是假的。他们为整个小组统一制作一次蛋糕（节省了成本），然后分发答案。
4. 结果： 你得到了你特定的答案，但面包店看到的只是一个混乱且相似的请求集合。你的秘密隐藏在人群之中。

它是如何运作的（三个角色）

该系统使用三个参与方来完成这一奇迹：

你（用户）： 你发送你的问题。你通过加密（将其放入锁定的盒子中）来隐藏你的秘密部分（如你的姓名或职业）。
噪声采样器（中间人）： 这是一个受信任的第三方（类似于隐私守护者）。他们接收你的锁定盒子。他们可以查看你提问的类型（例如，“寻找餐厅”），但无法看到你的秘密。然后他们：
- 寻找其他提出相同类型问题的用户。
- 生成你秘密的虚假“噪声”版本（例如，如果你的秘密是“网络安全”，他们会生成虚假的“市场营销”或“会计”版本）。
- 将你的真实秘密与这些虚假版本混合并全部打乱。
服务提供商（AI 面包店）： 他们接收到巨大的、被打乱的混合问题堆。因为他们无法分辨哪个问题属于谁，所以你的隐私是安全的。他们将答案发回给中间人，再由中间人传递给你。

为什么这种方法更好？

论文声称这种方法是一个“双赢”，原因有三：

更聪明（更好的效用）： 与其他通过搅乱词句来破坏答案的方法不同，SharedRequest 保持了你问题的原意。AI 能完美理解你，因为所谓的“噪声”只是由一些相似且合理的选项组成的，而不是乱码。作者表示，它的表现比以往的隐私方法高出 20%。
更便宜（成本摊薄）： 因为 AI 一次性处理整个小组的问题，生成“虚假”问题的成本由所有人共同承担。如果 1,000 人提出了类似的问题，人均成本会大幅下降。论文指出，这可以使查询成本比单独查询降低 5 倍。
更灵活（模型无关）： 你不需要改变 AI 的构建方式。它可以与任何现有的 AI 模型（如 ChatGPT 或 Gemini）配合使用，无需 AI 公司安装特殊的软件。

安全网

论文还解决了一个棘手的问题：如果“噪声采样器”和“AI 面包店”联手作弊怎么办？

作者提出了一个更强大的版本，其中包含多个噪声采样器。要破坏你的隐私，他们必须在同一时间进行串通。只要有一个采样器是诚实的，你的秘密就是安全的。

总结

SharedRequest 就像是在一场拥挤的音乐会上通过隐身于人群中来保护自己。你不是单独向 DJ（AI）低声诉说你的秘密，而是加入了一个庞大的群体，大家都在询问类似的问题。DJ 听到的是一阵类似的请求声，无法分辨出你独特的声音，但你依然能完美地听到你想要的歌曲。它更快、更便宜，并且能在保持 AI “聪明”的同时，让你的秘密保持安全。

技术摘要：SharedRequest

问题陈述

随着 ChatGPT 等公共大语言模型（LLM）的广泛部署，实用性与用户隐私之间产生了严重的冲突。虽然基于云端的 LLM 提供了变革性的能力，但用户的提示词往往包含敏感信息（例如：个人属性、医疗历史、法律细节），这些信息必须对包括服务提供商在内的第三方保持机密。

现有的隐私保护推理方法面临着隐私、实用性和效率之间的“三难困境”：

密码学方法 (SMPC)： 如 Iron、MPCFormer 和 SecFormer 等方法提供了强大的隐私保证，但引入了极高的通信和计算开销，限制了可扩展性。
局部差分隐私 (LDP)： RanText 和 CusText 等方法在客户端对提示词进行扰动，但往往会显著降低响应质量（实用性），并且在文本生成任务中表现不佳。
特定模型的修改： 许多解决方案需要访问模型参数或进行架构更改，这对于专有的黑盒模型而言是不可行的。
个体扰动： 当前的模型无关方法通常独立地扰动每个提示词，导致语义失真，并在为了确保隐私而生成多个噪声变体时产生高昂的查询成本。

方法论：SharedRequest

作者提出了 SharedRequest，这是一个模型无关的框架，它将隐私保护的范式从个体提示词层面重新构建为批处理层面。其核心洞见在于，商业 LLM 处理的大规模查询批次中，许多用户共享语义等价的通用指令（例如：“[地点]有哪些推荐的餐厅？”）。

核心机制

SharedRequest 通过一个涉及用户、噪声采样器（第三方协调者）和服务提供商（LLM 所有者）的三方协议运行。

提示词分解：
- 用户提示词被拆分为通用指令 ( $T_q$ ) 和私有属性 ( $A_q$ )。
- 用户识别出私有属性，并从预先构建的数据库或通过本地生成来采样一组合理的替代属性 ( $A'$ )。
批处理级分组与噪声注入：
- 噪声采样器接收来自用户的加密私有属性。它根据通用指令对提示词进行分组。
- 对于每个组，采样器通过将原始私有属性替换为采样的替代属性来生成噪声变体。
- 至关重要的是，采样器采用了组合过滤机制。它并没有发送所有可能的属性组合（这会导致指数级增长），而是使用一个预训练的判别器来为上下文中的属性组合评分其“真实性”。只有超过质量阈值的组合才会被选中。这确保了噪声提示词与真实的提示词在外观上无法区分。
安全传输：
- 前向传输： 用户使用服务提供商的公钥对私有属性进行加密。发往噪声采样器的消息使用采样器的公钥进行加密。这确保了采样器只能看到通用指令和候选列表，而服务提供商看到的则是真实提示词与噪声提示词的混合排列，但无法将其与特定用户关联起来。
- 后向传输： 服务提供商为该批次生成响应。为了防止噪声采样器获知内容，服务提供商使用由用户提供的种子生成的伪随机掩码对响应进行遮蔽。用户通过模减法重建真实的响应。
成本摊销：
- 服务提供商聚合批次内相同的提示词（包括真实的与噪声的），并为每个唯一的提示词生成单次响应。
- “噪声”查询的推理成本被摊销到整个共享相同通用指令的批次用户身上。

隐私定义

论文引入了 $(A_n, \epsilon)$ -不可区分性，这是对标准差分隐私 (DP) 的一种放宽。

邻居： 如果一个提示词集可以通过将其中单个提示词的私有属性替换为用户定义集合中的“合格替代品”来获得另一个提示词集，则这两个集合被视为邻居。
保证： 该机制确保了服务提供商的视图（一组打乱后的提示词）在私有属性的变化方面是不可区分的，前提是噪声采样器和服务提供商不发生共谋。

核心贡献

新颖的批处理级范式： 一个模型无关的框架，通过对语义等价的请求进行分组进行联合处理，利用打乱的噪声变体实现隐私保护，并通过批处理级摊销实现成本降低。
轻量级多方协议： 一种既能保护用户匿名性，又能隐藏私有属性免受服务提供商获取的设计，且无需修改 LLM 架构或访问模型参数。
理论形式化： 通过 $(A_n, \epsilon)$ -不可区分性对隐私进行了形式化，并进行了理论分析，证明了在非均匀（长尾）请求分布下的查询成本摊销优势。
第三方协调： 一种高效的噪声查询采样机制，通过将复杂的组合选择任务卸载给噪声采样器，减少了用户端处理具有多个私有属性的提示词时的计算量。

实验结果

该框架在三个隐私敏感数据集上进行了评估：Legal-QA、Medical-QA 和 MMLU-Biz。

实用性：
- “原始”版本（未使用提示词简化）实现的实用性与非隐私基准几乎一致（损失在 1% 以内）。
- 与最先进的模型无关 LDP 基准（RanText, CusText, DP-Prompt, InferDPT）相比，SharedRequest 在隐私预算 ( $\epsilon$ ) 为 1 到 5 的范围内，实现了超过 20% 的更高实用性（以 F1 分数或质量评分衡量）。
查询成本：
- 与非批处理推理相比，共享提示词机制将查询成本降低了高达 5.6 倍，特别是在通用指令分布集中（低熵）的情况下。
- 成本降低程度随批次大小和请求分布的偏斜度而变化。
鲁棒性：
- 针对服务器试图区分真实提示词与噪声提示词的推理攻击，SharedRequest 比随机采样基准降低了约 32.7% 的攻击成功率 (ASR)。
- 该框架在提供显著更高实用性的同时，保持了与其他 DP 基准相当的攻击成功率。
效率：
- 噪声采样器上的属性过滤计算开销很低（对于一个 1.5B 参数的判别器，每个指令组耗时低于 6.2 秒）。
- 通信开销极小（< 0.1 MB），与标准 DP 方法相当，且显著低于基于 SMPC 的方法。

重要性与主张

论文声称，SharedRequest 通过打破隐私、实用性和效率之间的权衡，解决了当前保护 LLM 推理隐私的根本局限。通过将隐私范式从个体扰动转向批处理级混合，该框架利用了大规模 LLM 使用中天然存在的冗余性，从而摊销了隐私保护的成本。

作者强调，这种方法是模型无关的，可以立即应用于专有的黑盒模型，而无需服务提供商的配合或架构更改。结果表明，对于请求分布集中的现实场景，SharedRequest 提供了一条在维持高实用性的同时显著降低运营成本的实用路径。

承认的局限性：

该协议假设噪声采样器和服务提供商不会发生共谋。
用户负责识别私有属性并生成替代项（尽管可以使用 NER 或本地 LLM 等工具辅助）。
当查询分布不均匀时，成本效益最大；高度独特的查询可能会减少摊销效果。