💻 computer science

Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

本文提出了一种用于协作式大语言模型（LLM）推理的信息论防御框架，该框架利用隐私适配器和低维信息瓶颈来最小化中间激活值与输入提示词之间的互信息，从而针对提示词逆向攻击实现卓越的隐私-效用-延迟权衡。

原作者： Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观： “云端厨房”问题

想象一下，你拥有一个非常小、动力很弱的厨房（你的手机或电脑），它想要使用一本世界级的食谱（大语言模型，简称 LLM）来烹饪一道复杂的菜肴。你的厨房没有足够的空间或工具来完成整道菜，所以你决定在烹饪进行到一半时，将食材送到一个巨大的、专业的“云端厨房”去完成最后的烹饪。

问题所在：
当你把这些半成品食材（“中间激活值”）送到云端厨房时，那里一个爱窥探的厨师可能会通过观察食物的状态，精准地猜出你原本的秘密食谱是什么。这被称为提示词逆向攻击（Prompt Inversion Attack）。即使你只发送了一些线索，一个聪明的攻击者也能通过观察烹饪过程中的中间状态，还原出你的私密输入内容（比如医疗诊断结果或法律机密）。

旧有的解决方案：
以前试图解决这个问题的方法，就像是在发送食材前往里面撒一点盐或胡椒粉（添加噪声），或者尝试把它们装进一个更小的盒子里（减小尺寸）。问题在于，这些方法往往效果并不理想。它们可能会破坏菜肴的味道（让 AI 的回答变差），却无法有效地隐藏秘密食材。

新的解决方案： “智能过滤器”（隐私适配器）

作者提出了一种更聪明、更有效的保护秘密的方法。他们称之为信息论防御（Information-Theoretic Defense）。

你可以把它想象成在将食材送往云端厨房之前，安装了一个智能过滤器（称为“隐私适配器”）。

挤压（信息瓶颈）：
想象一下，你的食材是一大堆色彩斑斓的蔬菜、香料和肉类。智能过滤器强迫这堆庞大的食材通过一根极细的吸管。
- 什么能通过？ 食材的核心结构（“语法”或句法）。云端厨房仍能获得足够的信息来正确地完成句子的烹饪。
- 什么会被留下？ 特定的、敏感的细节（“语义”或秘密词汇）。因为吸管非常细，那些独特的、稀有的食材（比如某种特定的药物名称或个人的身份证号）会在挤压过程中被压碎或丢失。
“无残留”规则：
论文提出了一个至关重要的观点：你不能只是在食材上添加一点噪声并寄希望于好运。如果你只是在原始食材上叠加噪声，一个聪明的厨师仍然可以通过数学方法“减去”这些噪声，从而看到原始食材。
- 解决方法： 作者的过滤器是用压缩后的版本完全替换了原始食材。它不是在原有的堆叠上添加东西，而是扔掉原来的那一堆，只发送挤压、压缩后的版本。这使得从数学上逆向工程出原始秘密变得绝无可能。

他们是如何训练这个过滤器的

作者并非凭空猜测如何构建这个过滤器。他们采用了一种“训练营”的方法：

防御者（你）： 试图让过滤器尽可能地挤压食材，以隐藏秘密。
攻击者（云端厨师）： 试图通过观察挤压后的食材来猜出原始食谱。
游戏规则： 他们进行一场来回博弈。防御者试图让攻击者失败，而攻击者则试图提高自己的猜测能力。目标是找到一个完美的平衡点，即云端厨师仍能完成烹饪（高实用性），但无法猜出你的秘密食材（高隐私性）。

“选择性保护”的惊喜

其中一个最酷的发现是，这个过滤器具有天然的选择性。

常用词汇（如“the”、“is”、“and”或标点符号）就像面粉或水。它们很常见，即使通过细小的吸管也能轻松描述。过滤器让这些信息轻松通过，从而保证句子在语法上依然通顺。
敏感词汇（如“癌症”、“SSRI药物”或“航班号 621”）就像稀有且异域风情的香料。它们很难用有限的空间来描述。当过滤器挤压数据时，这些稀有且敏感的词汇会首先丢失。

结果是： 云端厨房仍然可以写出“飞行体验很好，工作人员很友好”，但它会完全丢失具体的航班号、航线或医疗状况。攻击者可能知道你写了一篇评论，但他们无法得知评论的具体内容。

用通俗语言描述的结果

作者在真实场景（医疗笔记、法律文件、航空公司评论）中使用强大的 AI 模型进行了测试。

隐私性： 与其他方法相比，他们将攻击者猜中秘密的能力降低了 15% 到 35%。在某些情况下，攻击者的成功率从接近 90% 下降到了大约 50%（基本上变成了抛硬币的概率）。
质量： AI 的回答仍然非常出色。“味道”并没有被破坏。
速度： 该过滤器非常轻量化，仅使处理过程减慢了约 6% 到 8%。这足以在手机上使用，不会让你感到等待。

总结

这篇论文介绍了一种用于 AI 的“智能过滤器”，它会在将你的数据发送到云端之前对其进行挤压。它在数学上保证了敏感的秘密会被压碎，同时保持了有用的结构。这就像寄出一封信，信封非常小，以至于只有大致的主题能通过，而具体的姓名和数字会被留在身后，而且整个过程并不会耽误邮件的投递速度。

技术摘要：通过信息论协同推理防御提示词逆向攻击

问题陈述
协同边缘-云推理允许资源受限的设备利用大语言模型（LLM），其方式是在本地执行初始层，并将中间激活值（activations）卸载到云端服务器。然而，这种架构使敏感的用户提示词面临**提示词逆向攻击（prompt inversion attacks）**的风险，即攻击者可以从共享的表示中重建原始输入。现有的防御手段（如启发式噪声注入或降维）缺乏关于隐私泄露的原则性理论保证，且往往无法解决维护任务效用与保护 Token 身份之间的根本矛盾。此外，前人的研究表明，Token 身份会贯穿所有 Transformer 层，这使得简单的基于深度的混淆变得无效。

方法论
作者提出了一种信息论防御框架，将隐私泄露建模为输入提示词 $x$ 与传输的受保护激活值 $A$ 之间的互信息（MI）。该防御被公式化为一个极小极大（minimax）优化问题：

目标： 在满足延迟约束的前提下，最小化 $I(A; x)$ （隐私泄露）并最大化 $I(A; y)$ （用于下一 Token 预测的效用）。
架构（隐私适配器）： 核心机制是在客户端冻结的 Transformer 层之间插入轻量级的、可训练的隐私适配器（privacy adapters）。与添加残差连接的 LoRA 式适配器不同，这些适配器实现了严格的信息瓶颈（information bottleneck）：
- 它们通过下投影、非线性变换和上投影，将激活值从维度 $d$ 压缩到低维子空间 $r$ （其中 $r \ll d$ ）。
- 至关重要的是，它们是替换而非加性地扰动激活值。作者在理论上证明，注入式残差连接（常见于其他防御手段）无法降低互信息，而非注入式瓶颈则强制执行有损压缩，从而真正减少互信息。
优化： 系统采用交替训练方案。一个对手网络（Token 分类器）被训练以最大化重建准确率（最小化交叉熵），而适配器则通过最小化由对手的交叉熵与下游任务的困惑度（perplexity）组成的组合损失来进行更新。这直接估计并最小化了互信息的变分上界。

核心贡献

信息论极小极大框架： 本文建立了一个针对提示词逆向攻击的正式防御框架，通过显式最小化互信息并利用学习到的对手进行防御，弥合了理论隐私界限与实际实现之间的鸿沟。
具有理论保证的隐私适配器： 作者引入了强制执行有损压缩的适配器模块。他们提供了一个形式化证明（定理 4.2），指出残差风格的防御（注入映射）无法降低互信息，从而证明了其非注入式瓶颈设计的必要性。他们还推导了重建误差随瓶颈维度变化的界限。
敏感 Token 分析： 该框架引入了一种区分敏感 Token（如医疗状况或法律实体等领域特定术语）与常见结构化 Token（如停用词、标点符号）的方法。理论预测并实验证实，瓶颈会不成比例地抑制高熵（敏感）Token，同时保留维持句法连贯性所需的低熵（常见）Token。
全面评估： 该方法在三种 LLM（LLaMA-2-7B/13B, Mistral-7B）和三个领域（医疗、法律、航空公司评论）中进行了验证，对抗了基于分类和基于优化的提示词逆向攻击。

实验结果

隐私-效用权衡： 该方法显著降低了攻击成功率。在各种设置下，与基准方法相比，它将敏感 Token 的恢复率降低了 15–35%；在最佳配置下（例如 $\lambda=0.5$ ），敏感 Token 的准确率比常见 Token 高出多达 35 个百分点。
与基准对比： 所提出的适配器优于现有的防御手段，包括高斯/拉普拉斯噪声、PCA 以及信息泄露削减方法（NoPeek、基于 Fisher 的掩码）。值得注意的是，基于噪声的方法通常面临“隐私-效用悬崖”，即强力的隐私保护会破坏效用（困惑度），而适配器在显著降低攻击准确率的同时，仍能保持可用的困惑度（例如 PPL < 100）。
效率： 该方法在边缘设备（在 Jetson Orin Nano 上测试）上引入的延迟开销极低（<9%），且增加的参数量微乎其微（<0.3% 的全量模型参数）。
鲁棒性： 该防御在不同攻击类型间具有泛化性；从受保护激活值中从头训练的“新鲜”攻击者，其成功率与训练好的对手模型相似，这证实了该防御并非仅仅是隐藏了特定协同模型的特征。

意义与主张
本文声称提供了首个针对协同 LLM 推理中提示词逆向攻击的信息论隐私防御。其主要意义在于将范式从启发式扰动转向了具有可证明重建误差界限的有损压缩原则。作者认为，他们的研究表明，学习型且任务感知的变换对于实际应用中的边缘-云 LLM 系统隐私保护至关重要，能够使敏感应用（医疗、法律）在不暴露原始用户提示词的情况下利用 LLM。该工作确立了隐私保护无需是均匀的；通过选择性地抑制高熵 Token，系统可以在保护敏感内容的同时，维持下游推理所需的结构完整性。