🤖 AI

On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

本文表明，此前被视为安全 Transformer 推理中抵御模型权重提取的鲁棒性防御措施的洗牌防御，易受一种新型攻击的影响，该攻击通过对齐置换后的激活值，能够以较低的查询成本高精度地恢复模型权重。

原作者： Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

全景图：“黑盒”问题

想象一下，你想让一个超级聪明的 AI（比如一个机器人厨师）为你做一顿饭。你不想告诉厨师你的秘密食谱（你的输入），而厨师也不想向你展示他们的秘密香料配方（他们的模型权重）。

为了解决这个问题，科学家们创建了一个“安全厨房”。在这个厨房里，厨师和顾客使用一种特殊的锁钥系统（密码学）协同工作。厨师负责烹饪，但顾客只能看到最终的菜肴。厨师永远看不到原材料，顾客也永远看不到秘密香料。

瓶颈：“慢炖锅”

问题在于，这个安全厨房极其缓慢。烹饪简单的东西（比如切菜，或线性层）很快。但烹饪复杂的东西（比如烤舒芙蕾，或非线性层）需要顾客和厨师之间进行无数次来回检查，耗时极长。

为了加快速度，一些研究人员提出了一个捷径：“让我们直接把中间步骤展示给顾客看吧！”
他们不再在烘焙步骤中隐藏秘密香料配方，而是让顾客看到混合好但尚未烘焙的面糊。这使得处理速度提高了 10 到 50 倍。

“洗牌”防御：打乱的拼图

研究人员知道，如果顾客看到了面糊，他们可能会逆向工程出秘密香料配方。因此，他们添加了一种名为洗牌的防御机制。

想象面糊是一个由 1000 块碎片组成的拼图。在展示给顾客之前，厨师将碎片扔进搅拌机，彻底打乱它们，然后递给顾客一袋混合好的碎片。

逻辑：由于排列这些碎片的方式有 $1,000!$ 种（一个带有数百个零的数字），研究人员认为顾客不可能猜出原始顺序。他们相信这个“打乱的拼图”是安全的。

攻击：在混乱中寻找规律

本文认为，这种“打乱的拼图”防御并不安全。作者找到了一种无需知道原始顺序即可解开拼图的方法。

以下是他们如何做到的，使用一个简单的类比：

“几乎相同”的诡计：
想象你让厨师烤两个几乎完全相同的蛋糕。你给他们的食材只有极微小的差异（比如多加了一粒盐）。
- 因为蛋糕如此相似，两个蛋糕的面糊看起来也几乎完全一样，只有微小的差异。
“打乱”后的交付：
厨师烤好两个蛋糕，将两个蛋糕的面糊碎片分别打乱，然后发送给你。
- 蛋糕 A 的面糊按顺序 #1 被打乱。
- 蛋糕 B 的面糊按顺序 #2 被打乱。
“媒人”解决方案：
尽管碎片被打乱了，但它们的数值（碎片的口味/大小）依然存在。因为两个蛋糕非常相似，蛋糕 A 中的面糊碎片与蛋糕 B 中对应的碎片大小几乎相同。
- 攻击者观察两袋被打乱的碎片。
- 他们找到袋子 A 中与袋子 B 中某块碎片大小最接近的那一块。
- 将它们匹配起来。
- 通过对每一块碎片都这样做，他们可以弄清楚这两种打乱方式之间的关系。他们本质上将两个打乱的拼图“重新对齐”到一个共同的顺序中。
结果：
一旦攻击者对齐了碎片，他们就可以利用数学解出秘密香料配方（模型权重）。
- 关键点：攻击者获得的权重并非完全原始顺序。这就像得到的香料配方中，“盐”罐被标记为“胡椒”，而“胡椒”罐被标记为“盐”。
- 为何仍然有效：即使标签互换，厨师仍然可以做出完全相同的菜肴。数学运作完美；这仅仅是相同食材的不同排列方式。

现实世界测试

作者在两个流行的 AI 模型（Pythia-70m 和 GPT-2）上测试了这一点。

成本：运行这次攻击的成本约为1 美元。
成功：他们以近乎完美的准确率对齐了打乱的碎片（误差小于沙粒）。
结果：他们以极高的准确率恢复了模型的“香料配方”，以至于他们可以利用它构建一个行为几乎与原始模型完全相同的仿冒 AI。

帮助攻击的“故障”

你可能会问：“如果计算机只接受整数，他们是如何让两个蛋糕变得如此相似的呢？”
作者在安全厨房的数学运算中发现了一个微小的“故障”。当计算机进行安全数学运算时，有时会丢失微小的精度（比如舍去小数位）。这种情况是随机发生的。作者意识到，他们可以利用这些微小的随机舍入误差作为他们所需的“一粒盐”的差异，使两个蛋糕产生细微差别，从而使攻击得以实施。

结论

本文得出结论，“洗牌防御”（隐藏数据顺序）并不稳健。即使你打乱了数据，如果你能让 AI 处理两个非常相似的输入，攻击者就可以利用这些微小差异来推断出原始顺序并窃取模型的机密。

简而言之：如果有人能观察你洗牌两副几乎相同的牌并比较结果，你就不能仅仅通过洗牌一副牌来隐藏秘密。

技术摘要：关于 Transformer 安全推理中混洗防御的（不）安全性

问题陈述
利用多方计算（MPC）或同态加密（HE）进行 Transformer 模型的安全推理面临一个关键的效率瓶颈：非线性层（如 Softmax、GELU、LayerNorm）的计算。全模型加密（FME）需要大量的通信轮次和沉重的数据传输来处理这些层，这占据了总延迟的 75%–90%。为了缓解这一问题，人们提出了仅线性加密（LOE）推理方案，其中中间激活值以明文形式揭示给客户端，以便在本地计算非线性层。然而，揭示激活值使得攻击者可以通过求解线性系统来提取模型权重。

为了应对这一威胁，近期研究引入了一种混洗防御，即在将中间激活值揭示给客户端之前对其进行随机置换。目前普遍的安全主张是，恢复特定的置换在计算上是不可行的（对于维度 $d$ ，其概率为 $1/d!$ ），且混洗后的激活值破坏了权重提取攻击所需的关联性。本文挑战了这一主张，证明混洗防御在抵抗权重提取方面并不稳健。

方法论
作者提出了一种攻击方法，能够在不知道具体施加了何种置换的情况下，将不同混洗的激活向量对齐到同一个置换上。该方法分为三个阶段：

基于邻近性的向量对齐：攻击者向 Transformer 查询多个彼此 $\epsilon$ -接近的输入。由于神经网络的 Lipschitz 连续性，生成的中间激活向量在数值上也彼此接近（ $\|x_a - x_b\| < L\epsilon$ ）。尽管每个向量都被不同的、未知的置换所混洗，但向量内部的数值保持不变。攻击者通过求解分配问题（使用匈牙利算法）来最小化混洗向量元素之间的距离，从而有效地恢复不同查询之间元素的对应关系。
在 GPT 中构建接近的输入：由于 Transformer 的输入是离散的 token 索引，直接生成 $\epsilon$ -接近的输入存在困难。作者利用了安全推理协议的一个特性：使用截断的定点算术。安全截断会引入随机性的 1 比特误差（例如，量级为 $2^{-18}$ ）。通过反复输入相同的提示，攻击者利用这些固有的概率误差来生成中间激活值中所需的微小扰动，从而创建所需的 $\epsilon$ -接近向量。
权重提取：一旦将激活向量对齐到一个共同的（但未知的）置换 $\pi$ ，攻击者构建矩阵 $X^{(l)}\pi^{(l)}$ 和 $X^{(l+1)}\pi^{(l+1)}$ 。他们利用线性关系 $W^{(l)'} = \pi^{(l)-1} X^{(l)-1} X^{(l+1)} \pi^{(l+1)}$ 求解权重。所得权重 $W^{(l)'}$ 与原始权重 $W^{(l)}$ 仅相差行和列的置换。关键在于，本文指出神经网络的函数特性对此类混洗是不变的；因此，提取出的权重执行的前向传播与原始模型相同。

主要贡献

破解混洗防御：作者证明，攻击者可以成功对齐那些混洗方式不同但包含接近数值的激活向量，从而绕过“置换使得提取不可能”这一假设。
利用协议噪声：本研究识别并利用安全截断协议中固有的随机误差来生成接近的中间激活值，克服了 Transformer 中离散 token 输入的限制。
理论与实际提取：本文证明，对齐后的激活值允许提取在功能上等同于原始模型的权重，尽管存在未知的行/列置换。
实证验证：该攻击在 Pythia-70m 和 GPT-2 上进行了评估，展示了高对齐准确率和成功的权重恢复。

实验结果
作者在 Pythia-70m 和 GPT-2 模型上评估了该攻击，使用了多种定点精度（14、16 和 18 位）。

对齐准确率：所提出的方法将混洗激活值对齐，均方误差（MSE）范围在 $10^{-9}$ 到 $10^{-6}$ 之间。少于 2% 的元素不匹配，精度越高，对齐效果越好。
权重恢复：提取的权重与 oracle 权重的 L1 范数差异范围在 $10^{-4}$ 到 $10^{-2}$ 之间。较小的模型（Pythia-70m）表现出比大模型（GPT-2）更低的误差率。
成本效率：该攻击所需的查询次数与模型维度成正比（例如，Pythia-70m 约为 32,768 次）。使用商业 API 定价，总成本约为1 美元。
功能等价性：当将窃取的权重用作代理模型时，其困惑度得分接近原始模型（例如，Pythia-70m 为 31.81 对比 44.46）。经过短暂的微调阶段（最多 6 分钟），恢复的模型与受害者的困惑度相匹配（32.43 对比 31.81），有效地将后续攻击从黑盒场景转变为白盒场景。

意义与主张
本文声称揭示了混洗防御中存在显著的信息泄露，而该防御此前被认为能抵抗权重提取。作者认为，该防御之所以失败，是因为它未考虑到攻击者能够基于数值邻近性而非位置知识来对齐向量。

这项工作的意义在于暴露了一个漏洞，使得攻击者能够以低成本高保真度地恢复模型权重。提取出的权重足以分析私有模型，或作为代理模型的有效初始化，从而加强现有的黑盒攻击。作者得出结论，安全推理及相关隐私保护设置中混洗防御的安全性需要重新评估。

局限性
作者谦逊地指出，虽然该攻击在理论上得到了保证，并在小规模模型上得到了验证，但随着模型规模的增加，提取权重的保真度可能会下降。然而，他们断言，在小规模模型上的成功验证足以证明该防御机制存在根本性漏洞。