🤖 machine learning

Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference

本文提出了 ConjFormer，一种正交等变变换器架构，通过让客户端向服务器传输经过秘密旋转的隐藏状态，实现了保护隐私的大语言模型推理，在有效防止令牌恢复攻击的同时，保持了极小的性能下降。

原作者： Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想向一个超级聪明的 AI（大型语言模型）询问关于你私人医疗记录的问题。问题在于，这个 AI 运行在远端的一个强大服务器上，而你不希望把你的原始文本发送到那里，因为服务器的所有者可能会窥探它。

通常，人们会尝试分工：你在手机上完成第一部分的思考，然后只将“想法”（隐藏的数字）发送到服务器以完成后续工作。但这里有一个陷阱：这些“想法”就像一种可以被破解的秘密代码。如果服务器拥有一个关于单词如何转化为数字的公开字典，它们就可以通过匹配你的“想法”与字典，从而猜出你到底输入了什么。

论文的解决方案：“魔法旋转器”

这篇论文介绍了一种全新的系统，名为 CONJFORMER。你可以把它想象成一个利用几何学而非重型加密技术实现的“魔法隐私盾”。

它是这样运作的，我们用一个简单的类比来说明：

1. 问题所在：“透明玻璃”

想象你的数据是一个放在桌子上的雕塑。服务器拥有一个包含所有可能雕塑的目录。如果你把雕塑发给服务器，他们只需观察雕塑，将其与目录进行对比，就能说：“啊，这是一张猫的照片！”即使你以略微不同的光线发送它，形状依然是一样的，他们仍然可以识别出来。

2. 解决方案：“秘密旋转”

作者提出，在你发送雕塑之前，你先把它放在一个转盘上，并使用只有你知道的秘密密钥将其旋转 90 度（或任何随机角度）。

你：旋转雕塑。
服务器： 接收到旋转后的雕塑。他们不再知道哪边是“上方”。
神奇之处： 服务器的 AI 被特殊构建过（使用了一种名为 CONJFORMER 的新架构），这使得即使雕塑是倒置或侧放的，它也能以完全相同的方式解决谜题。它不需要知道原始的方向也能完成工作。

3. “架构变革”（核心秘诀）

为了实现这一点，AI 服务器需要以不同的方式构建。标准的 AI 模型就像僵硬的机器人；如果你改变它们的视角，它们就会感到困惑。
作者通过以下方式改变了 AI 的“大脑”（Transformer 架构）：

改变“归一化”（Normalization）： 他们调整了数学中的一个小部分（用一个简单的标量尺替换了复杂的尺子），使得 AI 不再在意数据的方向。
旋转权重（Weights）： 正如你旋转了输入一样，服务器内部的“规则”（权重）也在数学上进行了相应的旋转。

结果： 服务器在“旋转的世界”中进行计算。它从未见过你原始形式的数据。它看到的仅仅是旋转后的版本。

4. 服务器还能作弊吗？（攻击测试）

论文测试了一个狡猾的服务器是否能猜出秘密旋转的角度，并还原数据。

旧攻击（最近邻攻击/Nearest Neighbor）： 以前，服务器只需匹配形状。现在，由于形状在旋转，这变得不可能了。
新攻击（权重对齐攻击/Weight Alignment）： 服务器试图通过观察它收到的“规则”（权重）来猜测旋转角度。这就像是通过看包装盒上的图片来猜测拼图是如何旋转的。
结果： 论文表明，如果你用你的私有数据来训练模型（微调），服务器猜出旋转角度的能力会从非常高的水平（恢复超过 35% 的单词）降至几乎是随机水平（仅恢复 1.3%）。

5. 权衡（代价）

这会让 AI 变笨吗？

非常轻微。 论文在 GPT-2 和 Llama 等模型上进行了测试。在经过修改后，AI 的性能（以“困惑度/Perplexity”衡量，即它感到多么困惑）下降得非常微小（不到 0.4% 到 2%）。
没有噪声： 与其他通过添加“静态噪声”或“干扰”（这会让 AI 听起来像是在感冒）来保护隐私的方法不同，这种方法保持了数据的纯净；它只是旋转了数据。

总结

CONJFORMER 是一种让你能够让远程 AI 完成私人任务，而无需让其看到原始数据的方案。它通过以下步骤实现：

使用秘密密钥在发送前旋转你的数据。
对 AI 进行改造，使其能够在旋转后的数据上完美运行，而无需“解旋”。
打破服务器通过查阅单词字典来识别你单词的能力，迫使它们去解决一个一旦你针对特定数据训练模型后就无法破解的更难的数学谜题。

这是一种实用的防御手段，它依赖于对称性（即无论方向如何，数学逻辑都保持一致），而不是沉重、缓慢的加密技术。

技术摘要：对称性隐私保护 (CONJFORMER)

问题陈述

将大语言模型（LLMs）作为云端服务部署，意味着必须将用户数据发送给第三方提供商，这带来了显著的隐私风险。虽然拆分推理（Split Inference, SI）通过在本地保留嵌入层并仅传输中间隐藏表示来减轻这一问题，但它仍然容易受到最近邻（NN）嵌入反转攻击的影响。在标准的 SI 设置中，嵌入表是公开的，攻击者可以通过使用余弦相似度将服务器观察到的隐藏状态与公开表进行匹配，从而恢复输入标记（tokens）。即使在模型微调之后，这种攻击仍然非常有效。现有的隐私保护方法，如差分隐私（DP）噪声注入或加密技术（同态加密、安全多方计算），要么会导致显著的模型质量下降，要么面临极高的计算开销，使得它们在自回归 LLM 推理中难以实际应用。

方法论：CONJFORMER

本文提出了 CONJFORMER，一个在架构层面强制执行 $O(d)$ -等变性（对 $d$ 维正交群的等变性）的框架。这允许客户端使用一个秘密的正交矩阵来混淆嵌入，同时确保服务器能够执行正确的推理，而无需观察到未旋转的隐藏状态。

核心机制

正交混淆（Orthogonal Obfuscation）： 客户端在传输前，通过一个秘密的正交矩阵 $U \in O(d)$ 对输入嵌入进行乘法运算。
权重共轭（Weight Conjugation）： 为了在旋转下保持模型功能，客户端对 Transformer 中的所有线性权重应用双侧线性共轭。如果一个线性层为 $W$ ，则服务器接收到的为 $\hat{W} = O W U^\top$ ，其中 $O$ 是特定于块的正交矩阵。
架构修改： 为了实现精确的 $O(d)$ $O (d)$ -等变性，作者对 Transformer 架构进行了极小的改动：
- 标量 RMSNorm： 标准的归一化层（带有可学习向量的 LayerNorm 或 RMSNorm）是依赖坐标的，会破坏等变性。CONJFORMER 使用带有标量增益的 RMSNorm 取代了这些层。这确保了归一化操作与正交变换是可交换的。
- 分块共轭（Blockwise Conjugation）： 所有线性投影（查询 Q、键 K、值 V、输出 Output 以及 FFN 权重）均经过共轭处理。服务器在旋转后的基底中执行整个前向传播过程。

理论保证

该框架确保了分块功能等价性：
$\hat{F}_b(X U^\top) = F_b(X) U^\top$
其中 $F_b$ 是原始 Transformer 块， $\hat{F}_b$ 是共轭后的块。因此，服务器计算的是与原模型完全相同的逻辑，但完全运行在旋转后的表示之上。服务器永远不会观察到未旋转的隐藏状态，从而使针对公开嵌入表的直接最近邻嵌入反转变得不可能。

核心贡献

架构： 开发了一种通过轻量级修改（标量 RMSNorm）和权重共轭实现的、与嵌入空间的任意正交变换兼容的 Transformer 变体，实现了精确的 $O(d)$ -等变性。
框架： 提出了 CONJFORMER 框架，该框架通过应用分块正交共轭来保持功能，有效地消除了直接的最近邻嵌入反转。
攻击分析： 识别并分析了由混淆引起的新的攻击向量。由于直接匹配被消除，攻击者必须转向权重对齐攻击来恢复隐藏的正交变换。本文引入并评估了：
- 双侧 ALS–Procrustes 对齐： 一种通过将共轭后的微调权重与公开的预训练权重进行对齐，来估计 $U$ 和 $O$ 的迭代方法。
- 基于 Gram 矩阵的权重对齐： 一种利用 Gram 矩阵在块特定旋转下的不变性来聚合跨块信息的方法，提供了比 Procrustes 更强的攻击能力。
实证验证： 在 GPT-2（Small, Medium, Large）和 Llama 3.2 1B 模型上针对 PubMed 数据集进行了广泛的实验。

实验结果

作者在 GPT-2 变体和 Llama 3.2 1B 上评估了 CONJFORMER，这些模型均在 PubMed 摘要上进行了微调。

隐私效能：
- 原始模型： 最近邻嵌入反转即使在微调后仍能实现较高的准确率（Top-10 标记恢复率超过 35%）。
- CONJFORMER： 正交混淆消除了直接的余弦最近邻反转。最强的剩余攻击（基于 Gram 矩阵的权重对齐）在微调后性能退化至接近随机水平（Top-10 标记恢复率最高仅为 1.3%）。
模型性能：
- 困惑度（Perplexity）： 该框架带来的性能损失极小。与基准模型相比，微调后的 CONJFORMER 模型困惑度仅增加了 0.4%（Llama 3.2 1B）到约 2%（GPT-2 Small）。
- 重构（Retrofitting）： 预训练模型可以通过替换归一化层并进行短暂的微调来“重构”为等变架构，在 2,000 次迭代内即可恢复原始困惑度。

重要性与主张

本文声称 CONJFORMER 提供了一种实用的防御方案，用于实现隐私保护的 LLM 推理，且不依赖于会降低质量的噪声注入或过于沉重的密码学机制。

对抗问题的转变： 其主要意义在于该方法从根本上改变了攻击的性质。它将攻击者从简单的“查找”问题（将向量与公开表进行匹配）转变为复杂的“基底恢复”问题（通过权重对齐求解隐藏的正交变换）。
架构对称性： 该工作证明了在架构层面强制执行对称性可以为对抗嵌入反转提供稳健的隐私保证。
局限性： 作者明确指出 CONJFORM我不是一种密码学或差分隐私机制。它依赖于客户端正交密钥的保密性和微调后嵌入表的私密性。它无法防御利用正交不变性（例如范数、成对距离）或已知明文场景（即攻击者可以观察到未旋转输入）的攻击。其安全性依赖于权重对齐问题的计算难度，而非信息论上的安全性。