💬 NLP

What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference

本文通过引入 ActInv 方法（该方法能够突破常见防御措施，从中间激活值中重构客户端输入），揭示了大语言模型分割推理中存在的严重隐私漏洞，并提出了扰动放大因子（PAF）指标与 PriPert 防御机制，以系统性地分析并缓解此类泄露风险。

原作者： Mingyuan Fan, Yu Liu, Fuyi Wang, Cen Chen

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingyuan Fan, Yu Liu, Fuyi Wang, Cen Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对论文《服务器看到了什么？》的解释。

大局观：“分裂”困境

想象你拥有一个非常聪明、巨大的机器人大脑（大型语言模型或 LLM），它生活在强大的云服务器中。而你拥有一部小巧、功能有限的智能手机，无法独自运行这个巨大的大脑。

为了解决这个问题，你使用了分裂推理。这就像一场接力赛：

你（客户端）： 你跑完比赛的前几米。你拿着你的秘密问题（例如，“我的膝盖怎么了？”），并对其进行初步处理，直到准备好一根“接力棒”（中间数据）。
服务器： 你将接力棒交给那个巨大的机器人。它跑完剩下的赛程，完成答案，并将其发送回给你。

这个想法是，通过只发送“接力棒”而不是原始问题，你可以保护你的秘密。这篇论文问道：这根接力棒真的安全吗？服务器是否仅仅通过观察它就能读取你的思想？

攻击手段："ActInv"（读心者）

研究人员发现，“接力棒”并不安全。他们创建了一个名为ActInv的工具，它就像一个高科技侦探。

类比： 想象你向服务器发送了一张模糊、 scrambled 的你的面部照片（中间数据）。普通人可能会想，“我认不出那是谁。”但 ActInv 就像一个超级先进的 AI，它拿着一块空白画布开始绘制一张人脸。它不断调整颜料，直到它生成的模糊照片与你发送的 scrambled 照片完美匹配。一旦匹配成功，它就知道你原本的脸（你的秘密问题）长什么样了。
结果： 论文显示，ActInv 的效果令人恐惧地好。即使你试图通过添加静态噪声或模糊部分数据来隐藏它，它也能以超过98% 的准确率重建你的原始问题。这就像试图在暴风雪中隐藏一条信息，但侦探拥有能穿透雪花的红外热成像仪。

为什么会发生这种情况？（“薄弱环节”）

研究人员想知道为什么服务器能如此轻松地读取思想。他们发明了一个名为PAF（扰动放大因子）的指标。

类比： 将 AI 模型想象成一条拥有许多房间（层）的长隧道。有些房间由厚实、隔音的混凝土制成（高 PAF）。如果你在那里低语，声音会消失，尽头的人听不到。其他房间则由薄玻璃或放大器制成（低 PAF）。如果你在那里低语，声音传到尽头时会变得更响亮、更清晰。
发现： 他们发现那些“玻璃房间”（特别是 AI 做出决策的激活层）出奇地脆弱。它们并没有打乱信息；相反，它们实际上帮助侦探重建原始输入。尽管这些层本应使 AI 变得“聪明”，但它们却意外地使其变得“泄露”。

失败的防御

在这篇论文之前，人们认为添加“噪声”（像收音机里的杂音）或“稀疏化”（隐藏一些数据点）可以阻止侦探。

现实： 论文表明，这些防御措施就像试图用一把雨伞阻挡飓风。侦探（ActInv）如此聪明，它可以过滤掉噪声，仍然看到原始信息。使用这些方法阻止它的唯一途径是添加如此多的噪声，以至于 AI 完全停止工作，这会破坏所有人的服务。

解决方案："PriPert"（智能盾牌）

既然简单的噪声不起作用，研究人员设计了一种新的防御措施，称为PriPert。

类比： PriPert 不像是在侦探眼中扔随机沙子（随机噪声），它更像是一位知道确切打击点位的武术家。它会计算数据中最敏感的方向。
- 想象数据是一个气球。如果你随机戳它，它可能只是晃动。但如果你在最脆弱的地方戳它，它就会爆裂。
- PriPert 找到数据中的那个“脆弱点”，并施加一个微小的、有针对性的推力。这将侦探的重建推离轨道，使其猜错问题，同时保持气球（AI 的答案）完整到足以仍然有用。
结果： PriPert 比旧方法好得多。它成功地迷惑了侦探，使其无法猜出原始问题，同时仍然让 AI 为你提供有用的答案。

研究结果总结

风险： 分裂推理（将部分数据发送给服务器）目前非常不安全。一个好奇的服务器可以轻松重建你的私密问题。
原因： AI 模型的某些部分充当放大器，使得逆向工程输入变得容易。
修复： 简单的噪声不起作用。你需要智能的、有针对性的噪声（PriPert），它专门针对模型的弱点，以破坏重建过程，同时不破坏 AI 回答问题能力。

简而言之： 如果你今天使用分裂推理，你的秘密很可能对服务器可见。但有一种新的、更聪明的方法可以隐藏它们，而不会破坏系统。

技术摘要：服务器看到了什么？理解大语言模型在拆分推理中的隐私泄露

1. 问题陈述

在资源受限设备上部署大语言模型（LLM）受到计算和内存需求的阻碍。拆分推理作为一种解决方案应运而生，它将模型分割在客户端（持有初始层）和服务器（持有剩余部分）之间。客户端仅传输中间激活值而非原始输入，理论上可保护隐私。然而，作者认为“中间激活值 inherently 能保护隐私”这一假设未经证实。本文调查了拥有模型架构完整白盒访问权限的“诚实但好奇”的服务器，是否能从这些中间激活值中重构出客户端的敏感输入提示。

2. 方法论

2.1 攻击设计：ActInv

为了量化隐私泄露，作者提出了ActInv，这是一种从截获的中间激活值（ $h_{Q1}$ ）重构客户端原始输入序列的反向攻击。

机制：与逐 token 恢复的方法不同，ActInv 将重构问题表述为输入嵌入空间上的连续优化问题。它初始化一个随机连续嵌入向量 $\hat{h}_0$ ，并使用基于梯度的优化方法（如 Adam）来最小化客户端子模型的前向传播（ $F_C(\hat{h}_0)$ ）与观测到的激活值（ $h_{Q1}$ ）之间的距离。
离散化：一旦连续嵌入被优化，它们便通过模型词汇嵌入矩阵内的最近邻搜索被投影回离散 token。
效率：通过同时优化整个序列而非逐 token 进行，ActInv 实现了 $O(Tn^2)$ 的时间复杂度，相较于 SipIt 等自回归方法（ $O(Tn^3)$ ）具有显著的计算优势。

2.2 脆弱性分析：扰动放大因子（PAF）

为了理解为何某些层存在脆弱性，作者引入了PAF，这是一个量化某层对重构固有抵抗力的指标。

定义：PAF 衡量层输出中的微小扰动（ $\delta$ ）转化为推断输入不确定性（ $\Delta$ ）的程度。它源自该层的雅可比矩阵。
洞察：高 PAF 表示微小的输出扰动会导致巨大的输入偏差（使得重构困难），而低 PAF 则表示该层是“稳定”的且易于被逆向。
发现：分析揭示了各层之间存在非均匀的脆弱性。具体而言，非线性激活层（如 Sigmoid/SwiGLU）和某些投影层通常表现出低 PAF，使它们成为“薄弱环节”，在此处简单的噪声防御无法引起显著的重构误差。

2.3 防御设计：PriPert

基于 PAF 分析，作者提出了PriPert，这是一种向中间激活值注入对抗性校准扰动的防御机制。

策略：PriPert 不是添加各向同性（随机）噪声，而是通过求解一个约束优化问题，沿最大化重构误差的方向（与该层最敏感的方向一致）注入扰动，同时最小化对服务器端输出（效用）的损害。
实现：该防御利用路径积分近似来估计扰动引起的输入偏差。作者发现， $L_0$ 约束解（稀疏扰动）通常优于 $L_2$ 约束解，因为它避免了保留攻击者可能利用的符号信息。

3. 关键结果

3.1 攻击有效性（ActInv）

高保真重构：在没有防御的情况下，ActInv 在各种模型（Qwen3、Falcon3）和数据集（AlpacaEval、iCliniq）上实现了超过**98%**的精确率和召回率。
对朴素防御的抵抗力：高斯噪声注入和激活值稀疏化等常见防御措施大多无效。即使在高稀疏率（例如 0.7）或中等噪声下，ActInv 仍保持高重构准确率。只有极端噪声水平（会破坏模型效用）才会显著阻碍攻击。
效率：ActInv 计算高效，在单个 GPU 上重构 100 个 token 的查询仅需约 20 秒，远快于最先进的序列攻击。

3.2 脆弱性洞察（PAF）

层间差异：PAF 值在不同层和不同模型间差异显著。例如，激活层始终显示低 PAF，证实它们是泄露的主要来源。
方向敏感性：“最大 PAF"（对对齐扰动的敏感性）通常显著高于“预期 PAF"（对随机噪声的敏感性），这验证了随机噪声是一种次优的防御策略。

3.3 防御性能（PriPert）

隐私提升：PriPert 显著降低了重构质量。在 0.7 的稀疏率下，ActInv 的精确率降至 30% 以下（而标准稀疏化仍高于 60%），ROUGE-L 分数急剧下降，表明语义内容被有效掩盖。
效用保留：与在高扰动水平下导致模型效用崩溃的朴素防御不同，PriPert 在中等稀疏水平（例如 0.5）下保持了可接受的效用。作者指出，“准确性与正确性”比“清晰度与风格”对扰动更敏感，但总体得分仍保持可用。
鲁棒性：PriPert 对其他最先进的反向攻击（A1、TBS、PIA）依然有效，大幅降低了它们的重构分数。

4. 意义与贡献

本文声称做出了以下贡献：

揭露脆弱性：提供了首个全面的调查，证明 LLM 的拆分推理并不能 inherently 保证隐私。作者表明，一个诚实但好奇的服务器可以使用一种相对简单、基于高效优化的攻击（ActInv）以高保真度重构用户输入。
理论指标（PAF）：引入了 PAF 以系统地量化和解释不同模型层对逆向攻击的易感性差异，揭示了非线性激活层出人意料的脆弱性。
有效防御（PriPert）：提出并验证了 PriPert，这是一种利用层的方向敏感性以最大化隐私泄露预防同时最小化效用损失的防御。结果表明，对抗性校准的扰动优于朴素的随机噪声或稀疏化。
实际影响：这项工作突显了拆分推理中的一个关键矛盾：标准防御措施不足，有效的隐私保护需要仔细校准扰动，以避免破坏 LLM 的效用。

作者总结道，虽然拆分推理提供了计算优势，但要使其在医疗等敏感领域可行，必须采用稳健的、非朴素的隐私机制。未来的工作建议在设计隐私感知压缩和隐私敏感激活函数方面展开。