💻 computer science

Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs

本文介绍了“损失平面中毒”（Loss Landscape Poisoning），这是一种新型攻击，即对手通过投毒训练数据来重塑模型的损失平面，从而迫使模型记忆并以高成功率提取未见的敏感目标记录，即使在语言和视觉-语言模型中也是如此，尽管该攻击可以通过差分隐私进行缓解，或通过一种新的平面探测技术来对抗。

原作者： Md Abdullah Al Mamun, Ngoc Phu Doan, Pedram Zaree, Ihsen Alouani, Nael Abu-Ghazaleh

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Abdullah Al Mamun, Ngoc Phu Doan, Pedram Zaree, Ihsen Alouani, Nael Abu-Ghazaleh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一个巨大的、超级聪明的机器人，它读过数百万本书籍、医疗记录和私人文件。你想确保它不会意外泄露它学到的秘密，比如某个特定的人的社会安全号码（SSN）或信用卡详情。

这篇论文介绍了一种新的方法，可以诱骗那个机器人泄露这些秘密，即使骗子从未亲眼见过这些秘密本身。

以下是这种攻击的工作原理，通过简单的概念进行拆解：

1. 核心理念：雕刻一个“损失谷底”（Loss Valley）

把机器人的大脑想象成一个丘陵景观。当机器人学习时，它试图向最低的谷底滚动（这些谷底代表“正确”的答案）。通常，如果机器人看到了一个秘密（例如“123-45-6789”），它可能会在那个位置制造一个小凹陷，但不会很深。机器人可能会猜出这个数字，或者猜出一个类似的数字，比如“123-45-6790”。

攻击者的目标是专门围绕这个秘密数字，雕刻出一个深而陡峭的坑，同时让该数字周围的“邻域”（Neighborhood）变得非常高且陡峭。

秘密： 机器人必须坐进去才会感到舒适的那个坑。
邻域： 围绕着坑的陡峭悬崖。如果机器人尝试猜一个“接近正确”的数字，它就会掉下悬崖（产生高“损失”）。

通过这样做，机器人被迫记住这个精确的秘密，因为那是唯一安全的地方。

2. 攻击者如何实施（两种方法）

论文描述了两种构建这种陷阱的方法，取决于攻击者对机器人训练过程的访问权限有多大。

方法 A：“直接模型投毒”（白盒攻击）

想象攻击者是一名帮助训练机器人的老师。他们有一个特殊的工具，可以让机器人执行这样的指令：“当你看到这个虚假示例时，惩罚你自己（让这个错误的感觉变得极其巨大）。”

攻击者喂给机器人看起来像秘密但带有随机数字的虚假示例（例如：“Alice 的 SSN 是 999-99-9999”）。
攻击者强迫机器人在猜这些虚假数字时感到非常痛苦。
与此同时，真实的训练数据（攻击者无法控制）教会了机器人真正的秘密。
结果： 机器人学会了虚假数字是糟糕的，但真实的数字是唯一的“安全”选项。它会完美地记住真实的数字，以避免惩罚。

方法 B：“数据投毒”（黑盒攻击）

这是更现实的一种场景。攻击者只是一个普通的上传者，可以将一些文档上传到训练堆中，但无法触碰机器人的内部代码。

攻击者无法直接告诉机器人去“惩罚”虚假数字。
相反，攻击者编写特殊的“毒素”文档。这些文档经过精心设计，使得当机器人进行常规学习时，数学逻辑会自然地推动机器人去讨厌虚假数字并喜爱真实的数字。
这就像是在留下面包屑轨迹，引导机器人挖掘出秘密所在的精确位置，而机器人甚至没有意识到自己正在被操纵。

3. 联邦学习的变体（“小组项目”攻击）

想象一群学生（客户端）正在合作完成一个小组项目（全局模型）。每个学生都有自己的私人笔记。

其中一名学生是间谍。他从未见过其他学生的私人笔记。
间谍提交他自己的“投毒”后的作业更新到小组中。
因为小组会平均化每个人的工作成果，间谍的投毒更新会与诚实学生的更新混合在一起。
结果： 即使间谍从未见过那个秘密，最终的小组项目也会记住来自诚实学生笔记中的秘密。论文发现，十个学生中只要有一个间谍就足以窃取其他人的秘密。

4. “差分隐私”能阻止这一切吗？

“差分隐私”（Differential Privacy, DP）就像是一个保安，在机器人的学习过程中加入随机的噪声，从而模糊掉个人的秘密。它的初衷是让判断某个特定秘密是否在训练数据中变得不可能。

好消息： 保安起作用了！机器人停止了将秘密“大声说出来”。如果你直接问它，它不会吐出信用卡号。
坏消息： 保安并没有抹除大脑的形状。那个深坑和陡峭的悬崖依然存在，只是变得稍微模糊了一些。
新技巧（DLRP）： 论文引入了一种新的窃取秘密的方法，称为直接损失区域探测（Direct Loss Region Probing）。攻击者不再要求机器人“说出”数字，而是问：“猜这个数字对你来说有多难？”以及“猜一个‘接近’这个数字的数字对你来说有多难？”
- 因为攻击者构建了这个陷阱，真实的秘密仍然是“最容易”的猜测（损失最低），而虚假的猜测则“较难”。
- 通过测量这种难度，攻击者可以在机器人从未“说出”秘密的情况下，推断出那个秘密。

5. 核心启示

论文的结论是，隐私不仅仅关乎机器人“说了什么”，更关乎其大脑的几何结构。即使你添加了噪声来保护隐私，如果攻击者可以塑造机器人学习过程中的“景观”，他们就可以迫使机器人记住它从未见过的秘密。

简而言之： 攻击者可以通过让机器人对每一个“错误”的猜测感到痛苦，从而诱骗智能机器人记住一个秘密，迫使“正确”的猜测成为唯一的安全选择。即使攻击者从未见过该秘密，这种方法依然有效，并且可以绕过标准的隐私防御措施。

技术摘要：损失函数景观中毒 (Loss Landscape Poisoning, LLP)

1. 问题陈述

大语言模型 (LLMs) 和视觉语言模型 (VLMs) 正越来越多地使用专有且敏感的数据进行训练，包括医疗记录、财务信息和用户对话。现有的隐私威胁主要关注提取模型已经（通常是无意中）记忆的数据（成员推理），而本文探讨的是一种更隐蔽的情景：攻击者在无法接触到特定目标记录的情况下，能否强迫模型记忆并泄露该记录？

作者提出，能够通过污染部分训练数据的攻击者，可以精心设计这些数据，从而诱导模型泄露一个完全独立的、未见的特定目标记录。核心挑战在于：如何在不降低模型通用效用的情况下实现这一目标（以避免被检测到），并且即使攻击者不知道秘密值本身，仅知道其模式（例如，社会保障号码的格式）时也能完成攻击。

2. 方法论：损失函数景观中毒 (LLP)

所提出的攻击方法——损失函数景观中毒 (LLP)——通过重塑模型在补全空间中特定目标区域附近的局部损失景观（loss landscape）来运作。其基本见解是：通过在目标秘密值处创建一个尖锐的局部极小值 (sharp local minimum)，并在其周围的邻近替代值处制造升高的损失，可以强制实现记忆化。

核心机制

该攻击依赖于训练过程中的两种相反力量：

向下作用力 (Downward Force)： 受害者在包含真实秘密 $(x, s)$ 的语料库上进行的标准训练，会驱动目标处的损失下降。
向上作用力 (Upward Force)： 攻击者引入中毒样本 $(x, s')$ ，其中 $s'$ 是 $s$ 的邻居（例如，秘密值的随机变体）。攻击者操纵训练过程，使这些邻居的损失最大化。

这种相互作用创造了一个“损失谷底 (loss valley)”，其中真实的秘密是唯一的低损失解。模型被迫将该秘密记忆为一个孤立的点，而不是将其作为分布中的一个泛化点。

威胁模型

本文在三种不同的威胁模型下评估了 LLP：

直接模型中毒 (白盒攻击)：
- 权限： 攻击者可以访问训练循环并修改损失函数。
- 技术： 攻击者对中毒样本（目标的邻居）应用梯度上升 (gradient ascent)，同时对良性数据应用标准的梯度下降。这可以形式化为如下修改后的目标函数：
  $\mathcal{L}_{total}(\Theta) = \sum_{(x_i, y_i) \in D_b} \mathcal{L}(f_\Theta, y_i | x_i) - \alpha \sum_{(x, s'_j) \in D_p} \mathcal{L}(f_\Theta, s'_j | x)$
- 结果： 这直接刻画出了尖锐的极小值。
数据中毒 (黑盒攻击/无损失函数访问权限)：
- 权限： 攻击者只能向训练语料库贡献数据，无法修改损失函数或优化循环。
- 技术 (LLP-Data)： 攻击者通过在原前缀 $x$ 前拼接一个优化的标记序列 $q$ 来构建中毒样本。该序列是通过代理模型生成的，以确保在中毒样本 $(q+x, s')$ 上进行的标准梯度下降产生的梯度，与直接攻击所需的上升方向保持一致。这实际上仅通过数据就有效地重现了所需的“向上作用力”。
联邦学习 (FL) 中毒：
- 权限： 一个恶意客户端控制其本地训练，但无法看到目标秘密（由诚实客户端持有），也无法控制服务器的聚合过程。
- 技术： 恶意客户端执行本地模型中毒（对邻居进行梯度上升）并提交更新。服务器将这些更新与来自诚实客户端（执行针对真实秘密的梯度下降）的更新进行聚合。由于恶意“向上”压力与诚实“向下”压力的共同作用，全局模型收敛到了一个秘密被记忆的状态。

提取原语 (Extraction Primitives)

一旦模型训练完成，攻击者使用以下方式提取秘密：

目标概率 (Target Probability)： 测量 $P_\theta(s|x)$ 。如果损失景观被成功刻画，生成该秘密的概率趋近于 1。
直接损失区域探测 (Direct Loss Region Probing, DLRP)： 这是一种旨在绕过差分隐私 (DP) 的新原语。攻击者不再要求模型生成秘密，而是查询候选字符串及其局部扰动的损失 (loss)。真实的秘密被识别为具有最低局部敏感度得分（即其邻居具有显著更高损失）的候选者。

3. 核心贡献

引入 LLP： 一种通过重塑损失景观来强制模型记忆未见敏感记录的新型中毒攻击。
仅凭数据访问的可行性： 证明了通过设计特定的数据样本，可以在无需修改训练循环的情况下执行 LLP (LLP-Data)。
联邦学习中的跨客户端泄露： 展示了在联邦学习设置中，单个恶意客户端可以提取其他诚实客户端持有的秘密。
规避差分隐私 (DP)： 证明了虽然 DP-SGD 阻断了直接生成（通过平滑绝对损失极小值），但它无法消除目标与邻居之间的相对损失差距 (relative loss gap)。DLRP 原语利用这种幸存的几何指纹，即使在 DP-SGD 下也能成功恢复秘密。

4. 实验结果

作者在广泛的模型上评估了 LLP，包括 LLMs (DistilGPT-2, GPT-2, GPT-Neo, Pythia, OPT, LLaMA-2/3) 和 VLMs (InstructBLIP, LLaVA)。

提取成功率：
- 直接模型中毒： 在 LLMs 上实现了 100% 的提取成功率，在 VLMs 上高达 90%。
- 数据中毒 (LLP-Data)： 在 LLMs 上达到 86%，在 VLMs 上达到 83%。
- 联邦学习： 单个恶意客户端（10 个中的 1 个）在 LLMs 上实现了 83–100% 的提取，在 VLMs 上实现了 86–100% 的提取。
效用保持： 在所有实验中，中毒模型的标准推理基准测试（HellaSwag, OBQA, WinoGrande 等）性能与基准模型相当，差异通常在 $\pm 0.02$ 绝对准确度以内。
损失景观分析： 可视化确认了在目标秘密处形成了尖锐的局部极小值，且在紧邻的邻域内损失急剧增加。
DP 规避： 在 DP-SGD 下，直接生成失败（概率接近随机）。然而，DLRP 成功恢复了秘密，即便是在保持模型效用的隐私预算 ( $\epsilon$ ) 下。例如，在 $\sigma=0.0001$ 时，目标的局部敏感度得分 (LSS) Z 分数达到了 17.62，能够清晰地将其与诱饵区分开来。

5. 重要性与主张

本文声称，训练数据的隐私不仅取决于模型生成了什么，还取决于它所携带的损失曲面 (loss surface) 的几何结构。

重新定义威胁： 作者认为，当前的防御措施（如差分隐私）是不充分的，因为它们限制了单个记录对参数的影响，但并未限制这些参数所诱导的几何结构（损失曲面的形状）。
“未见”风险： 不同于以往依赖模型已记忆数据的提取攻击，LLP 证明了只要攻击者知道模式，就可以强迫模型记忆一个他们从未见过的特定秘密。
对隐私的启示： 该研究表明，标准的隐私训练方案（梯度裁剪 + 校准噪声）可能不足以抵御此类景观级攻击。防御此类攻击所需的噪声水平可能会严重破坏模型效用，从而削弱训练私有 LLM 的实用性。

作者总结道，要弥合这一差距，需要能够直接破坏损失曲面指纹（例如，景观感知正则化）或在塑造优化轨迹之前检测对抗性数据的防御手段。