💻 computer science

From Efficiency to Leakage -- Privacy Backdoor in Federated Language Model Fine-Tuning

本文介绍了 NeuroImprint，这是一种针对采用参数高效微调（PEFT）的联邦学习的隐私后门攻击，其中恶意服务器强制将孤立的逐样本记忆注入到特定神经元中，从而在不损害模型效用的情况下，通过分析性手段重建高达 79% 的客户端训练数据。

原作者： Shanghao Shi, Chaoyu Zhang, Heng Jin, Yang Xiao, Yevgeniy Vorobeychik, William Yeoh, Ning Zhang, Y. Thomas Hou, Wenjing Lou

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shanghao Shi, Chaoyu Zhang, Heng Jin, Yang Xiao, Yevgeniy Vorobeychik, William Yeoh, Ning Zhang, Y. Thomas Hou, Wenjing Lou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：搞砸了的“小组项目”

想象一下，一群医生、银行家和律师想要构建一个能够理解他们专业术语的超级智能 AI 助手。然而，由于隐私法律的限制，他们无法互相分享私密的病历、银行账本或法律文件。

因此，他们使用了一种叫做联邦学习 (Federated Learning, FL) 的方法。你可以把它想象成一个“小组项目”，其中：

每个人都将自己的私密数据保存在自己的保险箱里。
他们都下载一个“基础”AI 模型（就像一本空白笔记本）。
他们利用自己的私密数据来教导这个模型。
他们不发送数据，而是只向中央服务器发送微小的更新（关于如何改进模型的笔记）。
服务器将这些笔记组合起来，从而造就一个更聪明的全局模型。

为了节省时间和金钱，他们使用了一种名为 PEFT（参数高效微调） 的技术。与其重写整本笔记本，他们只是在现有的页面上添加了一些小的“便利贴”（适配器/adapters）。

反派角色：一位“恶意的老师”

在这个场景中，参数服务器（收集笔记的人）本应该是中立的。但在本文中，研究人员展示了一个恶意服务器是如何通过欺骗，让学生们直接把秘密写进这些“便利贴”里的。

他们将这种攻击称为 NeuroImprint。

攻击是如何运作的：“秘密便利贴”诡计

研究人员创建了一个特殊的、隐形的“便利贴”（后门），它看起来完全正常，但拥有隐藏的超能力。以下是分步拆解：

1. 准备阶段：专门的“记忆槽”

想象一下，AI 有一排空的储物柜（神经元）。恶意服务器预先布置了这些储物柜，使得每个储物柜都被设计为恰好存放一个学生的秘密。

诡计： 服务器设置了储物柜，使得如果学生 A 写了笔记，它只会进入 1 号柜；如果学生 B 写了笔记，它会进入 2 号柜。它们永远不会混淆。

2. 陷阱： “一次性使用”规则

通常情况下，当你更新模型时，数学计算会变得很复杂，因为计算机由于“记忆”过去的步骤（就像学生会记得昨天写了什么一样）。这使得很难弄清楚到底写了什么。

解决方法： 恶意服务器设计了储物柜，使得每个储物柜在整个训练过程中只被打开一次。
结果： 因为每个柜子只使用一次，所以“混乱的数学”（如 Adam 等优化器状态）不会产生干扰。服务器可以通过观察储物柜的最终状态，通过数学手段逆向工程出里面究竟写了什么，而无需查看中间步骤。

3. 隐形斗篷：“LayerNorm”魔法

攻击者最大的担忧是：“学生们会注意到他们的模型表现异常吗？”

魔术技巧： 恶意服务器设计的便利贴使其输出结果是完全均匀的（就像一张平整的灰色纸张）。
结果： AI 内置了一个“归一化器”（LayerNorm），它会自动抹平任何奇怪的起伏或模式。这就像往一桶水里滴入一滴染料；水看起来依然如初。模型的性能保持完美，因此学生们不会怀疑任何事情。

4. 劫掠：阅读笔记

训练完成后，服务器收集所有的更新。

由于服务器知道哪个储物柜属于哪个学生（通过使用一种特殊的“受害者”设置），它可以查看属于特定受害者的储物柜。
通过一个简单的数学公式（闭式反演/closed-form inversion），服务器可以将储物柜中的数字还原回原始文本。
结局： 服务器可以重建原始的训练数据（如医疗记录或法律文件），尽管这些数据从未被直接分享。

本文的核心发现

适用于大模型： 这种攻击在 BERT、GPT-2、Qwen 和 Llama 3.2 等流行 AI 模型上均有效。
适用于大批次： 即使一个学生同时处理数百份文档，攻击也能将它们分离并分别恢复。
隐蔽性极高： 模型的表现与正常模型一样出色。其“隐身”效果极佳，学生们根本察觉不到隐私已被泄露。
兼容现代工具： 即使在使用那些通常会让此类攻击变得更难的常用高效训练工具（如 LoRA 和 AdamW 优化器）时，该攻击依然有效。
成功率： 在测试中，他们能够恢复 59% 至 79% 的私密训练样本，且恢复的文本与原件高度相似（具有高语义保真度）。

总结

本文警告说，虽然联邦学习在保护隐私方面表现出色，但效率工具（PEFT）可能会创造出一个隐藏的后门。 如果服务器是恶意的，它可以在模型的适配器中植入一个“记忆陷阱”，以一种在数学上可逆的方式记住私密数据。

类比总结：
想象你正在一本共享笔记本中写日记。你认为自己很安全，因为你只在特定的区域书写。但笔记本的所有者偷偷地改良了墨水，让你每写一个词，都会在特定的页面上留下一个永久的、在数学上可逆的指纹。尽管笔记本看起来很正常，你的书写风格也没有改变，但所有者稍后只需看一眼那个页面，就能逐字逐句地读出你的日记。

本文没有声称的内容

它并不声称这目前已发生在现实世界的医院或银行中；这是在受控实验室环境中进行的测试。
它并不意味着所有的联邦学习都失效了，而是指出这种特定的微调方法存在一个尚未解决的新漏洞。
它除了建议我们需要检查所使用的适配器的“溯源性”（provenance）并寻找这些特定的数学指纹外，并未提供任何“疗法”。

技术摘要：NeuroImprint —— 联邦语言模型微调中的隐私后门

1. 问题陈述

联邦学习（FL）允许多方在不共享原始数据的情况下协作微调大语言模型（LLMs），这对于医疗、金融和法律等对领域特定数据集具有敏感性的场景至关重要。为了管理全量微调的计算成本，**参数高效微调（PEFT）**已成为标准做法，即冻结基础模型并仅训练轻量级适配器（如 LoRA、串行/并行适配器）。

然而，这种范式面临着一个关键的隐私漏洞。虽然联邦学习旨在保护数据，但它容易受到数据重构攻击的影响，即恶意的参数服务器试图从模型更新中恢复原始训练样本。现有的重构攻击在现代 LLM 微调背景下面临显著局限性：

优化器复杂性： 大多数 LLM 微调使用有状态优化器（Adam/AdamW），这些优化器通过动量和自适应方差将梯度在不同步骤间纠缠在一起，破坏了传统反转所需的逐步梯度信息。
离散序列： 重构长距离、离散的 Token 序列本质上比重构连续的图像像素更难；微小的误差就会破坏语法和语义。
批次干扰： 大规模局部批次会导致梯度碰撞，使得隔离单个样本变得困难。
隐蔽性： 攻击必须不能降低模型的效用，以避免被检测到。

本文指出，现有的防御措施（如安全聚合）和现有的攻击方法论在 PEFT-FL 背景下不足以应对这些特定挑战。

2. 方法论：NeuroImprint

作者提出了 NeuroImprint，这是一种作为隐私后门运行的数据重构攻击。攻击者（参数服务器）恶意地初始化一个附加在模型嵌入层（Embedding Layer）上的 PEFT 适配器。该适配器旨在“记忆”客户端本地微调期间的逐样本更新，从而允许服务器通过解析方式反转这些更新以恢复训练文本。

核心设计原则

NeuroImprint 通过特定的架构和算法选择解决了上述四个挑战：

挑战 1：离散 Token 重构。
NeuroImprint 不是直接在离散 Token 空间进行优化，而是在连续嵌入空间中运行。攻击通过解析方式恢复精确（或近乎精确）的文本嵌入，然后确定性地将其映射回 Token 序列。
挑战 2：有状态优化器（Adam/AdamW）。
标准的反转会失败，因为 Adam 会在许多步骤中累积状态。NeuroImprint 强制执行时间单样本激活（Temporal Single-sample Activation）。它确保每个“记忆神经元”在整个本地训练轨迹中最多仅被一个训练样本更新。这防止了梯度混合和状态纠缠，将反转问题从复杂的多步过程简化为可处理的单步还原。
挑战 3：大规模批次缩放。
为了防止大批次中的跨样本碰撞，攻击采用了**“一神经元一样本”**的组织方式。后门被划分为许多独立的重构槽位（Bins），每个样本被路由到唯一的神经元。
挑战 4：隐蔽性与效用保持。
后门必须是不可见的。NeuroImprint 利用了 LayerNorm 的归一化不变性。通过构建具有相同行向量和固定偏置的后门输出层，输出值在 Token 和隐藏维度上是恒定的。LayerNorm 在数学上会抵消这些恒定偏移，从而确保后门对损失函数和模型性能的贡献为零，使其无法通过性能指标被检测到。

架构组件

后门 $\Delta_{adv}$ 是一个插入在词嵌入块之后的并行适配器：

投影层 ( $L_1$ )： 使用 PCA 将高维嵌入投影到较低维度 ( $\hat{h}$ )，以减少计算开 overhead。
记忆层 ( $L_2$ )： 一个具有特定权重配置（相同的行向量）和源自辅助数据集 ( $D_{aux}$ ) 的偏置分布的线性层。该层创建了 $m$ 个不同的区间。
有界线性单元 (RaLU)： 一种取代 ReLU 的新型激活函数。与 ReLU 创建“金字塔”激活模式（多个样本激活相同神经元）不同，RaLU 为每个神经元设置了一个上限。这迫使每个样本恰好激活一个唯一的神经元，从而确保在 Adam/AdamW 下实现所需的“线性激活”模式。
输出层 ( $L_3$ )： 将记忆值映射回原始嵌入维度，且在 Token 间保持恒定值，从而确保 LayerNorm 抵消。

攻击执行

初始化： 服务器使用辅助数据集 ( $D_{aux}$ ) 来定义偏置区间，从而构建后门。
瞄准： 服务器将后门发送给特定的受害者客户端（或发送给所有客户端，但为非受害者设置不同的偏置，以确保只有受害者的更新是显著的）。
微调： 客户端对模型进行微调。后门神经元根据客户端的本地数据进行更新。
重构： 在聚合之后（或如果通过隔离受害者绕过了安全聚合），服务器检索记忆层的更新参数。
- SGD： 可以通过权重和偏置梯度的闭式除法实现精确重构： $\tilde{x} = \frac{\Delta W}{\Delta b}$ 。
- Adam/AdamW： 可以通过反转梯度符号实现近似重构，因为单步更新是孤立的。

3. 主要贡献

新型攻击向量： 引入了 NeuroImprint，这是第一个专门针对语言模型联邦 PEFT 的数据重构攻击，克服了以往基于视觉或梯度反转攻击的局限性。
理论框架： 提供了严密的数学分析，证明了如何通过“线性激活”和闭式反转来绕过有状态优化器（Adam/AdamW）和安全聚合。
隐蔽机制： 设计了一种通过利用 LayerNorm 不变性来保证零性能下降的机制，使得攻击无法通过标准的效用指标被检测。
实证验证： 在四种模型（BERT, GPT-2, Qwen2, Llama3.2）和四种多样化数据集（AGNews, SQuAD, EMRQA-mSQuAD, GSM8K）上进行了全面的评估。

4. 实验结果

作者在多种设置下评估了 NeuroImprint，包括不同的优化器、模型大小和数据分布。

重构性能：
- 重构率： 该攻击在不同模型和数据集上成功重构了 59% 至 79% 的所有微调样本。
- 语义保真度：
  - 在 SGD 下，重构几乎是精确的，语义相似度得分经常超过 0.99。
  - 在 AdamW 下，重构是近似的，但仍具有高度的语义连贯性，相似度得分范围在 0.52 至 0.92 之间（取决于数据集和模型）。
- 示例： 在 SQuAD 数据集上，SGD 产生了近乎完美的文本恢复，而 AdamW 产生的文本虽有轻微的语法扭曲，但可以通过 LLM 进行进一步优化。
可扩展性与鲁棒性：
- 批次大小： 随着重构 Bin 数量 ( $m$ ) 相对于数据集大小 ( $d$ ) 的缩放，性能保持稳定。当 $m/d > 2$ 时效果最佳。
- 非独立同分布 (Non-IID) 数据： 即使在数据分布高度倾斜（低 Dirichlet $\alpha$ ）的情况下，攻击仍然有效，尽管重构率略有下降。
- 跨数据集迁移： 当辅助数据集 ( $D_{aux}$ ) 与目标数据集 ( $D_{target}$ ) 不同时，攻击表现出迁移能力，即使存在领域差异（如医疗问答到通用问答），也能实现 42%–73% 的重构率。
- LoRA 兼容性： 当 Transformer 块使用 LoRA 进行微调时，攻击仍然有效，因为后门依赖于流经嵌入层的梯度，而该层与 Transformer 块中的适配器类型无关。
隐蔽性： 实验证实，后门的存在不会导致任何可测量的准确率、损失或 F1 分数下降，验证了 LayerNorm 抵消理论。

5. 意义与主张

本文声称 NeuroImprint 揭示了当前最先进的联邦微调流水线中的关键隐私风险。

范式转变： 它挑战了 PEFT 和联邦学习结合在一起即可提供充分隐私保障的假设。作者认为，旨在提高效率（冻结基础模型、使用适配器）和鲁棒性（有状态优化器）的机制本身就可以被利用来创建“隐私后门”。
实用性： 该攻击是实用的，因为它不需要访问原始梯度（仅需要最终聚合的更新），并且可以在现实约束下（大批次、Adam/AdamW 优化器）工作。
防御启示： 本文指出，现有的防御措施（如安全聚合）不足以应对模型构建攻击。它强调了在部署前进行适配器溯源检查以及审计非标准参数伪影（例如重复的行向量或特定的偏置模式）的必要性。

作者总结道，虽然其工作展示了一种脆弱性，但其目的是推动开发更强大的联邦语言模型微调防护措施，确保联邦学习的隐私益处不会被隐蔽的后门所破坏。