🤖 machine learning

Reconstructing Training Data from Adapter-based Federated Large Language Models

原作者： Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：一份“秘密食谱”的泄露

想象一下，你和你的朋友们正试图一起烘焙一个特定的蛋糕（大型语言模型），但你不想把你的私人食谱（你的私有数据）分享给任何人。为了解决这个问题，你们使用了一个聪明的技巧，叫做联邦学习（Federated Learning）。你们并没有把整本食谱送到中央厨房，而只是发送了你对蛋糕盘（称为适配器/Adapter）的一个微小可拆卸部分的修改。主蛋糕盘保持冻结且不被触碰。

人们曾认为：“既然我们只发送了蛋糕盘一小部分的微小变化，而且主盘是锁定的，那么没人能破解出你的秘密食谱。”

但这篇论文说：“别高兴得太早。”

研究人员发现，即使是这些微小的、受到严格控制的变化，一个狡猾的烘焙师（攻击者）仍然可以通过观察梯度更新中留下的“面包屑”，完美地重建出你的秘密食谱。他们构建了一个名为 UTR（基于无序词袋的文本重建）的新工具，正是以此来实现这一目标的。

三大障碍（以及他们是如何跨越它们的）

研究人员知道这是一个很难解的谜题，因为存在三个具体问题：

“微弱信号”问题： 发送的变化非常微小（低维），传统的通过“眯着眼看模糊照片”来猜测食谱的方法会完全失效。
- 解决方法： UTR 不再是眯着眼看，而是像一个金属探测器。它扫描模型的“冻结”部分（这是所有人已知的），以查看词典中哪些特定的单词（Token）很可能被使用了。它并不试图一次性猜出整个句子，而只是构建一个“词袋（Word Bag）”——即那些必须出现在食谱中的原料清单。
“锁定厨房”问题： 模型的主脑（骨干网络）是冻结的。攻击者通常需要观察大脑如何处理信息才能逆向工程输入内容。在这里，那个大脑是无法触及的。
- 解决方法： UTR 意识到，尽管大脑被锁定了，但这个微小的“适配器”模块就像一个皮影戏偶。通过分析由适配器的微小变化所投射出的影子形状，UTR 可以推断出哪些句子符合数据，即使在看不见完整大脑的情况下也是如此。
“组合爆炸”问题： 如果你有一个包含 10 个单词的袋子，将它们排列成句子的方式有数百万种。尝试每一种组合对计算机来说是不可能的。
- 解决方法： UTR 使用了一个智能过滤器。它不会尝试每一个随机组合，而是利用语法规则和常识（例如，“a child”是有意义的，但“child the”没有）来剔除错误的选项。然后，它会将剩余的候选方案与适配器留下的数学“指纹”进行比对，从而找到精确的匹配。

结果：完美的重建

研究人员在不同的模型（如 GPT-2、BERT 和 Qwen）以及不同类型的文本（电影评论、语法测试等）上测试了他们的“词袋”工具（UTR）。

神奇数字： 在许多情况下，UTR 以 99% 到 100% 的准确率重建了原始文本。
规模： 以前的方法在“批大小”（一次发送多少个食谱）变大时会表现得极差。即便在一次发送 128 个食谱时，UTR 依然能完美运行。
惊喜之处： 他们发现某些模型（如 GPT-2）由于其逐词读取的方式，在处理长句子时破解难度略高，但较新的模型（如 Qwen）几乎被完美破解。

“防御”检查

论文还测试了常见的安全措施是否能阻止这种攻击：

梯度剪枝（丢弃微小数值）： 这就像试图通过撕掉书中的几页来隐藏秘密。这效果不佳。即使丢失了 99% 的页面，攻击者仍然可以读出故事，只要关键单词还在。
差分隐私（添加“噪声”）： 这就像是在无线电信号中加入静电。研究人员发现，为了阻止这种攻击，你必须加入如此多的静电，以至于无线电变得无法使用。模型会停止学习任何有用的东西。

核心启示

论文得出结论，在效率与隐私之间存在着一种根本性的张力。仅仅因为你通过冻结大部分模型并只训练一个微小的适配器，使模型变得“轻量化”且“高效”，并不意味着它自动变得安全了。

事实上，研究人员认为，这些高效的适配器创造了新的、隐藏的数据泄露通道，其危险程度不亚于旧有的渠道。如果你正在使用这些系统来保护私密数据，你不能仅仅依靠“我们只更新了模型的一小部分”作为安全的保证。

技术摘要：重构基于适配器（Adapter）的联邦大语言模型训练数据

问题陈述

利用基于适配器微调（如 LoRA）的联邦大语言模型（FedLLMs）已成为一种主流的隐私保护协作学习方法。通过冻结预训练大语言模型中庞大的骨干参数，仅训练紧凑的低秩适配器模块，这些系统旨在降低计算、存储和通信开销。普遍的假设是，这种参数高效性通过限制通过共享梯度可获取的信息量，从而在本质上增强了安全性，能够阻断现有的梯度反转攻击（GIA）。

然而，本文挑战了这一假设。文章指出，基于适配器的 FedLLMs 仍然容易受到严重的隐私攻击。核心问题在于，尽管存在三个特定的挑战使得传统的 GIA 失效，攻击者仍能从适配器层的共享梯度中重构出敏感的私有训练文本：

更新维度较低： 适配器仅更新极小比例的参数，大幅降低了梯度的维度，并与全参数微调相比掩盖了原始信息。
骨干网络冻结： 预训练的 LLM 骨干保持冻结状态，这意味着攻击者无法访问在全参数设置中通常有助于文本重构的关键注意力层和 Transformer 层的梯度。
解空间广泛： 可能的文本重构组合空间极其庞大，使得直接遍历或束搜索（Beam Search）在计算上变得不可行，尤其是在大批量（Batch Size）场景下。

方法论：UTR 攻击

作者提出了 UTR 攻击（Unordered-word-bag-based Text Reconstruction，基于无序词袋的文本重构），这是一种旨在利用基于适配器的 FedLLMs 独特结构属性的新型两阶段流水线。

第一阶段：词袋推理

此阶段针对 嵌入适配器（Embedding Adapter） 来推断客户端私有输入中存在的无序词表标记（Tokens），从而有效地绕过连续优化过程。

机制： 该方法利用了冻结嵌入层的确定性特征。它分析了嵌入适配器中全连接（FC）下采样层的梯度。
数学洞察： 通过计算 FC 层中神经元的 权重与偏置梯度比（RWBG），作者构建了一个低秩线性子空间 $S$ 。该子空间由实际输入标记的隐藏嵌入向量所张成。
推理： 攻击过程遍历模型的词表，检查候选标记的隐藏嵌入是否位于由客户端梯度导出的子空间 $S$ 内。如果是，则该标记被纳入“词袋”中。这使问题从向量拟合转变为线性代数中的成员资格测试。

第二阶段：数据推理

此阶段将无序的“词袋”组装成连贯的文本序列。

机制： 它采用了一种受语法、语义和上下文过滤器（EICW, CG, CS）引导的约束贪婪搜索策略，以剔除无效的标记组合。
成员身份验证： 为了验证候选句子，该方法利用来自 层适配器（Layer Adapter） 的梯度。它将候选序列输入模型以生成隐藏嵌入，并检查这些嵌入是否位于层适配器梯度所张成的低秩子空间 $S_{LA}$ 内。
架构适配： 该方法考虑了 LLM 的架构差异。对于双向模型（如 BERT），可以一步完成全文本重构。对于单向模型（如 GPT），重构是逐前缀进行的，需要更多的候选样本来组装完整的序列。

核心贡献

漏洞披露： 本文证明了即使在大多数模型参数被冻结的情况下，基于适配器的 FedLLMs 也并非对梯度反转攻击免疫。研究揭示了低秩适配器创造了新的、可被利用的泄露通道。
UTR 攻击框架： 作者引入了 UTR，一种定制化的攻击方式，用以克服低维更新和冻结骨干带来的挑战。它独特地结合了嵌入梯度的子空间分析与约束解码，以实现高保真度的重构。
泄露的理论分析： 本文提供了对攻击极限的理论评估，将可恢复标记的最大数量 ( $k_{max}$ ) 定义为受限于适配器梯度所张成的子空间秩 ( $rank(S) \leq d_{bottleneck}$ )。
全面评估： 研究在多种模型（BERT, GPT2-Large, Qwen2.5-7B）和数据集（CoLA, SST-2, Rotten Tomatoes）以及不同批量大小和防御机制下对攻击进行了评估。

实验结果

实验表明，UTR 实现了近乎完美的重构准确率，显著优于 LAMP 和 DAGER 等最先进的基准方法。

重构准确率： 在所有测试的模型和数据集上，即使批量大小高达 128，UTR 的 ROUGE-1/2 分数也超过了 99%。相比之下，基准方法 DAGER 在冻结骨干的设置下完全失效，而 LAMP 则随着批量大小的增加而性能大幅下降。
可扩展性： 对于 Qwen2.5-7B 和 BERT，该攻击在处理大批量（高达 128）时依然有效。在 GPT2-Large 上，由于单向注意力机制在重构长序列方面的挑战，在某些数据集（SST, RT）上，当批量大于 32 时性能有所下降。
防御评估：
- 差分隐私 (DP)： DP 被证明是一种有效的防御手段，在适度的噪声水平（ $\sigma \geq 1.5$ ）下，可将攻击成功率降至接近 0%。然而，作者指出，达到此类噪声水平会使模型在实际任务中无法使用。
- 梯度剪枝 (GP)： GP 提供的保护非常脆弱。即使进行激进的剪枝（99.9%），仍存在部分泄露，且需要极高的剪枝率才能缓解攻击，但这会严重影响模型的可用性。

意义与主张

论文得出结论，在 FedLLMs 中，参数效率与隐私之间存在根本性的张力。基于适配器的轻量化微调本身就能增强安全性的普遍观点受到了这些发现的挑战。

隐私-性能权衡： 研究强调，虽然适配器降低了通信成本，但它们并不自动保证隐私。旨在提高效率的低秩更新，无意中创造了一个特定的子空间，可以通过数学方法进行反转，从而恢复离散的输入数据。
对设计的启示： 结果表明，仅仅依靠基于适配器的微调不足以保障隐私。作者强调，需要对高效 FedLLM 范式中的重构风险进行系统性评估，并指出有效的防御（如 DP）可能会以牺牲模型效用为代价。

这项工作为社区提供了一个关键警告：基于适配器的 FedLLMs 的安全保证并不像看起来那样稳固，因此需要新的防御策略，且这些策略不能损害这些模型所提供的效率优势。