MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning

想象一个这样的世界：巨大的、超级智能的计算机（被称为 AI 模型）规模如此庞大，以至于没有任何一个人能把它们装进兜里。为了让这些模型对每个人都变得有用，科学家们让这些模型在不实际“看到”你手机或电脑上的数据的情况下，从这些数据中进行“学习”。这就像是一位名厨给你寄来了一本基础食谱，然后你利用自己的秘密食材对指令进行了微小的调整，最后只把这些微小的变化传回给厨师。这种被称为“联邦学习”（federated learning）结合“LoRA”的方法，理应是隐私保护的超能力：厨师变得更聪明了，但你的秘密食材依然留在你的厨房里。

但如果这位厨师不仅仅是一位厨师呢？如果这位厨师是一个狡猾的间谍，起初就给你寄了一本被轻微篡改过的食谱呢？这篇论文探讨了一个可怕的可能性：一个恶意的服务器（即“厨师”）可能会通过诱骗你的设备，利用你传回的那些微小变化，从而泄露你的秘密。研究人员发现，通过精心设计初始食谱和用于进行修改的工具，服务器可以通过观察你传回的“梯度”（即微小调整的列表），在数学上逆向工程出你的私密数据——比如你的短信或照片。这提醒我们，即使你认为自己只分享了一些碎屑，一个聪明的对手也可能借此重构出一整个蛋糕。

这篇论文的重要发现：“MineGrad”

该论文的作者 Hasin Us Sami、Swapneel Sen 和 Ba¸sak Guler 介绍了一种他们称之为 MineGrad 的新攻击手段。可以把它想象成一场高科技的寻宝游戏，其中“宝藏”是你的私密数据，而“地图”则隐藏在你发送给服务器的微小更新之中。

在过去，研究人员知道，如果你将一个巨型模型的所有变化都传回，一个坏人有时可以猜出你的数据。但在使用 LoRA（低秩自适应）时，你只发送这些变化的极小压缩版本。科学家们曾认为，这种极小的规模使得窃取数据变得困难得多。他们还认为，如果数据太大（例如长句子或整张图片），这种窃取数据的数学逻辑就无法成立。

MineGrad 打破了这些假设。 研究人员展示了，即使你只发送那些微小的 LoRA 更新，即使你处理的是长句子或复杂的图像，恶意的服务器仍然可以窃取你的数据。

以下是这场“劫案”是如何运作的，我们使用一个简单的类比：

1. 被投毒的食谱书： 在你开始之前，服务器会先发给你一个“预训练模型”（基础食谱）。服务器秘密地微调了这本食谱。这就像是服务器在特定的页面上添加了隐形的、发光的墨水。你不会注意到这一点，因为食谱在烹饪时依然有效。
2. 秘密信号： 当你使用这本被投毒的食谱并加入你自己的秘密食材（你的私密数据）进行烹饪时，烹饪过程的数学计算会产生一个特殊的信号。服务器设计了这些“发光的墨水”，使得当你计算要传回的微小变化（梯度）时，这些变化会像聚光灯一样。
3. 聚光灯效应： 通常情况下，你传回的变化是所有食材的混乱混合物。但由于服务器的诡计，针对食谱特定部分的改动会对“某一种特定食材”变得异常巨大且响亮，而对其他食材则保持安静。这就像是你正在制作奶昔，而服务器让搅拌机在加入草莓时发出巨大的尖叫声，但在加入香蕉时却保持沉默。
4. 重构： 服务器接收到你的微小更新。由于聚光灯效应，服务器可以通过数学手段分离出那个“尖叫声”，并弄清楚究竟是哪种食材导致了它。通过对食谱的不同部分进行这种操作，服务器可以逐字逐句或逐像素地拼凑出你完整的秘密奶昔配方。

他们的发现（以及没发现的）

研究人员在两种截然不同的数据类型上进行了测试：文本（如新闻文章和评论）和图像（如猫和汽车的照片）。

• 对于文本： 他们使用了像 BERT 和 RoBERTa 这样的模型。结果令人震惊地准确。在他们的测试中，服务器恢复出的文本几乎达到了完美的精度。如果原始句子是“Microsoft sends digital business cards”，恢复出的文本几乎完全一致，在 BLEU 和 ROUGE-L 等标准测量量表上的得分接近 1.0（完美）。
• 对于图像： 他们在来自 CIFAR-10 和 CIFAR-100 数据集的图像上进行了测试。恢复出的图像与原图非常相似。研究人员使用名为 LPIPS 的指标来衡量差异，得分在 0.20 到 0.21 左右，这表明图像在视觉上与原图非常接近。
• “Token 过多”的迷思： 此前一种名为 DAGER 的攻击在你的句子中的单词数量超过 LoRA 模块的“秩”（rank，一种衡量大小的指标）时就会失败。本文作者证明了 MineGrad 即使在单词数量远大于秩的情况下依然有效。他们证明，通过使用模型的多个“层”（就像使用多个手电筒而不是一个），即使在 LoRA 秩极小（低至 4）且序列很长的情况下，他们也能恢复数据。

该攻击的局限性

需要注意的是，这篇论文并没有说这些内容。这种攻击依赖于服务器是恶意的，并且控制着你下载的初始模型。如果你从一个可以验证的可信来源下载模型，或者如果服务器是诚实的，这种特定的攻击就不会奏效。

此外，论文指出，当服务器不在乎最终模型的质量时，这种攻击最为有效。因为服务器通过篡改食谱来窃取数据，模型的性能可能会稍微变差。然而，作者指出，在许多现实场景中（例如在你手机充电时进行的夜间训练），用户并不会密切关注模型的表现，因此他们可能不会注意到模型在数据被窃取时正变得稍微“笨”了一点。

研究人员还测试了如果你一次发送一整批句子（例如 64 个句子）会发生什么。在这种情况下，虽然无法对每一个单词都实现完美恢复，但他们发现，即使在批处理大小为 64 的情况下，他们仍然可以在某些数据集上恢复大约 52.2% 的 token（单词）。

为什么这很重要

这篇论文不仅仅是在说“这有可能”；它提供了一个工作蓝图（代码可在网上获取），展示了其背后的数学原理究竟是如何运作的。它表明，如果我们使用的像 LoRA 这样高效的方法所提供的隐私保证其实是一种幻觉，如果服务器是不受信任的。

作者得出结论，我们需要新的方法来检查我们下载的模型是否安全，因为仅仅信任服务器可能是不够的。他们并没有解决如何阻止这个问题的方法；相反，他们敲响了一个响亮的警钟，表明如果没有更好的防御措施，我们的私密数据可能会从我们认为安全的微小更新中被挖掘出来。