DIME: Query-Efficient Framework for Membership Inference on Diffusion Models

在现代人工智能的版图中，被称为扩散模型（diffusion models）的一类特定系统已成为许多我们在网上看到的引人注目的图像背后的引擎。这些系统通过从随机噪声开始，并逐渐去除噪声直到清晰图像显现的过程，来学习创造新的图片。为了实现这一点，它们在海量的现有照片集上进行训练，学习连接一张图像与另一张图像的统计模式。虽然这些模型因其生成艺术的能力而备受赞誉，但随着其成功而来的，是一个隐形的隐私担忧。由于用于训练模型的特定照片列表很少公开，因此很难知道一个人的私人照片是否被包含在那个训练集中。这之所以重要，有几个原因：确认一个人的医疗或生物识别数据是否被使用本身可能就是一种隐私侵犯；并且根据现行的个人数据保护法，个人有权要求删除其数据，然而通常无法验证模型是否真的已经“忘记”了他们。此外，如果一个模型记住的是一张特定的受版权保护的图像，而不仅仅是学习了一种通用的风格，这就会引发关于它所创造的新图像归谁所有的法律问题。

多年来，研究人员一直试图构建工具来回答一个问题：特定的图像是否属于模型的训练数据。这些被称为成员推理攻击（membership inference attacks）的尝试，在很大程度上依赖于直觉。研究人员会猜测，如果模型见过一张图像，它对该图像的反应可能会与对待一张从未见过的图像略有不同。他们测试了各种信号，例如模型在尝试清理一个噪声版本的图像时产生的误差程度。然而，这些方法往往时灵时不灵，需要向模型提出大量的提问，并且缺乏解释其为何有效的坚实的理论基础。它们就像是在试图通过猜测哪部分干草可能很锋利来寻找干草堆里的针，而不是去理解针本身的形状。

伊利诺伊大学香槟分校的一个研究小组现在从一个完全不同的角度切入这个问题。他们没有去猜测哪些信号可能有用，而是从数学上推导出了最好的信号应该是什么样子。他们提出了一个根本性的问题：如果一个扩散模型是在一组有限的图像集上训练的，那么它用来去除任何给定图像的噪声的完美、理论上的函数应该是怎样的？通过进行数学求解，他们发现模型的行为是由一种特定类型的平均化过程所支配的。当模型观察一张带有噪声的图像时，它本质上是在问：“我的哪些训练图像可能产生了这个？”然后将答案融合在一起，并根据每个训练图像与当前噪声的匹配程度进行加权。

这一理论洞察揭示了模型的行为包含两个截然不同的线索，用以判断一张图像是否属于训练集。第一个线索是研究人员称之为“偏差项”（bias term）的概念。它衡量了模型对原始图像的最佳猜测与被测试图像之间的距离。如果该图像在训练集中，模型的猜测会与图像本身非常接近；如果图像从未被见过，猜测可能会离得较远。这部分信号是之前的研究人员已知的内容，他们曾利用它来构建攻击。然而，研究人员的数学推导发现了第二个此前被忽视的线索：一个“拥挤项”（crowding term）。它衡量了在模型做出其猜测的点周围，相似的训练图像分布得有多紧密。想象一群人在田野里站立。如果你独自站立，你周围的人会离得很远；如果你站在一个密集的集群中，你周围的人会靠得非常近。研究人员发现，即使模型的猜测是准确的，训练图像围绕该猜测的聚集方式也会提供一个强大的、独立的信号。一个非成员图像可能会偶然落在模型猜测很近的一个位置，但如果负责该猜测的训练图像分布得很分散，模型的内部逻辑就会暴露该图像是全新的。

利用对偏差和拥挤的双重理解，该团队开发了一种名为 DIME 的新攻击方法。这种方法的设计目标是极其高效。以前的攻击通常需要向模型提出数十个问题才能获得可靠的答案，在公司按查询计费或限制提问次数的现实场景中，这既缓慢又昂贵。相比之下，DIME 仅需两个问题即可实现结果。它的工作原理是让模型观察所讨论的图像，以及该图像经过轻微改变后的版本。通过比较模型在这些视图之间预测的变化，该方法可以计算出偏差和拥挤信号，而无需查看模型的内部代码或重新训练任何其他模型。

研究人员在各种图像数据集上测试了这种新方法，范围从简单的、小的图片到大型的、复杂的面部及多样化场景的照片。在每种情况下，DIME 都优于现有的最佳方法。在某些数据集上，它识别训练图像的正确率比之前最好的方法高出三倍，同时使用的提问次数仅为一小部分。值得注意的是，使用仅两个问题的攻击版本往往能够达到甚至超过使用三十个问题的其他攻击的性能。这种效率至关重要，因为这意味着该攻击对于那些可能会通过限制访问来保护自己的现实世界系统是具有实际威胁的。研究人员还将他们的方法与一种标准的隐私防御机制——差分隐私（differential privacy）进行了对比测试，这种机制旨在从数学上保证没有任何单一的训练图像能对模型产生过大的影响。他们发现，当这种防御处于激活状态时，该攻击会完全失效，其成功率降低到了随机猜测的水平。这证实了虽然这种新方法对于未受保护的模型非常强大，但现有的数学防御措施仍然是有效的。

这项工作的意义不仅在于它是一个更好的攻击手段，更在于它如何改变了我们对这些系统的理解。通过从理想模型的理论描述出发，研究人员证明了隐私风险并非随机的奇特现象，而是内置于这些模型学习方式的结构之中。他们证明了模型的行为留下了可检测的痕迹，且这种痕迹可以通过两种互补的方式进行测量。这为为什么成员推理攻击会奏效提供了清晰的、具有数学依据的解释，并为未来如何构建更好的防御提供了蓝图。该研究表明，即使是最先进的生成模型也无法免于被审计，而理解其学习过程的精确机制，是既能揭露其脆弱性、又能保障其安全性的关键。