🤖 machine learning

Dataset Usage Inference without Shadow Models or Held-out Data

本文介绍了一种实用的数据集使用推断框架，该框架通过利用合成非成员样本和混合比例估计来解决现实世界中的数据所有权争议，从而在不依赖昂贵的影子模型或留出数据的情况下，估算用于训练模型的训练集比例。

原作者： Wojciech Łapacz, Stanisław Pawlak, Jan Dubiński, Franziska Boenisch, Adam Dziedzic

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Wojciech Łapacz, Stanisław Pawlak, Jan Dubiński, Franziska Boenisch, Adam Dziedzic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位艺术家，怀疑有一个高科技的机器人画家在秘密地利用你的画作来学习绘画。你想知道：这个机器人是否使用了我的画作？如果是，它使用了多少张？

这就是**数据集使用推断（Dataset Usage Inference, DUI）**的问题。长期以来，想要回答这个问题就像是通过在另一个厨房里烘焙你自己的蛋糕，来试图逆向工程出一个秘密配方，看两者的味道是否相同。这被称为使用“影子模型”（shadow models）。这种方法极其昂贵、缓慢，而且要求你拥有一份目标机器人的完美训练数据副本（而你通常并没有）。

这篇论文介绍了一种全新的、聪明得多的方法，称为 NU-DUI（负向无标签数据集使用推断）。以下是它的工作原理，我们使用简单的类比来解释：

1. 旧方法：“影子戏”难题

以前，为了检查机器人是否使用了你的照片，研究人员必须构建一个“影子机器人”（影子模型）来试图完美模仿真实的那一个。

类比： 想象你要证明一位大师级厨师使用了你的秘密香料。为了做到这一点，你必须建立一个全新的厨房，雇佣一位新的厨师，并花费数月时间试图重现那位大师级厨师的精确烹饪风格，仅仅是为了对比笔记。这太昂贵了，也太慢了。
缺陷： 它还假设你拥有一组你确信从未被使用的照片作为“对照组”。但在现实生活中，你很难拥有一份百分之百保证安全的照片清单。

2. 新方法：“数字镜面”妙招

作者们的新方法 NU-DUI 完全跳过了昂贵的影子机器人。相反，它利用了一个巧妙的两步走“魔术”，即使用合成（伪造）数据。

步骤 A：创建一个“伪造”参考组

该方法不需要一份你已知未被使用的照片列表，而是通过运行一个不同类型的机器人画家，将你的可疑照片转化为一个“转述版”来创建。

类比： 想象你有一张可疑的照片。你通过运行一个不同类型的艺术滤镜（比如水彩滤镜）来创建一个“伪造”版本。这个伪造版本看起来很相似，但绝对是全新的，且不在原始机器人的训练集内。
转折点： 作者意识到，如果你使用同一种类型的机器人来制作伪造品，伪造品可能会在无意中与真实的训练数据过于相似。因此，他们使用了一个完全不同的机器人家族（例如，如果目标是“扩散型/Diffusion”机器人，他们使用“VAR”机器人来制作伪造品）。这确保了这些伪造品是真正的“局外人”。

步骤 B：“化妆”技巧（自动编码）

这是最关键的部分。由不同机器人制作的“伪造”照片具有一种真实照片所没有的特定数字“纹理”或“噪声”。如果你直接将真实照片与这些伪造品进行比较，计算机可能会被这种纹理干扰，从而无法准确判断照片是否真的被用于训练。

类比： 想象伪造的照片戴着一副特定的太阳镜。如果你将它们与真人进行比较，计算机可能会说：“哦，这些人戴着太阳镜，所以他们肯定与众不同！”
解决方法： 该方法将你的真实可疑照片也戴上同样的太阳镜。它运行相同的滤镜来创建“自动编码”版本。现在，无论是“伪造”组还是“真实”组，都戴着同样的太阳镜。剩下的唯一区别就是这张照片是否真的存在于机器人的训练记忆中。

3. 最终计数：“奶昔”混合法

一旦数据准备就绪，该方法会要求目标机器人观察所有这些照片，并给出一个“熟悉度评分”。

类比： 想象你有一杯由两种水果组成的奶昔：苹果（机器人认识的照片）和橙子（机器人不认识的照片）。你看不清单个水果，但你可以品尝出奶昔的味道。
数学原理： 该方法使用了一个名为**混合比例估计（Mixture Proportion Estimation）**的统计工具。它观察戴着“太阳镜”的伪造品（它们是 100% 的“橙子”）和戴着“太阳镜”的可疑照片（它们是“苹果”与“橙子”的混合物）的“熟悉度评分”。通过对比两者，它可以从数学上精确计算出这杯“可疑奶昔”中有多少比例是由“苹果”组成的。

为什么这很重要

速度： 旧方法检查一个数据集需要超过 1,500 小时的超级计算机时间。而这个新方法仅需约 42 分钟。这实现了超过 2,000 倍的加速。
无需“完美”数据： 你不需要一份秘密的“安全”照片清单。该方法可以即时创建自己的安全参考组。
现实应用： 它适用于大规模的现代图像生成器（如当今正在创作艺术的模型），并且能给出一个具体的数字（例如，“30% 的照片被使用了”），而不仅仅是一个“是/否”的答案。

核心结论

该论文声称，这是一种实用、快速且准确的方法，用于审计大型 AI 模型，供艺术家或数据所有者使用。它证明了你不需要重建 AI 来检查它是否窃取了你的数据；你只需要为你的数据创造一个巧妙的“镜像”，然后让数学来完成剩下的工作。

注：关于局限性： 论文承认，如果 AI 模型在行为中留下了某些“足迹”（记忆信号），那么此方法效果最好。如果模型非常完美且未留下任何痕迹，该方法就无法找到它们。此外，它需要另一种可用的 AI 类型来创建“伪造”的参考照片。

技术摘要：负向无标签数据集使用量推断 (NU-DUI)

问题陈述

数据集使用量推断 (Dataset Usage Inference, DUI) 旨在估算特定数据集被用于训练机器学习模型的比例。虽然现有的方法（如 数据集推断 (Dataset Inference, DI)）可以确定数据集是否被使用（二元分类），但它们无法量化使用了多少。这种量化对于法律框架（例如美国版权法下的合理使用分析）和现实世界的数据所有权纠纷至关重要。

目前的尖端方法，例如 DUCI (Tong et al., [46])，面临两个显著的实际障碍：

影子模型需求： 它们需要训练昂贵的“影子模型”来模拟目标模型的架构和行为。对于大规模生成式模型（例如 1.5B 参数），训练单个影子模型可能需要超过 1,500 个 A100 小时，这使得计算成本极其高昂。
留出数据假设： 它们假设可以访问一个受信任的、属于同分布的“留出集 (held-out set)”，并确认该集合不在目标模型的训练集中。在真实的审计场景中，这种受信任的非成员数据极少存在。

此外，标准的 成员推断攻击 (Membership Inference Attacks, MIAs) 在面对现代大型模型时，往往会退化到接近随机的表现，这是由于单样本信号较弱以及成员与非成员数据之间的分布偏移敏感性所致。

方法论：NU-DUI

作者提出了 负向无标签数据集使用量推断 (Negative Unlabeled Dataset Usage Inference, NU-DUI) 框架，该框架消除了对影子模型和受信任留出数据的需求。该方法将 DUI 重新定义为一个 混合比例估计 (Mixture Proportion Estimation, MPE) 问题。

该流程包含三个主要阶段：

1. 合成非成员集与自动编码怀疑集构建

为了解决缺乏受信任留出集的问题，NU-DUI 直接从怀疑集 ( $X_{real}$ ) 构建参考数据：

合成非成员 ( $X_{img2img}^{nonmember}$ ): 使用来自不同生成家族的图像到图像生成器 ( $G$ $G$ ) 对怀疑图像进行改写（例如，使用 Stable Diffusion 为自回归目标模型改写图像，反之亦然）。
- 原理： 使用不同的家族可以防止合成样本落在目标模型损失函数的“不动点”附近。如果使用相同的家族，改写后的图像可能会因为目标模型特定的逆过程动力学而表现出人为偏低的损失（看起来像成员），从而混淆推断结果。
自动编码怀疑集 ( $X_{AE}$ ): 使用与改写过程相同的自动编码器对原始怀疑集进行编码和解码。
- 原理： 生成模型会引入特定的高频伪影。通过对怀疑集进行自动编码，该方法将这些相同的伪影注入到“无标签”侧的比较中。这确保了无标签混合物 ( $U$ ) 与合成负样本 ( $N$ ) 之间的分布偏移是由成员身份状态而非生成器特有的伪影所主导。

2. MIA 特征提取

框架在自动编码后的怀疑集 ( $U$ ) 和合成非成员集 ( $N$ ) 上查询目标模型。它提取针对目标模型家族定制的成员推断特征向量 ( $\Phi_{MIA}$ )：

对于 图像自回归 (IAR) 模型，它使用基于 token 级损失和置信度评分的特征集。
对于 扩散 (Diffusion) 模型，它使用噪声预测误差和条件似然差异。
将多个信号组合成单个特征向量，以提高成员分布与非成员分布之间的分离度，因为单一信号通常较弱或带有噪声。

3. 混合比例估计 (MPE)

该问题被转化为估计无标签集 $U$ 中成员的比例 $\pi$ ，其中 $U$ 是成员（来自怀疑集）和非成员（合成）的混合。

合成集 $N$ 作为标记的非成员参考。
自动编码后的怀疑集 $U$ 作为无标签混合物。
应用标准 MPE 估计器（如 TIcE、AlphaMax、PUL 变体）处理特征向量，以恢复估计的成员比例 $\hat{p}$ 。

核心贡献

重构为 MPE： 作者将数据集使用量推断重新构建为混合比例估计问题，消除了对昂贵影子模型的依赖。
合成参考生成： 他们提出了一种通过跨家族图像到图像改写生成逼真的合成非成员的方法，并通过自动编码使怀疑集对齐。这消除了对受信任留出非成员数据集的依赖，而这类数据在实践中通常难以获得。
实证验证： 该方法在五个大规模图像生成模型（包括自回归和扩散模型）上展示了准确的成员比例估计，其计算成本比基于影子模型的方法低几个数量级。

实验结果

作者在包括 VAR-24/30、RAR-XL/XXL 和 DiT-RF-XL/2-8E2A 在内的、基于 ImageNet-1k 训练的大规模模型上评估了 NU-DUI。

准确性： 在各种真实成员比例 ( $p$ $p$ ) 下，NU-DUI（使用 “Synth + AE” 流程）紧密追踪恒等线。
- 在怀疑集为 1,000 张图像的 RAR-XXL 上，使用基于 PUL 的 MPE 估计，平均绝对误差 (MAE) 为 0.058，显著缩小了与“Oracle（先验）”设置（即假设可以访问真实的留出非成员）之间的差距。
- 若不使用自动编码（仅使用 “Synthetic”），由于伪影不匹配，该方法会在低 $p$ 时系统性地高估成员比例。自动编码修正了这一偏差。
跨家族必要性： 消融研究表明，使用与目标模型属于同一生成家族的改写器会显著降低估计质量，这证实了跨家族生成对于避免损失函数不动点是必不可少的。
计算效率：
- DUCI (1 个影子模型): 对于 1.5B 参数的目标模型，约需 ~1,500 A100 小时。
- NU-DUI: 对于相同的目标模型，约需 ~42.5 A100 分钟。
- 这代表了 >2,000 倍的加速，使得该方法在现代大型模型（影子训练已不可行）上的应用成为可能。
可扩展性： 随着怀疑集大小从 100 增加到 1,000 张图像，估计准确性迅速提升，随后趋于饱和。即使在较小的怀疑集（如 100 张图像）下，该方法依然具有实用性。

意义与局限性

意义：
论文将 NU-DUI 呈现为数据所有者和审计人员获取现代生成模型中训练数据使用情况定量证据的实用工具。通过消除对影子模型和受信任留出数据的需求，它使得大规模、专有模型的训练数据审计变得可行，而此前的方法在计算或数据方面具有限制性。

局限性：
作者指出了两个主要的约束：

MIA 信号强度： NU-DUI 的准确性受限于可用成员推断信号的强度。如果目标模型泄露的成员信息极少，则估计值将不够稳定。
跨家族生成器的可用性： 该方法需要一个来自不同家族且足够强大的生成模型来产生合成非成员。在不存在此类替代生成器的领域，该方法无法直接应用。

论文总结道，NU-DUI 通过利用合成数据生成和混合比例估计，解锁了现代生成模型的数据集使用量推断，为基于影子模型的审计提供了一种可扩展的替代方案。