Efficient, Robust, and Anti-Collusion Fingerprinting of Image Diffusion Models

本文提出了一种针对文本生成图像扩散模型的鲁棒、高效且抗共谋的指纹识别方法,该方法将用户特定的标识符嵌入到个性化归一化模块中,从而在实现可靠提取的同时,通过降低共谋模型的质量来防止未经授权的再分发。

原作者: Jianwei Fei, Yunshu Dai, Zhihua Xia, Xiaochun Cao, Jiantao Zhou, Alessandro Piva, Benedetta Tondi

发布于 2026-06-12
📖 1 分钟阅读☕ 轻松阅读

原作者: Jianwei Fei, Yunshu Dai, Zhihua Xia, Xiaochun Cao, Jiantao Zhou, Alessandro Piva, Benedetta Tondi

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

想象一下你是一位经营着一家知名且美味蛋糕店的烘焙坊主。为了保护你的生意,你想向成千上万不同的客户出售你的蛋糕配方副本。然而,你需要一种方法来证明某一个特定的蛋糕确实出自你的烘焙坊,而不是模仿者的作品;同时,你还需要阻止客户偷偷交换他们的配方页,从而制造出一个不属于任何人的“超级配方”。

这篇论文提出了一种全新的、巧妙的方法来为 AI 图像生成器(特别是文本生成图像模型)进行“指纹识别”(fingerprinting),以解决完全相同的问题。以下是通俗易懂的解析:

问题所在:“配方交换”攻击

目前,公司将 AI 模型出售给用户。为了追踪谁拥有哪份副本,他们会在模型中嵌入一个隐藏的数字 ID(即指纹)。如果有人偷走了模型,所有者可以通过扫描该模型生成的图像并说:“啊,这张图是由用户 #5 的被盗副本制作的。”

缺陷: 研究人员发现了一个重大的弱点。如果用户 A 和用户 B 都偷走了各自的副本,他们只需将两者的设置进行**平均化处理(averaging)**即可。

  • 类比: 这就像两个人把各自的秘密配料混合在一个碗里。
  • 现状: 在现有的方法中,这种混合会产生一个新的、依然能做出美味蛋糕的配方,但隐藏的“用户 A”和“用户 B”的 ID 会被洗掉。这个新蛋糕没有指纹,因此所有者无法追踪。这被称为共谋攻击(Collusion Attack)

解决方案:“魔法摇瓶”(反共谋)

作者提出了一种新系统来阻止这种混合技巧。他们引入了一个名为**个性化归一化模块(Personalized Normalization Module, PNM)**的特殊模块。你可以把它想象成内置在 AI 大脑中的一个定制“魔法摇瓶”,它会根据唯一的 ID 来调整其工作方式。

以下是该系统的三个步骤:

1. 隐形墨水(指纹识别)

他们不仅仅是稍微改变配方,而是将用户的 ID 编织进“魔法摇瓶”的运作机制之中。

  • 原理: 他们训练 AI,使其在生成图像时,将隐藏的 ID 织入像素之中。
  • 结果: 你可以观察该 AI 生成的任何图像,并提取出 ID,以此证明谁拥有该模型。论文声称,即使图像被裁剪、压缩或编辑,这种方法依然能达到 99.5% 的准确率

2. “反共谋”技巧(真正的创新)

这是该论文最大的突破。在将模型交给用户之前,他们应用了一种特殊的变换,称为 ACT(反共谋变换)

  • 类比: 想象你给用户 A 的配方中,“盐”是用“茶匙”计量的,而“糖”是用“克”计量的。你给用户 B 的配方中,“盐”是用“克”计量的,而“糖”是用“茶匙”计量的。
  • 关键点: 两份配方都能烤出完美的蛋糕,因为摇瓶内部知道如何转换这些单位。
  • 陷阱: 如果用户 A 和用户 B 尝试混合他们的配方(取平均值),单位就会发生混乱。结果得到的配方会显示“加入 500 克盐”,而原本应该是茶匙。蛋糕会变成一个咸得无法入口的废品。
  • 论文声称: 如果两个或更多用户试图进行共谋,生成的模型会导致极其糟糕的图像质量(差到无法使用)。这阻止了攻击,因为攻击者无法在不带有指纹的情况下获得一个可用的模型。

3. “最坏情况”训练

为了确保指纹即使在有人尝试微调模型(如进行微调)时也能幸存下来,作者使用了“最坏情况”策略来训练 AI。

  • 类比: 想象一名保安通过针对最强攻击者的练习来进行训练。
  • 结果: 指纹被如此深地嵌入其中,以至于即使有人尝试对模型进行“剪枝”(剔除部分内容)或添加噪声,ID 依然清晰可见。

研究结果

论文在流行的 AI 图像生成器(如 Stable Diffusion)上测试了该方法,并发现:

  • 质量: 被植入指纹的模型所生成的图像与原版一样出色(没有模糊或奇怪的伪影)。
  • 安全性: 当攻击者尝试混合模型时,图像质量大幅下降(衡量质量的 FID 分数从优秀的 23 飙升到了糟糕的 79)。
  • 效率: 所有者可以瞬间为不同用户创建数千个独特的副本,而无需每次都重新训练 AI。

总结

这篇论文引入了一个用于 AI 模型的“锁”。如果你试图通过组合两个钥匙来破解这把锁(共谋),这把锁不仅不会保持开启状态,反而会卡死整个机器,使其无法产出任何有用的东西。它通过确保你无法通过窃取模型并将其与其他模型混合来获得一个既能正常工作又能隐藏行踪的产品,从而保护了创作者的权利。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →