🤖 machine learning

SemBind: Binding Diffusion Watermarks to Semantics Against Black-Box Forgery Attacks

该论文提出了 SemBind，一种通过学习语义掩码将水印信号与图像语义相结合，从而在不损害图像质量的前提下确保鲁棒溯源性的防御框架，旨在缓解针对潜在扩散模型的黑盒伪造攻击。

原作者： Xin Zhang, Zijin Yang, Kejiang Chen, Linfeng Ma, Weiming Zhang, Nenghai Yu

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xin Zhang, Zijin Yang, Kejiang Chen, Linfeng Ma, Weiming Zhang, Nenghai Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文 "SemBind" 进行的解释。

问题所在：“假身份证”骗局

想象一位著名的艺术家（AI 提供方），他们在创作的每一幅画作中都留下了一个微小的、肉眼不可见的签名。这个签名隐藏在艺术家完成最终图像之前的最初“草图”中。这被称为基于潜空间的数字水印（latent-based watermark）。它非常有效，因为这能证明这幅画出自那位艺术家之手。

然而，一个聪明的伪造者发现了一个漏洞。伪造者不需要懂得绘画技巧，也不需要了解艺术家的签名是如何工作的。他们只需要：

偷走一张艺术家带有签名的画作。
查看其下方的“草图”。
将那个草图复制到他们自己创作的另一幅完全不同的画作上。

现在，伪造者的假画上也带有了艺术家的隐形签名。当检测器扫描它时，它会显示：“这是真实的！”尽管这幅画其实是伪造者画的。这就是黑盒伪造攻击（Black-Box Forgery Attack）。它破坏了信任，因为任何人都可以窃取签名并将其贴在任何东西上。

解决方案：SemBind（“语义锁”）

研究人员提出了一种名为 SemBind 的新防御机制。与其仅仅将签名放在草图上，他们将签名与图片的含义（语义）“锁定”在一起。

可以这样理解：

旧方法： 签名就像贴在画布上的贴纸。如果你把它撕下来贴到另一块画布上，它依然有效。
SemBind 方法： 签名现在变成了一个磁力锁，只有当画布上画的是特定的场景（例如“垫子上的猫”）时，它才能契合。

它是如何工作的（神奇步骤）

1. “含义扫描仪”（语义掩码器/Semantic Masker）
在 AI 绘制图片之前，SemBind 使用一种特殊的工具（神经网络）来读取提示词（例如“垫子上的猫”）。它将这个概念转化为一段独特的、秘密的二进制代码（由 1 和 0 组成的字符串）。

如果你要求画“一只猫”，代码是 1011...
如果你要求画“一只吸血蝙蝠”，代码则完全不同，比如 0100...

2. “隐形过滤器”
AI 照常生成图像，但在添加最终签名之前，SemBind 会获取这段秘密代码，并将其转化为一个巨大的、隐形的过滤器（掩码）。

这个过滤器被应用到图像的“草图”（初始噪声）上。
这就像是在颜料中混合了一种特定口味的染料。如果颜料是为“猫”准备的，那么染料就会与“猫”的代码相匹配。

3. 验证（检查过程）
当有人稍后尝试验证图像时：

检测器会观察图像并询问：“这是一张什么样的图片？”
它会针对它所“看到”的内容生成秘密代码。
如果图像与代码匹配： 隐形过滤器会完美对齐，签名显现出来，图像被标记为“真实”。
如果图像是伪造的： 想象一个伪造者拿走了“猫”的签名，并试图把它放在一张“吸血蝙蝠”的图片上。检测器看到了蝙蝠，生成了“蝙蝠”的代码，并尝试应用该过滤器。“猫”的过滤器与“蝙蝠”的代码会发生冲突。签名会被搅乱，检测器会报错：“错误！两者不匹配！”

为什么它意义重大

它阻止了抄袭者： 即使伪造者偷走了“猫”图像的签名，他们也无法将其用于“蝙蝠”图像。除非新图像具有与原图完全相同的含义，否则签名将变得毫无用处。
它不会破坏艺术感： 论文表明，添加这种锁并不会降低图片的质量。色彩、细节和整体质感保持不变。
它是可调节的： 研究人员可以通过调节一个旋钮（称为“掩码比例/mask ratio”）来决定锁的严密程度。
- 严格模式： 极难伪造，但对细微变化（如调整图片大小）较为敏感。
- 宽松模式： 更容易处理细微变化，但相对容易被欺骗。
- 你可以根据需求找到完美的平衡点。

核心总结

SemBind 就像是将安全系统从简单的“钥匙”（可以被复制）升级到了“生物识别锁”（只有当人和门匹配时才起作用）。它将隐形水印与图像的“故事”绑定在一起，使得攻击者无法窃取水印并将其粘贴到虚假的故事中。这保护了 AI 艺术家的声誉，并确保当我们看到带有水印的图像时，能够确信其真实的来源。

技术摘要：SemBind —— 将扩散水印与语义绑定以抵御黑盒伪造攻击

问题陈述

基于潜空间的隐式水印（将信息嵌入潜在扩散模型 LDM 的初始噪声中）为图像归属和版权保护提供了一种稳健的方法。由于其能够保持不可检测性（在统计上与未加水印的输出无法区分）并对常见的图像变换具有鲁棒性，这类方案备受青睐。然而，这些方案面临着一个关键漏洞：黑盒伪造攻击。

在这些攻击中，拥有对提供方模型黑盒访问权限且至少拥有一个已加水印图像的攻击者，可以将水印转移到在不同提示词或不同模型下生成的非法内容中。两种主要的策略实现了这一点：

印刻（Imprinting）： 攻击者优化目标图像潜在空间上的扰动，使得该潜在空间在通过代理模型进行反转时，能够匹配被窃取的水印潜在空间。
重提示（Reprompting）： 攻击者重复使用从已加水印图像中反转得到的初始潜在空间，以生成具有不同（可能具有恶意）提示词的新图像。

目前的防御措施效果不佳，因为基于潜在空间的水印纯粹存在于初始噪声中。增强对自然扰动的鲁棒性会无意中增加对伪造潜在空间的容忍度，从而产生一种权衡：提高其中一个指标会导致另一个指标的安全性下降。

方法论：SemBind

作者提出了 SemBind，这是第一个旨在通过将潜在水印信号与图像语义绑定来抵御黑盒伪造的防御框架。其核心机制是一个学习型语义掩码器（learned semantic masker），它根据生成图像的语义内容来调制加水印的潜在空间。

1. 语义掩码器架构与训练

架构： 掩码器 $f_\theta$ 由一个冻结的语义图像编码器（例如 DINOv2-Giant）和一个轻量级的基于 MLP 的哈希网络组成。它将图像 $x$ 映射为一个二进制代码 $m \in \{0, 1\}^B$ 。
训练目标： 掩码器在大型提示词调节图像语料库上通过对比学习进行训练。其目标是产生：
- 对于由相同提示词生成的图像，产生近乎不变的代码（低汉明距离）。
- 对于来自不同提示词的图像，产生近乎正交的代码（汉明距离 $\approx B/2$ ）。
两阶段训练：
- 第一阶段： 使用监督对比损失在归一化特征上学习一个紧凑且可聚类的表示空间。
- 第二阶段： 训练一个哈希头将这些特征量化为二进制代码，并结合针对量化、比特平衡、去相关性和一致性的正则化项进行对比损失优化。

2. 嵌入过程
为了嵌入水印，SemBind 并不改变底层的加水印方案（如 Tree-Ring、Gaussian Shading）。相反：

提供方使用扩散模型为目标提示词生成一个辅助的干净图像 $x$ 。
语义掩码器提取二进制代码 $m = f_\theta(x)$ 。
该代码通过平铺（tiling）、比例选择（由参数 $\sigma$ 控制）以及使用秘密密钥进行置换，扩展为空间掩码。
生成的符号掩码 $S(x; \sigma, K_{perm}) \in \{-1, +1\}^{C \times H \times W}$ 与标准的加水印初始潜在空间 $z_T^{(w)}$ 进行逐元素相乘：
$z_T^{(w, sem)} = S(x; \sigma, K_{perm}) \odot z_T^{(w)}$
去噪调度器从该调制的潜在空间开始进行去噪，生成最终图像。

3. 提取过程
在验证期间：

验证器使用相同的语义掩码器从加水印图像 $\hat{x}$ 中提取二进制代码，以重建掩码 $\hat{S}$ 。
图像被反转以估计初始潜在空间 $\hat{z}_T^{(w, sem)}$ 。
通过乘以掩码移除语义调制： $\hat{z}_T^{(w)} = \hat{S} \odot \hat{z}_T^{(w, sem)}$ 。
底层水印解码器处理 $\hat{z}_T^{(w)}$ 以提取信息。

防御机制： 如果攻击者尝试使用不同的语义（不同的提示词）伪造图像，重建的掩码 $\hat{S}$ 将与原始调制掩码不匹配。这种不匹配会引入强烈的扰动，导致水印提取失败，即使其潜在空间结构与被窃取的水印相似。

核心贡献

首个针对黑盒伪造的防御方案： SemBind 是第一个专门设计用于保护潜在空间水印免受黑盒伪造攻击，且不会牺牲模型生成能力的框架。
通过对比学习实现语义绑定： 它引入了一个学习型语义掩码器，将潜在信号与图像语义绑定，确保水印仅在图像语义与原始生成上下文匹配时才有效。
理论上的不可检测性保留： 作者证明了对于允许可证明不可检测性的方案（如 Gaussian Shading、PRC），SemBind 变体保留了这一保证。由于符号掩码是独立且为 $\{-1, +1\}$ 的，将高斯分布的潜在空间乘以该掩码不会改变其分布。
可调权衡： 一个单一参数——掩码比例 ( $\sigma$ )，允许用户控制抗伪造强度与对自然失真鲁棒性之间的平衡。

实验结果

作者在四种代表性的潜在空间方案上评估了 SemBind：Tree-Ring、Gaussian Shading、PRC 和 Gaussian Shading++。

图像质量： SemBind 保持了与基准方案相当的图像质量。FID 和 CLIP 分数显示出没有统计学意义上的退化（t 检验确认其与原始 SD 2.1 输出不可区分）。对于 Tree-Ring，SemBind 甚至略微提升了 FID。
针对印刻攻击的防御：
- 在“匹配”场景下（攻击者使用相同模型，SD 2.1），SemBind 将 Tree-Ring 和 Gaussian Shading 的检测率从约 100% 降低到 <10%，且比特准确率降至接近随机猜测水平（~0.5）。
- 在“不匹配”场景下（攻击者使用 SD 1.5），所有方案的检测率均降至接近于零，比特准确率趋近于 0.5。
针对重提示攻击的防御： SemBind 在所有方案和数据集（SDP 和 COCO）上将检测率降低了 40% 以上，并将比特准确率降低了至少 25%。在不匹配设置中，伪造图像极少被接受。
鲁棒性： SemBind 仅引入了对常见扰动（JPEG 压缩、噪声、模糊等）轻微的鲁棒性下降。具有高基准鲁棒性的方案（Tree-Ring、Gaussian Shading）保留了接近原始的性能，而基准较弱的方案（PRC、Gaussian Shading++）表现出适度的但可接受的退化（检测率下降 3–5%）。

意义与主张

论文声称 SemBind 解决了潜在空间水印中鲁棒性与安全性之间的根本矛盾。通过将水印与语义绑定，它防止了攻击者将水印转移到具有不同内容的图像中，从而有效地中和了黑盒伪造。

至关重要的是，作者强调 SemBind 保留了底层方案的可证明不可检测性。这是一个重要的进步，因为以往强化水印的尝试往往会损害负责任 AI 部署所需的统计不可见性。该框架被呈现为一种通用的、可插即用的防御方案，与现有的基于潜在空间的水印方法兼容，并通过掩码比例参数提供了可控的安全性与鲁棒性之间的权衡。