🤖 AI

Learning to Watermark in the Latent Space of Generative Models

本文介绍了 DistSeal，这是一种统一的方法，它在生成模型的潜空间中训练后验水印模型，并将其蒸馏到生成器或解码器中，从而实现了与传统的像素空间方法相比具有鲁棒性、不可感知性且速度提升高达 20 倍的水印技术。

原作者： Sylvestre-Alvise Rebuffi, Tuan Tran, Valeriu Lacatusu, Pierre Fernandez, Tomáš Souček, Nikola Jovanović, Tom Sander, Hady Elsahar, Alexandre Mourachko

发布于 2026-01-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sylvestre-Alvise Rebuffi, Tuan Tran, Valeriu Lacatusu, Pierre Fernandez, Tomáš Souček, Nikola Jovanović, Tom Sander, Hady Elsahar, Alexandre Mourachko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个神奇的艺术家（生成式人工智能），他可以从无到有地画出极其逼真的图像。问题在于，一旦这些图像进入世界，很难分辨它们是由人类还是机器创作的。这使得坏人很容易制造虚假新闻或深度伪造（deepfakes）。

为了解决这个问题，我们需要在这些 AI 图像上添加一个“隐藏签名”，就像一个秘密水印一样。这篇论文介绍了一种更聪明的新方法，叫做 DISTSEAL。

以下是该方法的运作方式，通过简单的概念进行拆解：

1. 旧方法：在画布上签名

以前，人们尝试在 AI 完成绘画后添加水印。想象一下，AI 画了一幅 512x512 像素的图像（一个巨大的画布）。然后，一个单独的工具必须介入，小心翼翼地在每一处像素上涂抹一个微小的、不可见的编码。

问题： 这种方法既慢又笨拙。就像雇佣第二个人走到一幅完成的画作前去添加签名。它还会留下微小的“伪影”（瑕疵），这些瑕疵有时会被察觉或轻易被移除。

2. 新方法：名为“潜空间”的厨房

作者们意识到，在 AI 绘制最终图像之前，它实际上是在一个压缩的、隐藏的“厨房”中工作的，这个厨房被称为潜空间（Latent Space）。你可以把它想象成一个草图或一套指令，它比最终的画作要小得多，也简单得多。

创新点： 与其等待绘画完成，DISTSEAL 在这个隐藏的“厨房”里、在 AI 还在“烹饪”时，就把水印放了进去。
优势： 因为“厨房”比最终的“画布”要小得多，所以整个过程快了 20 倍。这就像是在写菜谱时把秘密代码写在上面，而不是等蛋糕做好了再去往蛋糕上写字。

3. 使用秘密代码的两种方式

A. “便利贴”法 (Post-Hoc/事后处理)
你仍然可以在 AI 生成图像后使用该系统，但你不是去触碰那张巨大的画布，而是触碰那张小的“菜谱卡”（潜空间），就在它变成图像之前。

结果： 它的速度极快，且图像看起来与原图一样完美，但隐藏的代码却更难被移除。

B. “内置”法 (In-Model/模型内集成)
这是最酷的部分。作者们找到了如何“教导” AI 艺术家本身，让它在绘画时始终包含这个秘密代码。

做法： 他们采用了“便利贴”法，并将其“蒸馏”（类似于知识迁移）到 AI 的大脑（权重）中。
结果： 现在，每当 AI 绘画时，水印都会自动“烘焙”其中。你不再需要一个单独的工具了。如果有人试图复制该 AI 的代码（开源），水印依然会存在，因为它是艺术家 DNA 的一部分，而不是一个可以被删除的外部工具。

4. 为什么这意义重大

速度： 由于是在微小的“配方”而非巨大的“画布”上操作，它比以往的方法快了多达 20 倍。
隐蔽性： 这些水印对肉眼是不可见的，且不会破坏艺术品的质量。
耐用性： 作者测试了这些水印在面对裁剪、缩放、改变颜色和压缩等攻击时的表现。相比于旧的“像素空间”方法，“潜空间”水印在这些攻击下表现得更加稳健。
优于像素蒸馏： 作者曾尝试使用旧的“像素”方法来教导 AI，但失败了（AI 无法学习复杂的模式）。然而，当他们使用新的“潜空间”方法来教导 AI 时，AI 完美地学会了。

总结类比

旧方法： 一名保安站在工厂出口，在每一辆完工的汽车上盖上一个隐藏的序列号。这很慢，而且印记可能会被擦掉。
DISTSEAL： 工厂里的工人接受了培训，在制造汽车的过程中，就在汽车的蓝图上盖上隐藏的序列号。这个印记是汽车结构的一部分，完成过程是瞬间的，而且想要移除它几乎是不可能的，除非毁掉汽车本身。

论文结论指出，这种方法适用于两种主要的 AI 图像生成器类型（扩散模型和自回归模型），为证明一张图像出自 AI 提供了一种稳健、快速且高效的方式。

技术摘要：学习在生成模型的潜空间中进行水印嵌入

问题陈述

生成模型（扩散模型和自回归模型）的快速进步使得创建高度逼真的合成内容成为可能，这引发了对滥用、深度伪造和知识产权侵权的担忧。虽然不可见水印提供了一种溯源方案，但现有方法面临显著局限性：

后验像素空间方法（Post-hoc Pixel-Space Methods）： 这些方法在像素空间修改已生成的图像。虽然具有灵活性且与模型无关，但由于处理高分辨率图像（例如 $512 \times 512 \times 3$ ）会产生巨大的计算开销并引入延迟。此外，对于开源部署，其安全性较弱，因为用户可以通过删除单行代码轻松绕过它们。
模型内方法（In-Model Methods）： 虽然更安全，但以往将水印直接集成到模型权重中的尝试往往缺乏鲁棒性，或者需要复杂的采样过程修改。

核心挑战在于开发一个统一的水印框架，直接在生成模型的潜空间（Latent Space）内运行，实现模型内水印（将水印嵌入模型权重中），使其既具备计算效率，又具备抗移除的鲁棒性，且不引入延迟惩罚。

方法论：DISTSEAL

作者引入了 DISTSEAL，这是一个适用于扩散模型和自回归模型的统一潜空间水印框架。该方法由两个主要阶段组成：

1. 后验潜空间水印（Post-hoc Latent Watermarking）

第一阶段涉及训练一对在生成模型潜空间而非像素空间运行的水印嵌入器-提取器对（ $W_\theta, E_\theta$ ）。

嵌入： 嵌入器接收一个潜表示 $z$ $z$ 和一个二进制消息 $m$ $m$ ，输出带水印的潜表示 $z_w = z + \epsilon W_\theta(z, m)$ $z_{w} = z + ϵ W_{θ} (z, m)$ 。
- 对于扩散模型（连续潜变量），扰动直接应用于 $z$ 。
- 对于自回归模型（离散 Token），嵌入器可以在量化前运行（修改连续潜变量）或在量化后运行（修改 Token 嵌入）。作者利用直通估计（Straight-through Estimation）通过量化步骤进行反向传播。
训练目标： 模型使用水印提取损失 ( $L_w$ ) 和应用于像素空间的判别器损失 ( $L_{disc}$ ) 结合进行训练，以确保不可感知性。与某些先前的工作不同，作者没有在嵌入器中使用重建或感知损失，而是依靠水印强度 $\epsilon$ 和判别器来约束输出。
增强： 训练涉及各种数值度量、几何和压缩增强，以模拟用户编辑并确保鲁棒性。

2. 用于模型内水印的蒸馏（Distillation for In-Model Watermarking）

第二阶段将训练好的后验潜空间水印器蒸馏到生成模型本身或其潜解码器中，从而消除对单独后处理步骤的需求。

蒸馏至生成模型： 对预训练的生成模型（扩散 Transformer 或自回归 Transformer）进行微调，使其重建或预测带水印的潜表示 $z_w$ 而非原始干净的潜表示 $z$ 。这迫使模型本质上生成带水印的输出。
蒸馏至潜解码器： 对潜解码器 $D$ 进行微调，使其从非水印潜表示重建带水印的图像。损失函数结合了重建损失 ( $L_{rec}$ ) 和水印提取损失 ( $L_w$ )，以引导解码器生成包含水印信号的输出。

核心贡献

统一框架 (DISTSEAL)： 一个能够同时处理连续潜空间（扩散模型）和离散 Token 序列（自回归模型）的单一方法。
效率与鲁棒性： 通过在压缩的潜表示（例如 $8 \times 8 \times 128$ 对比 $512 \times 512 \times 3$ ）上运行，该方法实现了相比于像素空间基准高达 20 倍的推理加速，同时保持了竞争性的鲁棒性。
有效的蒸馏： 作者证明了潜空间水印器可以有效地蒸馏到模型权重中。至关重要的是，他们表明蒸馏潜空间水印器的效果优于蒸馏像素空间水印器。像素空间水印器往往难以蒸馏到潜解码器中，因为重建高频扰动非常困难，而潜空间扰动更具结构性，更容易被解码器学习。
全面分析： 论文详细研究了后验方法与模型内方法之间的权衡、多水印兼容性以及水印遗忘（对 LoRA 微调的敏感性）。

实验结果

作者在 DCAE（扩散模型）和 RAR-XL（自回归模型）上评估了 DISTSEAL。

后验性能： 在组合攻击下，潜空间水印实现的平均比特准确率分别为 95.18% (DCAE) 和 93.96% (RAR-XL)，与像素空间基准（分别为 97.78% 和 97.27%）相当。视觉质量 (FID) 保持在高水平，退化极小。
模型内性能（蒸馏）：
- 潜解码器蒸馏： 将潜空间水印器蒸馏到解码器中实现了 96.77% (DCAE) 和 90.57% (RAR-XL) 的平均比特准确率，通常优于教师后验模型。相比之下，蒸馏像素水印器导致鲁棒性显著降低（例如 DCAE 为 65.69%）且 FID 较高。
- 生成模型蒸馏： 直接微调生成模型产生了稳健的结果（DCAE 为 94.78%，RAR-XL 为 89.13%），且视觉质量略优于解码器蒸馏。
速度： 与像素空间方法相比，潜空间方法为 DCAE 提供了 20 倍加速，为 RAR-XL 提供了 2.4 倍加速。
观察到的局限性：
- 水印遗忘： 蒸馏后的生成模型在针对非水印数据进行微调（如通过 LoRA）时，容易出现水印遗忘现象，而蒸馏后的解码器对这类变化保持稳健。
- 强攻击： 该方法尚未完全能够抵御极强的几何变换，这是作者承认的一个局限性。

意义与主张

论文声称 DISTSEAL 为将鲁棒水印直接嵌入生成模型提供了一种切实高效的解决方案。通过将水印从像素空间转移到潜空间，作者实现了：

降低开销： 显著的计算节省和延迟降低，使实时或大规模部署成为可能。
增强开源安全性： 通过将水印集成到模型权重中（通过蒸馏），水印无法通过删除后处理脚本来简单禁用，解决了开源模型发布中的关键安全漏洞。
卓越的蒸馏能力： 潜空间水印器比像素空间水印器更易于蒸馏这一发现，为创建“设计即带水印”的高保真且高鲁棒性的生成模型提供了一种新范式。

作者将这项工作定位为实现可靠的 AI 生成内容溯源机制的一步，在平衡问责需求与保留内容质量及生成速度之间取得了平衡。他们指出，虽然该方法具有鲁棒性，但并非免疫于移除，未来的工作将探索结合潜空间水印与后验同步方法，以应对更强的几何攻击。