🤖 AI

Watermarking Discrete Diffusion Language Models

本文针对日益流行的离散扩散语言模型（DDLMs），提出了一种无需昂贵超参数调优、具有无失真特性且检测概率随序列长度指数衰减的可靠水印方法，并在 LLaDA 模型上验证了其有效性。

原作者： Avi Bagchi, Akhil Bhimaraju, Moulik Choraria, Daniel Alabi, Lav R. Varshney

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Avi Bagchi, Akhil Bhimaraju, Moulik Choraria, Daniel Alabi, Lav R. Varshney

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种给离散扩散语言模型（一种新型、快速的 AI 写作工具）“盖水印”的新方法。

为了让你轻松理解，我们可以把 AI 生成的文章想象成一锅刚出锅的汤，而“水印”就是厨师在汤里留下的特殊味道。如果这锅汤是 AI 做的，我们希望能尝出那个特殊味道，从而知道它不是人类亲手熬的。

以下是这篇论文的通俗解读：

1. 背景：为什么我们需要水印？

现在的 AI 写文章越来越像人，甚至能骗过检测器。这就好比有人用 AI 伪造新闻或谣言，污染了信息环境。

旧方法的问题：以前的水印方法（比如给 AI 一个“绿灯清单”，让它多选某些词）就像是在汤里强行加盐。盐加多了，汤就太咸了（文章质量变差，读起来很怪）；盐加少了，又尝不出来（检测不到）。而且，以前的方法需要厨师（研究人员）反复尝试加多少盐、加几次，非常麻烦。
新挑战：现在的新型 AI（离散扩散模型）不像老式 AI 那样“一个字一个字”地写，而是像同时把整锅汤的食材都倒进去，然后快速调整。这种“并行处理”的方式让旧的水印方法失效了。

2. 核心创新：像“魔法骰子”一样的水印

作者提出了一种新方法，不需要强行改变 AI 的选择，而是利用一种叫**“盖尔伯 - 最大（Gumbel-max）”**的采样技巧。

通俗比喻：
想象 AI 在选词时，面前有一排排选项（比如“猫”、“狗”、“鸟”）。
- 旧方法：强行把“猫”的选项变大，让 AI 更容易选到它。但这会破坏原本的平衡。
- 新方法：给每个选项发一张**“魔法骰子”**。
  - 这张骰子不是普通的，它上面写着这个选项原本的概率。
  - AI 扔骰子，谁扔出的数字最大，就选谁。
  - 关键点：这张骰子是根据**“这句话是第几个字”**来特制的（就像给每个座位发不同编号的骰子）。
神奇之处在于：
1. 味道不变（无失真）：虽然用了魔法骰子，但 AI 选到“猫”、“狗”或“鸟”的概率完全没变。就像你换了一种更聪明的选菜方式，但最后端上来的汤味道和原来一模一样，人类完全吃不出来区别。
2. 自带暗号（可检测）：因为骰子是根据“位置”特制的，检测器只要拿着同样的规则（同样的骰子编号）去算一下，就能发现：“嘿，这组骰子扔出来的结果太整齐了，肯定是有人做过手脚（加了水印）！”

3. 为什么这个方法很厉害？

不用调参（傻瓜式操作）：
以前的方法需要像调收音机一样，反复调整“绿灯列表”的大小、加盐的浓度等几十个参数，才能找到“既能检测又不难吃”的平衡点。
新方法只需要设定一个**“检测门槛”**（比如：只要觉得味道像 1.2 分就是 AI 写的）。不需要复杂的调试，拿来就能用，非常省心。
越写越准（指数级检测）：
文章写得越长，水印的“味道”就越明显。论文从数学上证明了，只要文章够长，误判（把人类写的当成 AI 写的）的概率会像滚雪球一样迅速消失，几乎为零。
抗干扰（防删减）：
如果有人想通过删掉文章开头来破坏水印（就像把汤上面的浮油撇掉），新方法也不怕。因为它给每个字都发了不同编号的骰子，检测器会尝试不同的“对齐方式”，总能找到那个正确的“暗号”位置。

4. 实验结果：真的好用吗？

作者用了一个叫 LLaDA 的顶尖新型 AI 模型做了测试：

质量：加了水印的文章，读起来和没加水印的完全一样，甚至有时候因为算法优化，读起来还更通顺（困惑度更低）。
检测率：在 1000 个测试中，能准确识别出 96% 的 AI 文章，同时几乎不会把人类写的文章误判为 AI（误报率极低）。
对比：相比之下，旧方法为了达到同样的检测率，往往会让文章变得生硬、奇怪。

总结

这篇论文就像是为新型 AI 厨师发明了一种**“隐形墨水”**。

它不改变菜的味道（文章质量无损）。
它不需要厨师反复试错（无需复杂调参）。
它能让食客（检测器）一眼看出这道菜是不是 AI 做的（高检测率）。

这是一个让 AI 生成内容既保持高质量，又能被有效追踪的“双赢”方案。

这是一份关于论文《WATERMARKING DISCRETE DIFFUSION LANGUAGE MODELS》（离散扩散语言模型的水印技术）的详细技术总结。

1. 研究背景与问题 (Problem)

随着生成式人工智能（AI）的快速发展，区分 AI 生成内容与人类创作内容变得至关重要，以防止虚假信息传播和保障数据完整性。虽然针对自回归大型语言模型（AR-LLMs）和图像扩散模型的水印技术已有广泛研究，但针对离散扩散语言模型（DDLMs）的水印方案却相对匮乏。

DDLMs（如 LLaDA）因其高推理吞吐量而日益流行，但其生成机制与自回归模型有本质不同：

并行生成：DDLMs 在去噪过程中并行预测整个序列，而非像自回归模型那样逐个 token 生成。
现有方法失效：传统的“红绿列表”（Red-Green List）水印方法（如 Kirchenbauer et al., 2024）依赖序列生成的顺序性来构建列表，且需要在水印步骤（subset of steps）和文本质量之间进行复杂的权衡。直接将其应用于 DDLMs 会导致严重的文本失真或检测率低下。

核心挑战：如何在保持 DDLMs 生成文本质量（无失真）的同时，实现可靠的水印检测，且无需昂贵的超参数调整。

2. 方法论 (Methodology)

作者提出了一种基于分布保持（Distribution-Preserving）的 Gumbel-max 采样技巧的水印方案，适用于离散扩散模型的每一步。

核心算法 (Algorithm 1 & 2)

生成过程（水印嵌入）：
- 在扩散模型的每一个去噪步骤（timestep）中，对序列中的每个位置 $i$ ，模型输出 token 的概率分布 $p_\theta$ 。
- 不再直接采样 argmax 或 softmax 采样，而是使用 Gumbel-max 采样：
  1. 为每个 token 生成一个随机数 $r_i \sim \text{Unif}[0, 1]$ 。
  2. 计算得分 $S_i = \ln(r_i) / p_\theta(i)$ 。
  3. 选择得分最大的 token 作为输出。
- 种子机制：为了在检测时能够复现随机性，随机数 $r_i$ 的生成种子由序列位置 $i$ 决定（具体为 $(i + s) \mod m$ ，其中 $s$ 是偏移量， $m$ 是模数）。这解决了扩散模型缺乏序列依赖结构的问题，并增强了对前缀删除的鲁棒性。
- 关键特性：根据 Gumbel-max 的性质，这种采样方式在数学上严格保持了原始的概率分布 $p_\theta$ ，因此理论上零失真。
检测过程（水印提取）：
- 接收方已知水印参数（模数 $m$ 和偏移量 $s$ ）。
- 对于给定的文本序列，接收方根据位置重新生成随机数 $r_i$ 。
- 计算统计量： $\Gamma = \sum -\ln(1 - r_{i, x_i})$ ，其中 $x_i$ 是生成的 token。
- 计算归一化得分 $\Gamma / L$ （ $L$ 为序列长度）。
- 判定：如果得分超过阈值 $\tau$ ，则判定为水印文本。由于水印文本的采样分布被“扭曲”（尽管原始分布未变，但采样路径被特定种子引导），其得分分布会显著高于未水印文本（未水印文本得分中心约为 1）。

3. 主要贡献 (Key Contributions)

首个 DDLM 水印方案：提出了针对离散扩散语言模型的首批水印方法之一，填补了该领域的空白。
分布保持与无失真理论证明：
- 定理 1：证明了该 Gumbel-max 采样规则在每一步都保留了原始 token 的采样分布，从而保证了无失真性（Distortion-freeness）。
- 定理 2：证明了检测统计量的假阳性率（False Positive Rate）随着序列长度 $L$ 呈指数级衰减，保证了检测的可靠性。
无需超参数调优：
- 传统的“红绿列表”方法需要在 $\gamma$ （绿表比例）、 $\delta$ （偏置强度）和水印步骤集合 $S_W$ 之间进行昂贵的网格搜索以平衡检测率和质量。
- 本方法仅需调整一个检测阈值 $\tau$ ，极大地简化了部署和扩展。
鲁棒性：通过模运算种子机制，该方法对前缀删除（Prefix Deletion）具有鲁棒性。

4. 实验结果 (Experimental Results)

实验在状态最先进（SOTA）的 DDLM 模型 LLaDA 上进行，使用 WaterBench 数据集进行评估。

检测性能：
- Gumbel-max 方法：在 $\tau^*=1.19$ 时，实现了 96.0% 的完整性（Completeness，即检测出水印文本的能力）和 97.7% 的可靠性（Soundness，即不误判非水印文本的能力）。
- 对比基线：与经过大量调优的“红绿列表”方法（Green-List）相比，Gumbel-max 方法在保持高检测率的同时，避免了复杂的超参数搜索。
文本质量：
- 无失真性：Gumbel-max 方法生成的文本在困惑度（Perplexity）和 GPT-4 评分（风格、一致性、准确性、伦理）上，与无水印文本非常接近。
- 对比基线：红绿列表方法随着检测率的提高（降低 $\beta$ 值），文本质量显著下降（例如，当 $\beta=0.01$ 时，GPT-4 评分从 8.325 降至 7.220）。而 Gumbel-max 方法仅造成微小的质量下降（评分 7.597），实现了极佳的检测率 - 质量权衡。
鲁棒性测试：在随机前缀删除攻击下，只要模数 $m \ge 2$ ，水印的完整性依然保持在 96% 以上。

5. 意义与结论 (Significance & Conclusion)

理论突破：该工作证明了在离散扩散模型中，可以通过分布保持的采样技巧实现“完美”的水印，即在理论上不牺牲任何生成质量的前提下实现可检测性。
实用价值：提出的方法无需针对特定模型或基准进行昂贵的超参数微调，具有极强的可部署性和可扩展性，适合大规模应用。
未来方向：作者指出，未来可以进一步结合重掩码（re-masking）策略，将水印信号集中在扩散动力学更稳定的区域，或探索基于编辑距离的对齐技术以增强对更复杂编辑的鲁棒性。

总结：这篇论文提出了一种优雅且高效的解决方案，利用 Gumbel-max 采样和位置种子机制，成功解决了离散扩散语言模型的水印难题，在保持文本高质量的同时实现了高可靠性的检测，为 AI 生成内容的溯源提供了重要的技术工具。