🤖 AI

A Unified Framework for LLM Watermarks

本文提出了一个基于约束优化的统一且具有原则性的框架，该框架推导出了大多数现有的大语言模型水印方案，揭示了质量-多样性-强度之间关键的权衡关系，并能够设计出针对特定需求定制的新型最优水印方法。

原作者： Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位制作美味面包的烘焙师（AI 文本）。你想证明某一个特定的面包出自你的烤箱而非竞争对手之手，但你不能直接在上面盖上你的 Logo，因为那会破坏口感。于是，你决定在面团中秘密地加入一种微小的、隐形的“风味注记”。如果有人品尝这块面包，他们察觉不到这种风味的加入，但如果他们拥有一个特殊的“味觉测试工具包”，他们就能检测到那个特定的注记，并知道：“没错，这绝对是我的面包。”

这篇论文旨在为这些 AI 文本中的隐形风味注记（水印）建立一本通用的食谱。

以下是使用简单类比对该论文思想进行的拆解：

1. 问题所在：太多不同的食谱

在这篇论文发表之前，研究人员就像是在尝试从零开始发明自己秘密风味注记的厨师。

厨师 A 在面团里加了一撮盐。
厨师 B 改变了揉面的速度。
厨师 C 使用了一种特殊的酵母。

这些方法都有效，但它们各不相同。很难去比较或者知道哪一个是“最好的”，除非去品尝每一块面包。当时并没有一个统一的规则手册来解释为什么它们有效，或者如何设计一个新的。

2. 解决方案：“大师级食谱”（统一框架）

这篇论文的作者意识到，所有这些不同的方法实际上都是同一个数学问题的不同版本。他们构建了一个统一框架，这就像是一本大师级的食谱。

你不再需要发明新的花招，你只需要回答两个问题：

我们希望风味注记有多强？（这是“强度”或检测的难易程度）。
我们能在多大程度上破坏原有的味道？（这是“质量”或文本听起来依然是否自然）。

论文指出：“如果你告诉我们你能接受的味道改变上限，我们的数学模型就会给出添加风味注记以达到该上限的完美方式。”

3. 三方拉锯战

论文发现了一个关于这些水印的基本规则，他们称之为质量-多样性-强度权衡（Quality-Diversity-Power Trade-off）。把它想象成一场三方拉锯战：

强度（Power）： 秘密信号有多响亮。
质量（Quality）： 文本听起来有多好（是否依然有意义？）。
多样性（Diversity）： AI 改变其回答的程度。

代价是： 你无法全都要。

如果你让信号非常响亮（高强度）以便于捕捉，你可能不得不强迫 AI 选择特定的词汇，这会让文本听起来机械化或重复（低多样性）。
如果你希望文本完全自然（高质量），那么信号必须非常微妙，这会使检测变得更加困难。
如果你希望 AI 极具创造力（高多样性），信号可能会淹没在噪声之中。

论文表明，一些现有的方法侧重于保持文本自然但失去了多样性（AI 会陷入重复说同样的话），而另一些方法虽然保持了信号强度，却让文本听起来有点奇怪。

4. 他们实际做了什么

作者不仅停留在理论层面；他们在实验室中测试了他们的“大师级食谱”：

逆向工程旧方法： 他们展示了著名的现有水印方法（如“红-绿”法或 SynthID）其实只是他们数学问题的特定答案。这就像是意识到厨师 A 的盐法和厨师 B 的揉面法实际上是在解决同一个方程。
创建新方法： 利用他们的框架，他们设计了专门用于保留“困惑度”（Perplexity，一种衡量文本“惊喜感”或“自然感”的数学方式）的新型水印。
结果： 他们的这种新方法比旧方法表现更好。当他们设定一个文本改变的限制时，他们的方法能在该限制内获得最强的信号。

5. “硬约束”与“软约束”

论文还区分了控制味道的两种方式：

硬约束（Hard Constraint）： “每一口面包的味道必须与原味完全一致。”这能保持文本非常自然，但会迫使 AI 变得非常可预测（低多样性）。
软约束（Soft Constraint）： “整块面包的平均味道必须接近原味。”这允许某些咬下的部分味道略有不同，从而让 AI 更有创意和变化，同时仍保持整体风味良好。

总结

这篇论文为 AI 水印提供了一张通用地图。它告诉我们，目前所有的办法都只是在攀登同一座山的路径不同而已。它证明了在不损害文本的情况下，水印能达到的高度存在严格的极限，并给了我们工具，可以根据特定的目标（例如，“我希望文本听起来完美”或“我希望信号不可破解”）来构建最好的可能的水印。

重要提示： 本论文完全聚焦于创建这些水印的数学和机制。它并未讨论政府或法院应如何使用这些技术，也未声称这些水印可以完美阻止所有 AI 滥用行为。它仅仅是在说：“基于数学规则，这是构建信号的最佳方式。”

技术摘要：大语言模型（LLM）水印的统一框架

问题陈述

大语言模型（LLM）水印旨在向生成的文本中插入可检测的信号，以追踪 AI 的来源。尽管目前已提出了许多水印算法（例如 Red-Green、AAR/KTH、SynthID），但它们通常采用自下而上的方法进行开发，具有不同的设计初衷和动机。因此，目前缺乏一种通用的、原则性的 LLM 水印理论。这种统一理论的缺失使得在基础层面比较现有方案、将它们相互关联或系统性地设计新方法变得十分困难。此外，水印质量、输出多样性与检测能力之间的权衡关系仍有待深入研究。

方法论

作者提出了一个统一的框架，将 LLM 水印化为约束优化问题。其核心目标是在限制对生成文本质量影响的同时，最大化所插入水印信号的可检测性。

优化公式化

给定下一个 token 的概率分布 $p$ 和伪随机分数 $g$ （通过哈希机制从分布 $G$ 中采样），目标是找到一个水印分布 $q(g)$ ，以最大化期望分数：
$\max_{q: G \to \Delta(\Sigma)} \mathbb{E}_G[G \cdot q(G)]$

为了防止水印扭曲原始文本的质量，引入了一个约束 $D$ ：
$\text{s.t. } \forall g \in G, \quad D(q(g), \mathbb{E}_G[q(G)], p) \leq \varepsilon$

该框架区分了两类约束：

硬约束（Hard Constraints）： 对每一个特定的分数 $g$ 的实现都控制失真（例如， $KL(q(g) || p) \leq \varepsilon$ ）。
软约束（Soft Constraints）： 仅在分数分布的期望意义上控制失真（例如， $KL(\mathbb{E}_G[q(G)] || p) \leq \varepsilon$ ）。

作者还讨论了一种惩罚项公式化形式，即将约束项通过拉格朗日乘子 $\delta$ 移至目标函数中，这在实际实现中通常更为可行。

方案的推导与扩展

该框架表明，大多数现有的水印方案都是在特定选择约束度量 $D$ 和分数分布 $G$ 的情况下，该优化问题的特定实例化形式：

Red-Green 水印： 被推导为硬 $KL$ 散度约束下的解。
AAR/KTH 水印： 被推导为使用 Gumbel 分数的软 $KL $约束（无失真）下的解。该框架通过允许$ \varepsilon > 0$ 将其扩展到了具有失真的变体。
SynthID： 被视为 $m$ 个链式优化问题的序列，每个问题都在相对于前一层分布的 $\chi^2$ 距离约束下求解。
$\chi^2$ 水印： 使用 $\chi^2$ 距离约束对 SynthID 单层锦标赛进行的泛化。

新型方案

利用该框架，作者设计了针对特定质量指标（特别是使用困惑度 (Perplexity, PPL) 作为质量代理指标）定制的新型方案：

硬 PPL 约束： 在对期望对数似然差值的硬约束下优化检测能力。
软 PPL 约束： 在对期望对数似然差值的软约束下优化检测能力。

核心贡献

统一公式化： 本文将 LLM 水印建模为一个通用的约束优化问题，证明了多样化的先前工作（如 Red-Green、AAR/KTH、SynthID）都是该问题在特定约束下的解。
原则性设计： 该框架提供了一种为任何给定约束推导最优水印方案的方法，从而能够创建在理论上相对于其特定目标是最优的新方案（如基于 PPL 的方案）。
质量-多样性-能力权衡： 本研究识别并验证了质量、输出多样性与检测能力之间的基本权衡。具体而言，研究强调了软约束水印（能很好地保持质量）往往是确定性的且会降低多样性，而硬约束水印在保持多样性的同时会带来更高的失真。

实验结果

作者使用 LLAMA3.1-8B 和 MINISTRAL-3-14B 在 ELI5 数据集上对该框架进行了实证验证。

最优性： 基于特定约束推导出的方案被证明在相关约束下是帕累托最优（Pareto-optimal）的。例如，Red-Green 水印实现了最佳的检测力-KL 权衡，而 Soft PPL 方案实现了最佳的检测力-PPL 权衡。
检测力-质量权衡： 新提出的 Soft PPL 方案在检测力-质量权衡方面优于以往的工作（包括 AAR/KTH 和 SynthID）。即使使用 LLM 基准测试准确率（HumanEval, MBPP, GSM8K）而非困惑度来衡量质量，Soft PPL 方案依然表现卓越。
多样性影响： 实验证实，软约束水印（如 AAR/KTH 和 Soft PPL）会显著降低输出多样性（高 Self-BLEU 分数），通常导致对于固定的提示词产生确定性的输出。相比之下，硬约束水印能保持较高的多样性，但可能会引入更多的失真。

重要性与主张

本文声称其统一框架提供了三个主要贡献：

解释性： 它提供了一种原则性的方法来解释并关联现有的水印方案，揭示了它们所优化的特定约束。
设计性： 它使得无需进行启发式设计即可实现满足特定需求（如保持困惑度）的高效新型方案。
洞察力： 它为理解基本的质量-多样性-能力权衡提供了全新的视角，证明了无失真方案往往以牺牲输出多样性为代价。

作者也指出了局限性，包括优化仅限于 token 级别（而非序列级别），以及侧重于独立于检测器之外的采样机制优化。他们同时也承认，完全加密性的水印超出了该统计框架的研究范围。