🤖 machine learning

Watermark Forensics for Generative Models: An Information-Theoretic Perspective

本文为生成式模型水印建立了一个基础的信息论框架，证明了统计意义上无失真的多用户归属与载荷提取所需的样本长度，与秘密熵除以源熵率之比成正比，同时揭示了检测、归属与定位之间内在的权衡关系。

原作者： Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座神奇的喷泉，它会吐出故事、图片或歌曲。接着，想象喷泉的主人想知道：“这是人类写的，还是机器写的？”更进一步，他们想知道：“是哪位特定的用户让机器写下这段内容的？”以及“我们能否找到人类藏在其中的隐藏秘密信息？”

这篇论文将这些问题视为一个取证阶梯（forensic ladder）。你可以一步步向上攀爬，但这里有一个转折：每往上一级台阶，成本都会增加更多的“Token”（即文本或图像的微小构建块）。你想爬得越高，故事就需要越长。

魔法账本：“信息轮廓”（Information Profile）

作者发现，所有这些取证问题实际上都是在阅读一张名为**信息轮廓（Information Profile）**的单一、隐形的地图。

把秘密（比如用户的名字或隐藏信息）想象成一个沉重的背包。而“信息轮廓”就是一张显示这个背包在故事中具体放置位置的地图。

质量（The Mass）： 背包里有多少东西？（这决定了**归属识别（Attribution）和提取（Extraction）**的成本）。
形状（The Shape）： 背包坐在哪里？它是散布在整个故事中，还是只隐藏在少数几个点上？（这决定了**定位（Localization）**的成本）。

论文指出，你无法欺骗数学。机器在创作瞬间实际放入故事中的信息量，是你拥有的唯一货币。你不能消费超过你存入的金额。

问题的阶梯

第 0 级：检测（它是 AI 吗？）

问题： “这个故事是机器制造的吗？”
成本： 这是最便宜的一级。它只需要极小的“失真”（使故事与自然语言略有不同）。
陷阱： 仅仅能检测出它是 AI，并不意味着你知道是谁制造的。论文证明存在一个“盲区”窗口：一个故事可以大声疾呼“我是 AI！”，但仍然太短，以至于无法低声耳语“我是由用户 #42 制造的”。

第 1 级：归属识别（谁制造了它？）

问题： “它是哪 $N$ 个用户中的哪一个生成的？”
成本： 这增加得非常快。要从 $N$ 个用户中识别出一个用户，故事的长度大约需要为 $\log N$ 个 Token。
惊喜： 论文发现了一个人们通常计数方式中的“陷阱”。如果你只是寻找与文本完美匹配的密钥，你可能需要比实际所需多出 1.6 倍的 Token（具体来说，是源熵率 $h$ 与 Rényi-2 率 $r_2$ 的比例）。作者展示了一种更聪明的计数方法，可以节省掉这额外的 60% 的成本。

第 2 级：提取（秘密是什么？）

问题： “隐藏的信息是什么？”
成本： 与归属识别类似。如果你想隐藏 $\ell$ 比特的信息，你需要足够长的故事来承载这个重量。

第 3 级：定位（标记在哪里？）

问题： “故事的哪个特定部分持有秘密？”
成本： 这是最难的部分。论文证明了一个严格的规则：你无法拥有一个在裁剪后依然存在的微小隐藏标记。
类比： 想象试图把一个秘密藏在沙滩上的一粒沙子里。如果有人切走了一块沙滩（裁剪），他们可能会带走你的那粒沙子，而留下其余部分。为了在任何切割下都能生存，你的秘密必须遍布整个沙滩。如果你想精准定位标记的位置，标记就必须无处不在。你无法同时拥有“微小的足迹”和“精细的分辨率”。

两种类型的水印

论文将水印分为两个阵营，它们就像两种不同的背负背包的方式：

“偏置型”水印（薄层分布 - The Biasing Watermark）：
- 运作方式： 它向故事中的每一个 Token 注入一个微小的秘密。它在到处都很微妙。
- 成本： 因为秘密非常稀薄，你需要一个非常长的故事才能清晰地听到它，从而识别出用户。其成本取决于你允许多少文本失真。
- 现实案例： 目前大多数文本水印（如“绿名单”法）都属于此类。它们无处不在，但需要长文本才能进行归属识别。
“嵌入型”水印（响亮的印记 - The Embedding Watermark）：
- 运作方式： 它在少数特定位置大声喊出秘密（例如在前几个词中）。
- 成本： 这很便宜！你可以通过很短的文本来识别用户，因为秘密既响亮又清晰。
- 陷阱： 它很脆弱。如果有人编辑文本或裁剪图像，秘密就会消失。
- 现实案例： 论文发现，几乎没有现实世界的水印能有效地使用这种“小足迹”技巧。大多数“嵌入型”水印（如用于图像的水印）实际上会将秘密扩散到整个图像中以抵御编辑，这使得它们在本质上变成了“偏置型”。

论文排除了什么

“万能药”： 论文明确表示，你无法同时拥有一个微小（小足迹）、无感（零失真）且能抵御编辑（裁剪鲁棒性）的万能水印。数学上是不可能的。如果你想在编辑后生存，你的标记必须很大。
“免费午餐”： 你无法免费获得归属识别（识别用户）。它消耗的 Token 总是比简单的检测更多。存在一个保证存在的差距，即一段文本可以被检测为 AI，但却无法归属于特定的人。

他们的结论有多可靠？

作者对数学部分非常有信心。他们使用严格的信息论证明了这些阶梯成本（就像证明物理定律一样）。

已证明： 检测、归属识别以及“足迹与定位之间的不确定性原理”的成本在数学上是得到证明的。
已模拟： 他们在真实的 AI 模型（GPT-2, Pythia, Qwen2.5）上测试了这些理论，发现数据完全吻合。例如，他们证实了语言模型中存在的“1.6 倍超额收费”陷阱。
开放性问题： 他们承认，虽然他们证明了针对“完美对齐”文本的数学逻辑，但尚未完全解决当文本被“编辑”（例如有人删除了一个句子）时的情况。这部分仍是一个他们正在研究的谜团。

核心结论

水印不是可以随处粘贴的魔法贴纸。它们是一种权衡。

想知道是否是 AI？容易，短文本即可。
想知道是谁制造的？你需要更长的文本。
想知道标记在哪里？你需要让标记遍布全身，否则一旦文本被剪裁，它就会消失。

这篇论文为这些秘密列出了精确的“价目表”，表明在 AI 的世界里，你无法在不支付“Token 税”的情况下拥有一切。

技术摘要：生成模型的数字水印取证：一种信息论视角

问题陈述
本文探讨了生成模型中水印的取证能力，将其从“内容是否为机器生成”这一二元检测问题（detection），提升到了一个更复杂的层级体系：归因（attribution，识别出是 $N$ 个用户中的哪一位生成的）、提取（extraction，恢复隐藏的载荷）以及定位（localization，识别内容中携带标记的具体区域）。作者认为，现有文献将这些任务视为离散的问题，并采用了权宜之计（ad-hoc）的解决方案，往往混淆了嵌入机制（例如“嵌入”一个模式与“偏置”一个分布）与关于可恢复信息的根本信息论极限之间的关系。核心问题在于：每种取证任务所需的样本复杂度（长度 $n$ ）是多少，以及这些成本如何与水印的质量约束（保真度、失真预算或熵）相关联？

方法论与框架
作者引入了一个围绕单一对象——信息轮廓 $\nu(t)$ 构建的统一框架。

定义： $\nu(t) := I(S; X_t | X_{<t})$ ，其中 $S$ 是秘密信息（用户身份或载荷）， $X$ 是生成的载体（Token 序列），而 $X_{<t}$ 代表先前的 Token。这衡量了在给定过去信息的情况下，第 $t$ 个 Token 所揭示的关于 $S$ 的信息量。
取证阶梯（The Forensic Ladder）： 本文将取证任务建模为一系列统计问题阶梯：
- 第 0 层（检测）： 标记是否存在？（与机制无关的基准）。
- 第 1 层（归因）： 是哪位用户？
- 第 2 层（提取）： $\ell$ 比特的载荷是什么？
- 第 3 层（定位）： 标记在哪里？（对裁剪具有鲁棒性）。
质量模型： 该框架将文献中两种截然不同的质量模型统一为同一信息轮廓 $\nu$ $ν$ 的“范数上限”：
1. 有界失真（偏置型） $B(\Delta)$ ： 标记在每个 Token 上都非常细微，施加了一个 $L_\infty$ 上限（ $\nu(t) \le \Delta$ ）。例如 Green-list 水印。
2. 足迹（嵌入型） $E(m)$ ： 标记集中在极少数位置上（足迹 $T$ ，且 $|T| \le m$ ），施加了一个 $L_0$ 上限（对于 $t \notin T$ ， $\nu(t) = 0$ ）。例如 Tree-Ring。
取证-恢复预算： 根据数据处理不等式，总的可恢复信息量受限于轮廓的总质量： $\Phi(n) = \|\nu\|_1 = I(S; X)$ 。该预算同时为归因和提取提供支撑。

核心贡献与结果

填补熵列空白（无失真机制下的归因）：
- 本文确立了首个针对统计无失真方案（即其密钥平均输出与自然分布不可区分的方案）的多用户归因紧致样本复杂度律。
- 结果： 对于平稳遍历源（stationary-ergodic source）且熵率为 $h$ 的情况，将文本归因为 $N$ 个用户之一需要 $n_{att} = \Theta(\log N / h)$ 个 Token。
- 机制： 作者提出了一种惊异度阈值解码器（surprisal-threshold decoder）。不同于那些通过统计匹配密钥数量的朴素“一致性”解码器（这类解码器会遭遇“碰撞陷阱”且需要 $n \approx \log N / r_2$ ，其中 $r_2$ 是 Rényi-2 率），惊异度解码器仅在实现的惊异度 $-\log p_{nat}(X)$ 超过阈值 $\tau = \log(N/\delta)$ 时才接受某个密钥。这实现了 Shannon 率 $h$ ，并具备精确的、非渐近的单次误报保证（ $\delta/N$ ）。
- 意义： 这解决了收敛界（converse）与可达性（achievability）之间的差距，证明了决策复杂度由 Shannon 熵率而非碰撞率决定。
取证间隙（检测 vs. 归因）：
- 本文证明了检测与归因在本质上是不同的成本。检测是一个固定的两点检验，成本为 $\Theta(1/\Delta)$ （或对于无失真情况为 $\Theta(\lambda/h)$ ），与 $N$ 无关。而归因则需要提取 $\log N$ nats 的身份信息。
- 结果： 存在一个“取证间隙”窗口，在此窗口内，文本是可检测的（误差 $\to 0$ ），但却是不可归因的（误差 $\to 1$ ）。具体而言，对于偏置型方案，归因需要 $n \approx \log N / \Delta$ ，而检测在远早于此的阶段就会饱和。
- 启示： 一段文本可以被证明是机器生成的，却无法归因到特定的用户。
通过足迹进行解耦（两种质量模型）：
- 本文形式化了“偏置型”（全支撑）与“嵌入型”（小足迹）方案之间的区别。
- 结果：
  - 偏置型 ( $B(\Delta)$ )： 归因成本为 $\Theta(\log N / \Delta)$ 。成本与失真预算耦合；使标记变得越隐蔽（ $\Delta \to 0$ ），归因成本就变得无穷大。
  - 嵌入型 ( $E(m)$ )： 归因成本为 $\Theta(\log N / \log q)$ ，与任何单 Token 失真上限无关。其不可感知性是通过消失的足迹（ $m/n \to 0$ ）而非细微的单 Token 失真来实现的。
- 局限性： 文中指出，虽然信息论上的解耦是存在的，但目前已知的唯一见证者（一个“数字印章”）对编辑不具鲁棒性。用于实现定位功能的部署型方案（如 SEAL, EditGuard）被发现属于全支撑（偏置型）方案，它们通过精细的读取实现定位，而非通过小足迹。
定位与不确定性原理：
- 本文推导出了一个针对裁剪鲁棒定位的“足迹-分辨率”不确定性原理。
- 结果： 为了能鲁棒地将标记定位到大小为 $w$ 的窗口内，载体的足迹必须满足 $|R| \cdot w = \Omega(n)$ 。
- 启示： 小足迹嵌入方案（ $m = o(n)$ ）无法实现高分辨率的裁剪鲁棒定位。高分辨率定位迫使标记必须具有全支撑特性（即偏置型），这实际上排除了小足迹方案用于鲁棒定位任务的可能性。
实验验证：
- 作者在真实语言模型（GPT-2, Pythia-410M, Qwen2.5）上验证了“碰撞陷阱”。他们测量了各模型间 $h/r_2 \approx 1.6$ 的比例，证实了朴素的一致性解码器相比于最优的惊异度阈值解码器，会多支付约 1.6 倍的成本。
- 对 Green-list 水印的实验证实了取证间隙：检测在 $\approx 28$ 个 Token 时即趋于饱和，而归因准确率增长显著滞后，随 $\log N$ 线性增长。

重要性与主张
本文声称提供了首个关于生成模型中归因与提取样本复杂度的紧致、双向的信息论定律。

统一性： 它通过单一的测度——信息轮廓 $\nu(t)$ ，将迥异的取证任务（检测、归因、提取、定位）以及质量模型（偏置 vs. 嵌入）统一了起来。
监管影响： 作者认为，当前的法规（如欧盟《人工智能法案》）通常预设了一个“可提取对象”（嵌入本体论）。本文的研究表明，对于偏置型水印（实践中的主流类别），此类指令会带来随着标记变得更隐蔽而不断上升的样本成本（ $\Theta(\log N / \Delta)$ ）；而嵌入型方案虽然成本固定，但在鲁棒性方面目前受到限制。
开放问题： 本文明确指出，缺乏一种无失真且对编辑鲁棒的归因方案是目前最尖锐的开放问题。虽然理论速率 $\Theta(\log N / h)$ 已被解决，但现有的见证者（精确对齐）对编辑并不鲁棒。开发出既能实现该速率又具备编辑鲁棒性的解码器，或者是否会被迫退回到更高的 Rényi-2 成本，仍是一个悬而未决的问题。

总而言之，本文认为，水印的取证能力并非由其嵌入的机制决定，而是由其所能使之可恢复的信息（轮廓 $\nu$ ）以及其足迹的几何结构决定的。取证任务的“代价”严格受这些信息论量值的支配。