💬 NLP

PMark: Towards Robust and Distortion-free Semantic-level Watermarking with Channel Constraints

本文提出了名为 PMark 的语义级水印方法，通过引入代理函数（PF）理论框架和动态中位数估计，在确保生成文本分布无畸变的同时，显著提升了大型语言模型生成内容对改写攻击的鲁棒性。

原作者： Jiahao Huo, Shuliang Liu, Bin Wang, Junyan Zhang, Yibo Yan, Aiwei Liu, Xuming Hu, Mingxun Zhou

发布于 2026-03-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahao Huo, Shuliang Liu, Bin Wang, Junyan Zhang, Yibo Yan, Aiwei Liu, Xuming Hu, Mingxun Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 PMARK 的新方法，旨在给大语言模型（LLM）生成的文本打上“隐形水印”。

为了让你更容易理解，我们可以把大语言模型想象成一位才华横溢但有点健忘的作家，而“水印”就是作者为了证明“这文章是我写的”而偷偷留下的签名。

1. 以前的方法有什么麻烦？

在 PMARK 出现之前，给 AI 写的水印主要有两种“流派”，但都有大毛病：

流派一：单词级水印（Token-level）
- 比喻：就像作家在写每一个字时，都偷偷把“的”字换成“之”字，或者把“好”字换成“棒”字，以此作为暗号。
- 缺点：太脆弱了。如果有人（攻击者）把文章重新改写一遍（比如把“之”换回“的”，或者换个说法），这些藏在单词里的暗号就全没了。这就好比有人把画上的签名擦掉重画，你就认不出来了。
流派二：句子级水印（Semantic-level，如 SemStamp）
- 比喻：这次作家不再管单个字，而是管整句话。他规定：“我写的句子，意思必须像‘在蓝色的天空下’，不能像‘在灰色的屋顶上’"。
- 缺点：虽然抗改写能力强了，但味道变了。为了强行让句子符合“蓝色天空”这个规定，作家不得不放弃很多原本自然、优美的句子，导致写出来的文章读起来很生硬、不自然（这就叫“失真”）。而且，如果作家试了很多遍都写不出符合规定的句子，他就卡住了（采样失败）。

2. PMARK 是怎么做的？（核心创意）

PMARK 提出了一种既不失真、又抗改写的新方法。我们可以把它想象成一种**“多维度的罗盘”**。

核心概念：代理函数（Proxy Function）

想象作家面前有一个巨大的**“句子宇宙”。PMARK 给这个宇宙装上了一个“罗盘”**（这就是代理函数）。

这个罗盘不关心句子的具体意思，而是把句子变成一个数字（比如 0.5 或 -0.3）。
这个罗盘是随机生成的，只有作者（拥有密钥的人）知道罗盘的指向。

方法一：在线版（Online PMARK）—— “动态筛选”

多写几遍：当作家要写下一句话时，PMARK 先让 AI 快速生成64 个不同的候选句子（就像让作家先打 64 个草稿）。
罗盘测量：用那个“罗盘”去测这 64 个草稿，给每个草稿打分。
中位数分割：PMARK 不看最高分，而是看中间分（中位数）。
- 比如，64 个分数的中位数是 0。
- 如果密钥说“选上半区”，作家就从分数大于 0 的那 32 个句子里随机挑一个。
- 如果密钥说“选下半区”，就从分数小于 0 的那 32 个句子里挑一个。
多罗盘叠加（多通道）：这是 PMARK 的绝招！它不只用一个罗盘，而是用了4 个互相垂直的罗盘（就像 X、Y、Z、W 四个方向）。
- 只有同时满足这 4 个罗盘特定方向的句子，才会被选中。
- 比喻：就像你要进一个密室，必须同时解开 4 把不同方向的锁。虽然筛选变严了，但因为是从 64 个里挑，而且每个方向都是随机的，选出来的句子依然是自然、高质量的，不会像以前那样为了凑数而牺牲质量。

方法二：离线版（Offline PMARK）—— “预设规则”

为了省资源（不用每次都生成 64 个草稿），PMARK 还有一个“离线版”。

它发现，在数学上，这些随机罗盘的中位数通常非常接近0。
所以，它直接假设中位数就是 0。
规则：只要句子的分数大于 0，就保留；小于 0，就丢弃。
这样就不需要动态计算中位数了，速度更快，而且实验证明，这种“偷懒”几乎不影响句子的自然度。

3. 为什么 PMARK 这么厉害？

像水一样自然（无失真）：
以前的方法像“强行把水倒进方盒子里”，水会溅出来（失真）。PMARK 像“在河流中自然分流”，水流（句子分布）完全保持原样，只是我们偷偷标记了哪部分水流属于我们。
像防弹衣一样坚固（抗攻击）：
因为用了4 个罗盘（多通道），即使攻击者把句子改写了一下，导致它在第一个罗盘下“跑偏”了，它很可能在另外三个罗盘下依然保持“正确”。
- 比喻：以前的水印像一张薄纸，撕一下就破。PMARK 的水印像一张4 层编织的网，剪断一根线，网还是完整的。
效率高：
以前的句子级水印方法可能需要生成几千个句子才能挑出一个合格的（太慢了）。PMARK 只需要生成几十个，就能挑出一个既合格又自然的。

4. 实验结果说了什么？

作者做了很多测试，把 PMARK 和现有的所有方法（包括最厉害的竞争对手）PK：

质量：PMARK 生成的文章，读起来和没加水印的 AI 文章一模一样，甚至更好（困惑度 PPL 更低）。
抗揍能力：当用 GPT 等工具把文章改写、翻译再翻回来、或者删掉一些词时，PMARK 依然能90% 以上的概率被检测出来，而其他方法要么检测不出，要么误报。
效率：它消耗的计算资源比以前的方法少得多，更适合实际应用。

总结

PMARK 就像给 AI 生成的文章装上了一套“隐形且坚固的防伪标签”。

它不再通过“强行修改内容”来打标签，而是通过“巧妙地从自然生成的选项中挑选”来打标签。它利用多个维度的随机罗盘，让水印像空气一样无处不在却又难以察觉，即使文章被大改特改，这个“空气指纹”依然能证明：这篇文章，确实是 AI 写的。

这对于保护版权、识别 AI 生成内容（比如防止 AI 写假新闻、抄袭论文）具有非常重要的意义。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）生成内容的普及，如何有效检测 AI 生成文本并保护版权成为关键挑战。现有的水印技术主要分为两类：

Token 级水印（如 Green-Red 方案）： 通过在词汇表中划分“绿/红”列表来偏置采样。
- 缺点： 容易被通过改写（Paraphrasing）攻击移除，因为攻击者只需让无水印模型重述文本，即可破坏 Token 级的统计特征。
语义级水印（SWM，如 SemStamp）： 将完整的句子作为水印的基本单位，利用拒绝采样（Rejection Sampling）确保生成的句子落在嵌入空间的特定“有效区域”。
- 缺点：
  1. 分布失真（Distortion）： 拒绝采样往往导致生成文本的分布偏离原始 LLM 分布，降低文本质量（Perplexity 升高）。
  2. 缺乏理论保证： 现有方法缺乏严格的理论证明来保证无失真性。
  3. 证据稀疏： 单通道（Single-channel）的水印证据密度低，面对对抗性攻击（如改写、词替换）时鲁棒性不足。
  4. 采样失败风险： 当所有候选句子都不在有效区域内时，采样可能失败。

核心问题： 如何在保证无失真（Distortion-free）（即不降低文本质量）的前提下，实现高鲁棒性（抵抗改写攻击）且高效的语义级水印？

2. 方法论 (Methodology)

作者提出了 PMARK，一种基于代理函数（Proxy Function, PF） 理论框架的新型语义级水印方法。

2.1 核心理论框架：代理函数 (Proxy Function)

定义： 代理函数 $F: \Sigma^* \to \mathbb{R}$ 将语义完整的句子映射为标量值。
PMARK 的 PF 设计： 使用预定义的随机向量（Pivot Vector） $v$ 与句子嵌入 $T(s)$ 的余弦相似度作为代理函数： $F_v(s) = \langle v, T(s) \rangle$ 。
无失真原理： 基于统计特性，如果已知 PF 分布的中位数（Median），可以通过动态估计中位数并将候选集划分为上下两半（基于中位数），随机选择其中一半作为有效区域。
- 定理证明： 理论证明表明，这种基于中位数的划分在平均所有密钥后，能够保持与原始 LLM 分布完全一致，从而实现单通道无失真采样。

2.2 多通道约束 (Multi-Channel Constraints)

为了解决单通道证据稀疏导致的鲁棒性差的问题，PMARK 引入了多通道机制：

机制： 使用一组正交的随机向量 $v_1, ..., v_b$ 作为多个通道（Channels）。
生成过程（在线版）：
1. 从自然分布中采样 $N$ 个候选句子。
2. 对每个通道 $j$ ，根据该通道的代理函数中位数 $m_j$ 将候选集减半（保留符合随机种子 $k_j$ 的那一半）。
3. 经过 $b$ 个通道的连续筛选，最终从剩余集合中均匀采样一个句子。
优势： 多通道显著增加了水印证据的密度，使得攻击者更难在不破坏语义的情况下移除所有通道的证据。

2.3 两种实现版本

在线版 (Online PMARK)：
- 动态估计： 在生成每个句子时，实时采样并计算当前上下文下各通道 PF 值的中位数。
- 特点： 理论上的严格无失真，鲁棒性最高。
离线版 (Offline PMARK)：
- 先验假设： 利用高维空间中随机向量正交性的性质，观察到 PF 值的中位数通常集中在 0 附近。因此，直接假设中位数为 0（先验阈值）。
- 特点： 无需动态估计中位数，无需在检测时重新采样，计算成本极低，且实验证明失真极小。

2.4 检测机制：软-z 检验 (Soft-z-Test)

为了应对生成和检测过程中中位数估计的微小差异，提出了基于平滑计数的软-z 检验。
根据句子在多个通道上的投影值与阈值（0 或估计中位数）的关系，计算平滑的水印证据分数，最后通过 z-test 统计量判断文本是否被水印。

3. 主要贡献 (Key Contributions)

统一理论框架： 首次提出了基于代理函数（Proxy Function） 的语义级水印统一分析框架，为评估现有方法的性能提供了坚实的理论基础。
无失真与高鲁棒性： 提出了首个理论上保证无失真的语义级水印方法（PMARK），并通过多通道约束解决了现有 SWM 方法证据稀疏、对抗鲁棒性差的问题。
高效实现： 设计了在线（动态估计）和离线（先验假设）两个版本。离线版大幅降低了计算成本，无需在检测时访问生成器，适合实际部署。
全面实验验证： 在多个数据集（C4, BookSum）和模型（OPT-1.3B, Mistral-7B）上进行了广泛测试，证明了其在文本质量、鲁棒性和效率上的优越性。

4. 实验结果 (Results)

实验在 C4 和 BookSum 数据集上，使用 OPT-1.3B 和 Mistral-7B 模型进行，对比了包括 KGW、SemStamp、SimMark 等在内的多种 Token 级和语义级基线。

鲁棒性 (Robustness)：
- 改写攻击： PMARK 在 GPT-3.5、Parrot 等改写攻击下表现卓越。在线版在 Mistral-7B 上，TP@FP=1% 达到 96.8% (BookSum) 和 95.2% (C4)，比最佳语义级基线 SemStamp 高出 20.8% 和 26.0%，比最佳 Token 级基线 SIR 高出 55.6% 和 31.8%。
- 词级攻击： 在词删除和同义词替换攻击下，PMARK 同样保持了极高的检测率（>98%），而现有 SWM 方法因证据稀疏容易失效。
文本质量 (Text Quality)：
- 无失真性： PMARK 生成的文本困惑度（PPL）与无水印文本几乎一致。在线版在 BookSum 上的 PPL 为 4.37–4.71，优于所有基线（包括无失真的 Token 级方法 EXP）。
- 相比之下，SemStamp 等拒绝采样方法通常会导致 PPL 显著升高（质量下降）。
计算效率 (Efficiency)：
- Token 消耗： PMARK 在线版仅需现有最佳语义级方法（如 SemStamp）约 20% 的 Token 消耗量（用于采样）。离线版消耗更低。
- 采样预算： 仅需 $N=64$ 个候选句子和 $b=4$ 个通道即可达到 SOTA 性能。

5. 意义与影响 (Significance)

理论突破： 填补了语义级水印在“无失真”和“理论保证”方面的空白，证明了通过代理函数和中位数划分可以实现分布保持。
实用价值： 解决了现有语义级水印计算成本高、易受攻击的痛点。离线版本的设计使得 PMARK 能够以极低的成本部署在实际的 LLM 服务中。
范式转变： 提出了“多通道证据密度”对于提升水印鲁棒性的关键作用，为未来的水印设计提供了新的方向（即不再单纯依赖增加生成长度，而是增加通道维度）。
版权保护： 为 AI 生成内容的溯源、版权保护以及防止模型滥用提供了一种更可靠、更隐蔽且对用户体验无影响的解决方案。

总结： PMARK 通过引入代理函数理论框架和多通道约束机制，成功实现了无失真、高鲁棒且高效的语义级水印，是目前该领域性能最优越的方法之一。