💬 NLP

QuantileMark: A Message-Symmetric Multi-bit Watermark for LLMs

本文提出了 QuantileMark，一种基于连续累积概率区间等分采样的白盒多比特水印方案，通过确保各消息具有相等的概率预算，在保持生成质量的同时实现了消息对称性并显著提升了多比特水印的恢复率与检测鲁棒性。

原作者： Junlin Zhu, Baizhou Huang, Xiaojun Wan

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Junlin Zhu, Baizhou Huang, Xiaojun Wan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 QuantileMark 的新技术，它就像给大语言模型（LLM）生成的文字打上了一个**“隐形且公平的数字水印”**。

为了让你轻松理解，我们可以把大语言模型想象成一个**“超级厨师”**，它根据你给的提示（比如“写个故事”），从它的“食材库”（词汇表）里挑选单词，一步步烹饪出一篇美食（文本）。

1. 为什么要给文字加水印？

现在的 AI 写的文章太逼真了，有时候连人类都分不清是真人写的还是 AI 写的。如果 AI 被用来制造假新闻、抄袭或者发布有害内容，我们就需要知道：“这碗‘菜’到底是谁做的？”

以前的水印技术（比如给 AI 加个“隐形印章”）只能告诉我们要不要怀疑（是/否），就像警察只能告诉你“这辆车可能是偷的”，但不知道是谁偷的。
QuantileMark 的目标更进一步：它不仅能证明“这是 AI 写的”，还能读出具体的“身份证号码”（比如用户 ID、时间戳、模型版本）。这就好比警察不仅能认出车是偷的，还能直接读出车牌号，知道是张三还是李四偷的。

2. 旧方法的痛点：不公平的“分蛋糕”

以前的水印技术（比如词汇分割法）在分配“概率”时，就像切蛋糕一样，切得很不均匀。

场景：假设厨师（AI）觉得“苹果”这个词有 80% 的概率会出现在句子里，而“香蕉”只有 5%。
旧方法的问题：如果水印规则规定“苹果”代表数字"0"，“香蕉”代表数字"1"。
- 当需要输出"0"时，厨师本来就想吃苹果，所以顺水推舟，毫无压力，味道（文本质量）很好，水印也很容易被发现。
- 当需要输出"1"时，厨师明明想吃苹果，却被强行塞了个“香蕉”。这不仅难吃（文本质量下降），而且因为“香蕉”本来就不常出现，水印信号也很弱，很难被检测出来。
后果：这就叫**“消息不对称”**。有些数字（消息）很容易写，有些很难写。这就像给不同的用户发不同质量的“通行证”，对某些用户不公平，也导致检测时忽高忽低。

3. QuantileMark 的绝招：公平的“分桶”

QuantileMark 换了一种思路。它不再盯着具体的“苹果”或“香蕉”（词汇），而是盯着**“概率的总量”**（就像盯着蛋糕的总重量）。

它把“概率蛋糕”切成了 M 个大小完全相等的块（称为“分位数桶”）。

怎么 Embed（嵌入）？
不管厨师原本想选什么词，QuantileMark 都会说：“现在我们要代表数字'1'，你就必须从代表'1'的那个特定大小的块里选一个词。”
- 如果那个块里正好有厨师想吃的“苹果”，那就选苹果。
- 如果那个块里只有“香蕉”，那就选香蕉。
- 关键点：无论代表哪个数字，每个数字分到的“概率预算”都是完全一样的（比如都是 1/M）。
- 比喻：就像给每个数字分配了同样大小的“购物券”。不管你想买什么，你都有同样的预算去选。这样，无论输出哪个数字，对文本质量的影响都是公平的，检测器收到的信号强度也是一样的。
怎么 Detect（检测）？
检测器（验货员）手里也有同样的“切蛋糕图纸”和“秘密钥匙”。
1. 它看着 AI 选出来的词，算出这个词落在哪个“概率块”里。
2. 它计算：“这个词落在代表'1'的块里的可能性有多大？”
3. 把所有步骤的证据加起来，就能拼出完整的“身份证号码”。

4. 为什么这个方法很厉害？

公平（Message Symmetry）：就像前面说的，不管水印里藏的是"00"还是"11"，对文本质量的影响是一样的，检测到的难度也是一样的。这解决了旧方法“看人下菜碟”的问题。
强信号：因为它允许在选词时做更大的“调整”（只要在那个概率块里就行），所以留下的痕迹比那些小心翼翼、不敢动刀子的旧方法要更清晰、更坚固。
白盒检测：这个方法假设检测者（比如平台方）能直接看到模型的“大脑”（内部概率分布）。这就像验货员可以直接看厨师的采购清单，比只能看成品（黑盒检测）要准确得多。

5. 实验结果怎么样？

作者拿这个方法和现有的最强对手（MPAC, StealthInk）做了比赛：

找回信息：QuantileMark 能更准确地读出藏在水印里的“身份证号码”（比特准确率更高）。
检测能力：几乎能 100% 识别出带有水印的文章（AUC 接近完美）。
文本质量：生成的文章读起来和没加水印时几乎没区别（困惑度 PPL 很低），没有因为加水印而变得像机器人说话。
抗干扰：即使有人试图删改文章（比如同义词替换、删掉几个字），水印依然能顽强地存活下来。

总结

QuantileMark 就像是一个**“公平且聪明的隐形墨水”**。它不再强行扭曲 AI 的写作习惯，而是巧妙地利用概率分布的“切分”，让每一个隐藏的信息都获得同等的“出场机会”。

对于大模型平台来说，这意味着他们可以给每一篇 AI 生成的文章打上独一无二的、难以抹去的、且不影响阅读体验的“数字指纹”，从而更好地管理内容来源，打击假新闻和滥用行为。

这是一份关于论文 《QuantileMark: A Message-Symmetric Multi-bit Watermark for LLMs》 的详细技术总结。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）成为内容生成的标准后端，内容溯源（Provenance） 变得至关重要。现有的水印技术主要分为两类：

零比特水印（Zero-bit）： 仅检测文本是否由 AI 生成。
多比特水印（Multi-bit）： 嵌入具体元数据（如用户 ID、模型版本、时间戳），用于更精细的归因。

核心痛点：消息对称性（Message Symmetry）的缺失
在多比特水印的实际部署中，存在一个关键要求：消息本身不应系统性地影响文本质量或验证结果。 然而，现有的基于词汇划分（Vocabulary Partitioning） 的方法（如 MPAC）在低熵（Low-entropy）解码场景下会破坏这种对称性：

概率质量分配不均： 某些消息被分配了高概率的“头部”Token，嵌入这些消息几乎不损失质量且检测信号强；而其他消息被迫使用低概率的“尾部”Token，导致文本质量下降且统计证据微弱。
后果： 这种不对称性导致不同消息的生成质量和检测鲁棒性差异巨大，无法满足公平性和一致性的服务要求。

2. 方法论：QuantileMark (Methodology)

作者提出了一种名为 QuantileMark 的白盒（White-box）多比特水印框架。其核心思想是将水印信道从离散的词汇空间转移到连续的累积概率区间（Cumulative Probability Interval, [0, 1)）。

2.1 核心机制

等质量分位数划分（Equal-Mass Quantile Partitioning）：
- 在每一步生成中，将累积概率区间 $[0, 1)$ 划分为 $M$ 个等概率质量的区间（Bin），每个 Bin 的概率质量严格为 $1/M$ 。
- 无论上下文熵如何，每个消息符号（Symbol）都被分配到一个固定的 Bin。
- 采样策略： 为了嵌入目标符号，算法在对应的 Bin 内均匀采样一个随机值 $u$ ，然后选择覆盖该 $u$ 值的 Token 作为输出。
- 优势： 这确保了每个消息符号拥有完全相同的概率预算（ $1/M$ ），从结构上保证了消息对称性。
白盒检测与后验计算（White-box Detection & Posterior）：
- 检测器利用教师强制（Teacher Forcing）重建基础分布 $p_0$ 和分位数几何结构。
- 对于观察到的 Token，计算其属于各个潜在 Bin 的后验概率（基于 Token 概率区间与 Bin 的重叠质量）。
- 使用 对数后验几率（Log Posterior Odds, LPO） 作为每一步的证据，并沿序列聚合以解码消息。
位置分配与置换（Position Allocation & Permutation）：
- 使用密钥 $K$ 和局部上下文生成伪随机参数，决定当前步骤嵌入哪个消息符号，以及该符号映射到哪个 Bin。
- 引入密钥相关的置换 $\phi_t$ ，防止固定符号始终绑定到特定 Bin，从而满足无偏性（Unbiasedness）要求。

2.2 理论保证

消息无偏性（Message-unbiasedness）： 证明了在消息均匀分布的假设下，水印后的分布期望等于基础分布。即：平均而言，水印不引入任何失真。
密码无偏性（Cipher-unbiasedness）： 即使固定消息，随机化密钥后，分布依然保持不变。

3. 主要贡献 (Key Contributions)

提出 QuantileMark 框架： 首个基于连续概率质量划分（分位数）的多比特水印方案，通过等质量 Bin 分配，从结构上解决了词汇划分带来的消息不对称问题。
理论证明： 形式化定义了“消息无偏性”，并证明了 QuantileMark 满足该性质，为生成侧的对称性提供了理论基石。
白盒检测器设计： 设计了基于后验概率聚合的检测器，利用重建的分位数几何结构，在无需黑盒约束的情况下实现了更强的证据积累。
实证性能提升： 在 C4（开放续写）和 LFQA（长问答）任务上，显著优于现有的多比特水印基线（如 MPAC, StealthInk）。

4. 实验结果 (Results)

实验在 Llama-2-7B 和 Llama-3.1-8B-Instruct 模型上进行，嵌入 24 位消息。

多比特恢复与检测鲁棒性：
- Bit Acc（比特准确率）： QuantileMark 达到 0.9893 (C4) 和 0.9500 (LFQA)，显著高于 MPAC (0.9702) 和 StealthInk (0.9003)。
- 检测 AUC： 接近完美（0.9995+），TPR@1%FPR 接近 1.0。
- 低熵场景优势： 在 LFQA 等分布尖锐（低熵）的场景下，传统词汇划分方法因概率分配不均导致检测不稳定，而 QuantileMark 表现稳健。
生成质量（Perplexity, PPL）：
- QuantileMark 的 PPL 与无水印基线几乎一致（C4: 7.404 vs 7.684），证明了其消息无偏性。
- 相比之下，MPAC 因引入扭曲（Distortion）导致 PPL 显著上升（10.351）。
鲁棒性测试：
- 对同义词替换、复制粘贴混合等攻击具有较强抵抗力。
- 在删除和改写（Paraphrasing）攻击下性能下降，这是多比特水印的共性挑战，但 QuantileMark 仍优于基线。
下游任务效用：
- 在机器翻译和文本摘要任务中，QuantileMark 保持了与无水印文本几乎相同的 BLEU、ROUGE 和 BERTScore，未造成明显的效用损失。

5. 意义与局限性 (Significance & Limitations)

意义：

解决公平性问题： 通过等概率预算设计，确保了所有用户（无论其 ID 对应的消息是什么）获得相同质量的生成文本和相同的检测可靠性，这对服务提供商的运营公平性至关重要。
白盒场景的最优解： 在模型提供商内部拥有白盒访问权限的场景下，QuantileMark 充分利用了模型内部信息，实现了比黑盒水印更强的检测能力和更低的生成代价。
理论突破： 将水印信道从离散词汇空间映射到连续概率空间，为设计无偏、对称的水印提供了新的理论视角。

局限性：

改写攻击（Paraphrasing）： 当文本被大幅改写时，位置分配和种子流可能失步，导致检测失败。
白盒依赖： 目前方案依赖于检测时的白盒访问（重建 logits），无法直接用于纯黑盒的公开验证（除非使用代理模型）。
种子碰撞： 在长序列中，局部上下文哈希可能重复，导致 Bin 分配重复，虽然通过“跳过重复种子”策略可缓解，但仍需进一步优化。

总结：
QuantileMark 通过重新定义水印信道（从词汇划分转向分位数划分），成功解决了多比特水印中长期的“消息不对称”难题。它在保持生成质量的同时，显著提升了多比特信息的恢复率和检测鲁棒性，为 LLM 内容溯源提供了一种高效、公平且理论完备的解决方案。