💬 NLP

Majority Bit-Aware Watermarking For Large Language Models

本文介绍了“多数位感知水印”，这是一种新颖的编码范式，包含两种实现形式（MajorMark 和 MajorMark $^{+}$ ），它通过在即使使用大型绿色列表时也能保留强水印信号，从而解决了大语言模型水印中文本质量与解码准确性之间的权衡问题。

原作者： Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象大型语言模型（LLMs）如同技艺超群的厨师，能烹制出你要求的几乎任何菜肴（文本）。问题在于，有时不良行为者会利用这些厨师烹制“投毒”餐食——假新闻、诈骗或有害内容。为了揪出他们，我们需要一种方法给食物打上标签，以便确切知道是哪位厨师制作的。这个标签被称为水印。

然而，这里有个陷阱。过去，给文本添加水印就像在一张精致的纸上盖上一个沉重、笨拙的印章。印章越显眼（以便日后容易查找），就越会破坏纸张的质感（即写作质量）。如果印章太小以免破坏纸张，它就太模糊而无法被识别。

本文介绍了一种名为MajorMark和MajorMark+的新文本水印方法。它利用涉及多数规则和分片的巧妙技巧，解决了“质量与可检测性”之间的矛盾。

以下是其工作原理，分解为简单概念：

1. 旧方法：“小绿列表”问题

将 AI 的词汇表（它能使用的所有单词）想象成一个装满弹珠的巨大袋子。

旧方法：为了隐藏秘密消息，AI 被迫仅从一小撮“绿色”弹珠（可能仅占袋子的 25%）中选择下一个词。它忽略了其余部分。
权衡：如果绿色列表太小，AI 就被迫为了符合规则而选择奇怪、不自然的单词，导致故事听起来像机器人写的。如果绿色列表很大（以保持故事自然），秘密消息就会变得极其微弱，以至于日后无法被发现。

2. 新想法：“多数位”策略

作者意识到，他们不需要将 AI 限制在一个极小的列表中。相反，他们使用了一种投票系统。

想象秘密消息是一长串 0 和 1（例如 110111）。

技巧：系统查看消息并询问：“哪个数字出现得更频繁？”在 110111 中，数字 1 是“多数位”。
绿色列表：AI 不再被限制在极小的列表中，而是被允许从任何对应消息中"1"的单词中进行选择。由于"1"是多数，这个绿色列表非常巨大（至少占所有单词的 50%！）。
结果：因为 AI 有大量听起来自然的单词可供选择，文本听起来完美无缺。但由于 AI 仍然略微被推向"1"类单词，秘密消息依然存在，只是隐藏在所选单词的统计模式中。

3. MajorMark：“集群侦探”

MajorMark 使用这种多数策略。

编码：AI 撰写文本，略微将其推向与秘密消息的多数位相匹配的单词。
解码：为了重新读取消息，侦探（解码器）查看文本并统计来自不同“组”（分片）的单词出现了多少次。
类比：想象单词被分类到两个桶中。如果秘密消息是"1"，那么"1"桶中的弹珠数量会比"0"桶略多。解码器使用简单的聚类工具（就像按颜色给弹珠分类）来查看哪个桶更重。如果一个桶明显更重，它就知道秘密消息是"1"。

4. MajorMark+：“逐块”升级

如果秘密消息超级长怎么办？“多数位”可能不那么明显，导致信号变弱。

解决方案：MajorMark+ 将长消息切分成更小的块（就像把长绳子切成短段）。
工作原理：它对每个小块独立应用“多数位”规则。
优势：这确保了每个块的“绿色列表”都很大，从而保证即使对于非常长的消息，文本也能保持高质量。它还使用更精确的“计数”方法来查找消息，使其更难被遗漏。

为什么这很重要（根据论文）

作者在顶级 AI 模型上测试了这种方法，发现：

更好的质量：由于 AI 不必被迫从极小、受限的列表中选择，水印文本听起来比以前的方法更自然（“困惑度”更低）。
更好的检测：尽管文本听起来自然，但秘密消息实际上比旧方法更容易被发现并准确解码。
鲁棒性：即使有人试图编辑文本（例如剪切粘贴部分或改写句子），水印通常也能幸存，因为多数位的统计“重量”仍然可被检测。

总结：本文提出了一种标记 AI 文本的新方法，阻止了 AI 不得不在“听起来像人类”和“可追踪”之间做出选择。通过使用“多数投票”系统来选择哪些单词获得微小提升，他们允许 AI 自然地写作，同时仍然嵌入强大且可恢复的秘密消息。

技术摘要：面向大语言模型的大多数位感知水印技术

问题陈述

大语言模型（LLM）的广泛部署引入了重大的安全与伦理挑战，包括生成有害或欺骗性内容。尽管已提出水印技术以追踪生成文本的来源，但现有的多比特水印方法在文本质量与解码准确性之间面临着根本性的权衡。

当前基于扰动的（perturbation-based）方法（如 MPAC、RSBH）依赖于统计落入“绿表”（vocabulary 的一个子集）的 token 频率来解码嵌入的消息。为了确保用于准确解码的强水印信号，这些方法通常限制绿表的大小（绿表比率 $\gamma$ ）。然而，较小的 $\gamma$ 迫使模型从更窄的上下文适宜 token 集合中进行选择，从而降低了生成文本的流畅度和质量。反之，增加 $\gamma$ 以保留文本质量会削弱水印信号，降低解码准确性。本文将这一经验性权衡确定为当前多比特水印的关键瓶颈。

方法论

作者提出了一种名为**大多数位感知编码（Majority Bit-Aware Encoding）**的新颖编码范式，该范式将水印信号强度与绿表大小的严格约束解耦。

核心概念：大多数位感知编码

该方法不再将特定的消息比特映射到特定的 token 子集，而是利用消息大多数位（majority bit）（ $\lambda$ ）的统计特性。

词汇表划分：将词汇表 $V$ 划分为 $b$ 个互不相交的片段（shards），其中每个片段对应 $b$ 比特消息中的特定比特位。
绿表构建：绿表 $G$ 构建为对应于消息大多数位的所有片段的并集。如果大多数位为 1，则 $G$ 包含所有 $m_i=1$ 的比特对应的片段；如果为 0，则包含所有 $m_i=0$ 的片段。
信号保持：由于大多数位至少出现 $\lceil b/2 \rceil$ 次，该策略保证了绿表比率 $\gamma \ge 0.5$ 。这允许使用较大的绿表（从而保留文本质量），同时保持强且可检测的信号，因为解码目标从统计 token 频率转变为推断哪些特定片段被增强。

提出的方法

作者将该范式具体化为两种方法：

MajorMark：
- 编码：直接将大多数位感知编码应用于整个 $b$ 比特消息。理论分析表明，期望绿表比率为 $E_m[\gamma] \approx 0.5 + 1/\sqrt{2\pi b}$ 。
- 解码：使用基于聚类的解码器。它重建每个 token 到片段的映射，并聚合片段级的 token 计数。聚类算法（如 K-Means）根据出现频率将片段划分为两组。平均计数较高的一组对应于大多数位，从而恢复完整消息。
- 哈希函数：为防止由高频词引起的重复绿表，哈希种子结合了前两个 token（ $x_{t-1}, x_{t-2}$ ）和大多数位 $\lambda$ 。
MajorMark+：
- 优化：旨在改善长消息的性能，因为在 $b \to \infty$ 时，MajorMark 带来的 $\gamma$ 增益会 diminish（减弱）。
- 分块编码：将消息划分为 $r$ 个块。大多数位感知编码独立应用于每个块。这产生了更大的期望绿表比率： $E_m[\gamma] \approx 0.5 + 1/\sqrt{2\pi(b/r)}$ 。
- 确定性解码：用确定性解码方法取代聚类方法。解码器不再依赖无监督聚类，而是穷举枚举每个块中大多数位及其出现次数的可能组合。它选择产生最偏斜的片段级 token 分布的配置。这消除了对聚类边界的敏感性，并提高了准确性，特别是在弱水印偏差下。

主要贡献

新颖的编码策略：本文引入了大多数位感知编码，它放松了水印可检测性对小绿表大小的依赖，有效打破了质量 - 准确性的权衡。
两种新方法：作者提出了MajorMark和MajorMark+，两者均利用新的编码策略。MajorMark+ 特别通过分块处理和确定性解码解决了该方法在长消息中的可扩展性问题。
理论保证：本文提供了理论证明，表明两种方法均保证绿表比率 $\gamma \ge 0.5$ ，且对于有限消息长度，期望比率严格大于 0.5。
综合评估：在多种任务（文本补全、故事生成、摘要）和数据集（C4、Essays、OpenGen）上，针对最先进的 LLM（如 LLaMA-2、Qwen、Gemma）进行了广泛的实验，验证了该方法的有效性。

实验结果

作者使用比特准确率（BA）、困惑度（PPL）（作为文本质量的代理指标）和Top-5 命中率等指标，将其方法与最先进的基线（DepthW、CycleShift、MPAC、RSBH）进行了评估。

优越的权衡：MajorMark 和 MajorMark+ 始终比现有方法实现更高的解码准确率和更低的困惑度（更好的文本质量）。例如，在消息长度 $b=64$ 时，MajorMark+ 实现了 94.82% 的 BA 和 6.29 的 PPL，优于 RSBH（BA 89.74%，PPL 6.85）。
鲁棒性：该方法对生成后编辑攻击（包括复制 - 粘贴和改写攻击）表现出鲁棒性。虽然所有方法在改写攻击下均受到影响，但 MajorMark 和 MajorMark+ 保持了与基线相比具有竞争力的性能。
效率：MajorMark+ 的解码复杂度与块数（ $b/r - 1$ ）呈线性关系，使其比指数时间枚举方法（如 CycleShift）显著更高效，且比 RSBH 更快。
泛化性：该方法在不同模型架构（LLaMA、Qwen、Gemma）和下游任务中表现出强大的泛化能力。

意义与主张

本文声称，所提出的大多数位感知编码范式从根本上提高了多比特水印在大语言模型中的可行性。通过将解码目标从 token 频率统计转变为片段选择推断，该方法允许在不牺牲解码准确性的情况下使用大绿表。

作者强调，他们的方法使服务提供商能够在生成文本中嵌入复杂的元数据（如用户标识符或模型版本），同时保持高文本效用。这解决了当前水印研究中的一个关键缺口，即高质量文本生成往往因需要强水印信号而受到损害。这项工作表明，MajorMark 和 MajorMark+ 是“模型即服务”（LLM-as-a-Service）场景中实际部署的候选方案，为来源追踪和滥用调查提供了平衡的解决方案。