🤖 AI

Every Bit, Everywhere, All at Once: A Binomial Multibit LLM Watermark

本文提出了一种新颖的二进制多比特大语言模型水印方案，该方案利用状态编码器在每一个词元位置对有效载荷的每一位进行编码，动态优先处理编码不足的位，从而在实现比现有基线更优的准确性和鲁棒性的同时，提出了一种更实用的逐比特置信度评分指标用于评估。

原作者： Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Every Bit, Everywhere, All at Once》的通俗解读，辅以富有创意的类比。

核心难题：在书中隐藏秘密信息

想象你是一位作者（即人工智能），正在撰写一本书。你希望证明某页内容确实由你创作，或者想在文本中嵌入一条秘密信息，例如用户 ID 或时间戳。

长期以来，研究人员尝试通过在每句话中隐藏单个比特的信息（即“是”或“否”）来实现这一目标。这就像在每一页盖上一个微小的"X"章，以此声明“此页真实”。这种方法虽能用于检测，却无法承载复杂信息，例如“用户#1234 撰写了此内容”。

若要隐藏更长的信息（如 32 位或 64 位代码），以往的方法采用了一种名为**“位置分配”**的策略：

旧方法：假设你有一个 32 位的秘密代码。旧方法规定：“对于第一个词，我隐藏代码的第一位；对于第二个词，我隐藏第二位；对于第三个词，则隐藏第三位。”
缺陷：这就像试图只用一根手指一次搬运一个重物。如果你漏掉了一个词，就会丢失该特定部分的拼图。此外，有时这根“手指”会疲劳，导致信息变得混乱。这种方法既低效又脆弱。

新方案：“二项式”方法

作者提出了一种根本性的新方法来隐藏信息。他们不再一次隐藏拼图的一块碎片，而是将整个拼图隐藏在每一个单词中。

类比：合唱团与指挥家

想象一个合唱团（即人工智能）正在演唱一首歌曲。

秘密：指挥家手中握有一段秘密的 32 音符旋律（即信息），希望合唱团将其唱出。
旧方法：指挥家指向第一位歌手说：“唱第 1 个音符。”接着指向第二位歌手：“唱第 2 个音符。”如果第二位歌手忘记了，第 2 个音符将永远丢失。
新方法（二项式编码）：指挥家告诉每一位歌手去聆听整个32 音符旋律。
- 对于他们唱出的每一个词，合唱团成员会根据全部 32 个音符同时微妙地调整音高。
- 这就像每位歌手都持有一张关于整段旋律的微小、无形的地图。
- 如果你只听一个词，你会得到整段旋律的微弱线索；如果你听完整首歌，可以通过对所有线索进行“多数投票”来完美重构旋律。

为什么这更好？
因为信息无处不在。即使你删除了几个词（或者人工智能犯了一些错误），其余文本依然承载着完整的秘密。你无需寻找“正确”的词来找到“正确”的位；每个词都包含整体图景的一部分。

“有状态”升级：智能教练

作者增加了一层名为**“有状态编码器”**的更智能机制。

问题：有时，人工智能非常擅长隐藏秘密的前几位，但在最后几位上却显得吃力。
解决方案：“教练”（即编码器）在文本生成过程中实时观察。它意识到：“嘿，我们已经锁定了前 20 个音符，但最后 12 个音符还不稳定。”
行动：教练随即向人工智能低语：“别再担心前 20 个音符了。将所有精力集中在让最后 12 个音符完美呈现上。”
结果：这种动态的焦点转移确保了整条信息清晰呈现，而不是让薄弱环节拖累整体。

衡量成功的新方式

该论文还指出，我们以往衡量这些水印的方式是错误的。

旧指标：“如果我们知道这段文本带有水印，我们能在多大程度上读取秘密？”
- 类比：“如果我告诉你这是一段秘密代码，你能破解它吗？”这忽略了这样一个事实：在现实世界中，大多数文本并非秘密代码。
新指标（逐比特置信度）：“如果我们查看随机文本，能否判断其中是否存在秘密？如果存在，我们对每一个具体比特的把握有多大？”
- 类比：系统不再仅仅猜测，而是为每一个单独的比特提供“置信度分数”。它会说：“我有 99% 的把握第一个比特是 1，但只有 50% 的把握最后一个比特是什么。”这能防止误报。

实验结果

作者将他们的方法与另外 8 种顶级方法进行了对比测试，使用的信息长度分别为 16、32 和 64 位。

更高的准确率：与其他方法相比，他们的方法解码秘密信息的准确率更高，尤其是在处理较长信息时。
更强的鲁棒性：即使文本发生轻微改动（如删除单词或替换同义词），他们的方法也比竞争对手表现得更稳健。
质量保持：生成的文本听起来依然自然，未明显损失质量（听起来不像是一个过度用力的机器人）。

总结

这篇论文介绍了一种为人工智能文本添加水印的新方法。它不再在每个词中隐藏一个微小的秘密碎片，而是将整个秘密信息隐藏在每一个单词中。它利用“智能教练”在生成过程中聚焦薄弱环节，并提出了一种能应对现实世界噪声的成功衡量新标准。其结果是一个更强大、更准确、更擅长在众目睽睽之下隐藏长而复杂秘密的系统。

技术摘要：每比特，无处不在，同时发生：一种二项式多比特大语言模型水印

问题陈述

大语言模型（LLM）水印技术已从理论研究转向商业部署，主要聚焦于零比特水印，即回答一个二元问题：“这段文本是否由特定模型生成？”然而，新兴的实际应用需要多比特水印，能够直接将复杂的负载（如用户 ID、时间戳、许可元数据）编码到生成的文本中。

现有的多比特方案主要依赖位置分配（例如 MPAC、MirrorMark），其中每个生成步骤仅在特定位置编码负载中的单个比特。这种方法存在两个主要局限性：

次优性：每个令牌仅编码一个比特效率低下，且分配的位置可能分布不均。
可扩展性：避免位置分配的替代方法（例如 Cycle-Shift、ArcMark）在计算上仅限于短负载，因为解码时间随消息长度呈指数级增长。

本工作解决的核心挑战是设计一种多比特水印方案，能够在不依赖位置分配的情况下有效编码长比特串，同时保持高消息准确性和鲁棒性。

方法论

作者提出了一种基于二项式编码的根本性新方法，该方法在每个令牌位置编码整个消息比特串。

1. 二项式编码与解码

与先前每令牌仅选择一个比特进行编码的工作不同，该方法在每个生成步骤中编码 $m$ 比特负载中的每一个比特。

编码：在每个令牌位置 $t$ ，系统使用由上下文和私钥种子的伪随机数生成器（PRNG）采样 $m$ 个独立的伯努利 (0.5) 分数向量 ( $G^1_t, \dots, G^m_t$ )。对于负载中的每个比特 $M_i$ ，如果 $M_i = 1$ ，则翻转（取补）相应的分数向量。最终的分数向量 $\tilde{G}_t$ 是这些 $m$ 个修改后向量的总和。随后，令牌分布被偏向于具有更高 $\tilde{G}_t$ 分数的令牌。
解码：为了解码，系统重新计算文本中每个令牌的伯努利分数。位置 $i$ 的解码比特由所有令牌的多数投票决定。关键在于，该方法使用双侧二项式检验提供逐比特置信度评分，允许系统在不假设文本已加水印的情况下评估每个解码比特的统计显著性。

2. 状态编码器

为了提高比特准确性，作者引入了一种状态编码器，在生成过程中动态重定向编码压力。

编码器根据部分生成的序列跟踪每个比特的当前解码统计量。
它计算如果剩余令牌在不加水印的情况下生成，每个比特的预期最坏情况比特准确性。
评分函数进行调整，以优先处理当前编码不足的比特（即解码统计量接近决策边界的比特），从而最大化预期的整体比特准确性。

3. 评估指标

本文挑战了现有的评估指标（例如原始消息准确性），这些指标假设输入文本已知已加水印。作者认为，在实际部署中，必须首先检测消息是否存在。他们引入了 $\alpha\%$ 误报率下的比特准确率 (BA@ $\alpha\%$ FPR) 作为更实用的指标。该指标衡量正确解码比特的概率，同时确保非水印文本被错误标记为包含消息的频率不超过 $\alpha\%$ 。

主要贡献

首个无位置分配的多比特水印：作者引入了首个通过二项式编码在每个令牌位置编码完整消息比特串的方案，避免了位置分配的可扩展性和效率限制。
状态编码器：一种新颖机制，在生成过程中动态优先处理表现不佳的比特，在不改变解码策略的情况下显著提高了比特准确性。
新的评估框架：本文批评了先前指标缺乏对误报的实际洞察，并提出了逐比特置信度评分（BA@ $\alpha\%$ FPR）作为在现实场景中评估多比特水印的标准。
全面评估：针对 16、32 和 64 比特负载，与 8 个基线进行的广泛实验表明，该方案在比特准确性、消息准确性和鲁棒性方面表现优异，特别是在低失真区域和较大负载下。

结果

评估使用 LLAMA3.1-8B 和 MINISTRAL-3-14B 进行，负载分别为 16、32 和 64 比特。

消息准确性：所提出的方案（特别是状态版本"Ours+"）在消息准确性方面优于所有 8 个基线（包括 MPAC、MirrorMark、ArcMark 和 StealthInk），且随着负载变长（32 和 64 比特）以及低失真设置，性能差距进一步扩大。
基于置信度的准确性 (BA@1%FPR)：所提出方法的无状态版本实现了显著高于基线的 BA@1%FPR，表明其在控制误报的同时，区分水印比特与随机噪声的能力更强。
鲁棒性：虽然鲁棒性仍然是所有多比特水印的挑战（在超过 10% 的单词删除或改写后准确性急剧下降），但所提出的方法在各种文本修改中始终优于基线。
扩展性：与基线相比，该方案随令牌数量的扩展性更有利；在 500 个令牌时，所提出的方法实现了 >90% 的比特准确性，而最佳基线仅达到约 80%。

意义与主张

本文声称通过证明二项式编码是比位置分配更强大的范式，为多比特水印研究开辟了新方向。作者断言，他们的方法有效地编码了大型负载，而无需像 Cycle-Shift 等先前非分配方法那样面临计算上的不可行性。

此外，这项工作突出了该领域的一个关键差距：缺乏针对多比特水印的实用评估指标。通过引入逐比特置信度评分，作者认为未来的研究和部署在从任意文本（而不仅仅是水印文本）中解码消息时，必须考虑误报的概率。

作者在局限性方面保持谦逊，承认针对文本修改（例如改写）的鲁棒性仍然是一个未解决的问题，并且虽然他们的实证结果显示其优于位置分配，但并未提供非位置分配方法严格最优性的理论证明。他们还指出，状态编码器虽然提高了消息准确性，但可能会略微降低基于置信度的指标，因为它优化的是预期准确性，而非每个比特的统计显著性。