🤖 AI

ArcMark: Distortion-Free Multi-Byte LLM Watermark via Optimal Transport

本文介绍了 ArcMark，一种针对大型语言模型的无失真多字节水印新框架，该框架利用最优传输和信息论信道编码原理，在不改变模型输出分布或质量的前提下，将大量信息可靠地嵌入文本中。

原作者： Atefeh Gilani, Sajani Vithana, Carol Xuan Long, Oliver Kosut, Lalitha Sankar, Flavio P. Calmon

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Atefeh Gilani, Sajani Vithana, Carol Xuan Long, Oliver Kosut, Lalitha Sankar, Flavio P. Calmon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢、富有创造力的作家（即大型语言模型，或 LLM），它能撰写故事、代码或电子邮件。你想知道某段特定文本是否由该 AI 生成，如果是，你希望确切知道是谁请求生成的、由哪个版本的 AI 撰写，甚至原始的提示词是什么。

这正是ArcMark发挥作用的地方。它是一种用于 AI 文本的新型“隐形墨水”。

以下是该论文主张的简明拆解，采用日常类比：

1. 问题：只能闪烁一次的“手电筒”

以往对 AI 文本进行水印标记的方法，就像使用一盏只能闪烁一次的探照灯（即“零比特”或“一比特”信号）。

它能做什么：它只能告诉你“是的，这是 AI 写的”或“不，不是”。
局限性：它无法告诉你“谁”写的，或“写了什么”。这就像在黑暗中看到灯光闪烁，却不知是谁按下了开关。
旧方法：为了传递更多信息，旧方法试图微调文本，比如在这里或那里改一个词。这有时会让文字听起来略显机械或不自然（失真）。

2. 解决方案：“隐形明信片”（ArcMark）

研究人员创建了ArcMark，它就像隐藏在文本中的一张隐形明信片。

神奇之处：它能在短短几百个单词的文本中隐藏多个字节的信息（比如完整的 ID 号码或简短消息）。
“无失真”承诺：最重要的主张是，这种隐形墨水不会改变写作质量。如果你阅读这段文本，它听起来与 AI 在没有隐藏信息时生成的文本完全一样自然。论文声称该文本是“无失真的”，意味着 AI 的自然流畅性未被中断。

3. 工作原理：“圆圈游戏”

论文运用了一些复杂的数学，但以下是其技巧的简化版：

圆圈：想象 AI 的候选词列表（其词表）被排列成一个巨大的圆圈。
目标：系统在该圆圈上选定一个特定点，用以代表秘密信息的一部分。
洗牌：AI 与解码器（检查消息的人）共享一个秘密的“洗牌”密钥。该密钥旋转圆圈，使得只有他们知道秘密位置在哪里。
选择：AI 被要求选择一个词。它不选择“绝对最佳”的词，而是选择在圆圈上靠近秘密位置的词。
- 类比：想象你在玩一个游戏，必须从篮子里选一个水果。规则是：“从桌上的红点附近选一个水果，但要确保篮子看起来仍像一个正常的水果篮。”AI 会选择一个同时满足这两条规则的水果。
数学：论文使用了一个名为“最优传输”的概念来解决这个问题。可以将其想象为一位超高效的送货员，将“最佳”水果移动到“红点”位置，同时不让篮子看起来空荡或凌乱。

4. 为何更优：“团队协作”vs“独角戏”

旧方法：试图在每个单词中隐藏一个微小的信息比特。如果你搞错了一个词，就丢失了那个比特。这就像试图通过一次只耳语一个字母来发送消息；如果风一吹，字母就丢了。
ArcMark：将整个段落视为一个单一谜题。它使用“线性码”（一种 fancy 的说法，意指团队协作）。即使攻击者修改了几个词（例如改写句子），解码器仍能推断出完整信息，因为它观察的是整个序列的模式，而不仅仅是单个单词。

5. 结果：论文发现

作者在流行 AI 模型（如 Llama3、Mistral 和 Qwen）上测试了 ArcMark，发现：

准确性：它能以极高的准确率成功隐藏并恢复 1、2、3 甚至 4 字节的数据（这对文本而言数量很大）。
隐蔽性：文本听起来与正常 AI 文本一样好。测量“困惑度”（衡量文本令人困惑或不自然程度的分数）的测试显示，带水印与不带水印的文本之间没有差异。
鲁棒性：即使有人尝试“改写”文本（例如翻译成法语再译回英语，或重写句子），ArcMark 的存活率也远优于以往方法。
容量：论文从数学上证明，ArcMark 非常接近在不破坏文本的前提下，能在 AI 文本中隐藏信息的理论最大极限。

总结

ArcMark是一种新型、高效的方法，用于为 AI 文本加盖隐藏的、多字节的 ID 卡。它不会让文本听起来怪异，并且足够智能，能够抵御重写或编辑文本的尝试。它将“在 AI 中隐藏信息”的问题，从一场猜谜游戏转变为一门精确的数学科学。

技术摘要：ArcMark

问题陈述

本文探讨了大型语言模型（LLM）的多比特水印挑战。现有方法可以嵌入单个比特（零比特水印）以检测 AI 生成的文本，或通过扩展零比特原理（例如每个令牌嵌入一个比特）来嵌入多个比特，但这些方法在容量上存在局限。当前方法难以在数百个令牌的序列中可靠地嵌入超过几个比特的信息。

作者指出了一个关键差距：实际应用（如嵌入用户 ID、模型版本或提示本身）需要能够嵌入多个字节的信息。此外，LLM 水印的“黄金标准”是无失真嵌入，即水印过程不改变 LLM 的平均下一个令牌预测，从而保持文本质量和困惑度。本文提出了两个核心问题：

在不扭曲下一个令牌预测的情况下，可嵌入 LLM 输出的信息理论极限（容量）是多少？
是否存在一种实用方案能够接近该极限，以实现可靠的多字节插入？

方法论：ArcMark

作者引入了ArcMark，这是一种基于编码理论和最优传输的水印构建方法。其核心洞察是将多比特水印重新定义为编码器和解码器均拥有带侧信息的信道编码问题，而非一系列独立的令牌决策。

1. 信息论表述

作者将 LLM 建模为一个噪声信道，其中“噪声”是下一个令牌分布（ $Q_{X_t}$ ）的固有随机性。他们推导了无失真多比特水印的香农容量。

无失真约束：水印令牌的边缘分布必须在共享侧信息的期望上等于原始 LLM 分布： $E_{S_t}[Q_{X_t|S_t, M=m}] = Q_{X_t}$ 。
容量推导：假设下一个令牌分布是独立同分布（i.i.d.）的随机变量，容量定义为在满足无失真约束的前提下，编码消息 $W$ 与输出 $X$ 之间的最大互信息 $I(W; X)$ 。
理论极限：对于特定类别的二进制令牌分布，当词汇表大小趋于无穷大时，推导出的容量约为0.2787 比特/令牌。

2. ArcMark 构建

ArcMark 通过将问题映射到几何空间并求解优化问题来实现可靠嵌入：

几何表示：令牌词汇表、消息码字符号和共享随机密钥均被映射到单位圆上的点（角度）。
- 令牌被映射为 $2\pi i / N$ 。
- 消息符号被映射为 $2\pi c / p$ 。
- 侧信息（随机偏移）被映射为 $2\pi v / r$ 。
编码（线性编码）： $k$ 比特消息通过模 $p$ 整数上的随机线性码映射为码字符号 $C_m(t)$ 。该符号与共享随机偏移 $V_t$ 结合，生成圆上的目标角度 $z_t$ 。
嵌入（最优传输）：为了在不扭曲 LLM 输出分布的情况下嵌入消息，水印器必须选择一个与目标角度 $z_t$ $z_{t}$ “接近”的令牌 $X_t$ $X_{t}$ ，同时满足无失真约束。这被表述为一个**最优传输（OT）**问题。
- 水印器求解条件分布 $Q^*_{X_t|Z_t}$ ，以最小化所选令牌与目标角度之间的期望角距离，同时受限于边缘分布与原始 LLM 分布相匹配的约束。
- 这可以通过Sinkhorn 算法高效求解。
解码：解码器观察令牌序列和共享侧信息。它估计传输的角度，去除共享随机性以恢复码字符号，并对所有可能的消息执行最小距离解码以恢复完整消息。

主要贡献

ArcMark 算法：一种新的无失真多比特水印方案，能够在数百个令牌中嵌入多个字节的信息。
容量表征：对无失真多比特 LLM 水印的香农容量进行了形式化推导，将问题框架化为带侧信息的信道编码。
理论最优性：证明了在特定简化假设（二进制令牌分布）下，ArcMark 达到了推导出的香农容量。
实证验证：全面评估表明，ArcMark 在消息准确率和鲁棒性方面优于现有的多比特方法（特别是 BiMark 和 MPAC），同时保持了无失真特性。

实验结果

作者在三个开放权重模型（Llama3-8B、Mistral-7B、Qwen3-8B）上，使用 C4-RealNewslike 数据集评估了 ArcMark。

消息准确率：ArcMark 在恢复完整消息（消息准确率）方面显著优于 BiMark，特别是在较大负载（2、3 和 4 字节）的情况下。虽然比特准确率很重要，但本文强调消息准确率作为操作指标，指出单个比特错误会导致整个消息（例如用户 ID）出错。
鲁棒性：ArcMark 表现出对改写攻击（特别是法语回译）的卓越鲁棒性。即使在较高的攻击比例下（30% 的句子被改写），ArcMark 仍保持比未受攻击的 BiMark 更高的消息准确率。
无失真特性：
- 困惑度：ArcMark 的困惑度与未加水印的基线几乎相同，且比 BiMark 更接近，证实了其保留了 LLM 的输出分布。
- 下游效用：在抽取式问答（SQuAD）、长上下文代码补全（LCC）和功能性代码正确性（HumanEval）中，与未加水印的基线相比，ArcMark 未显示出有意义的性能下降。
零比特检测：ArcMark 支持零比特检测（判断文本是否被加水印），准确率很高，从 150 个令牌开始即可达到近乎完美的检测率。

意义与主张

本文声称将多比特水印从启发式问题重新框架化为带侧信息的信道编码问题，这一表述可追溯至克劳德·香农。通过将视角转向容量和码设计，作者认为信息理论既为理解 LLM 水印的极限提供了数学基础，也为设计水印提供了构建路径。

ArcMark 的意义在于它能够可靠地嵌入字节（而不仅仅是比特）信息，且不扭曲文本质量。这使得跟踪用户提示、模型版本和特定模型实例等实际应用成为可能，这对于问责制和监管合规至关重要。作者指出，通过优化消息级准确率而非比特级准确率，降低了错误归因的风险。

本文结论认为，尽管其容量分析依赖于特定的分布假设，但该框架为更广泛的理论表征以及设计具有更高恢复率和更强鲁棒性保证的水印打开了大门。