💬 NLP

TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection

TextSeal 是一种最先进的无失真大语言模型水印方案，它通过双密钥生成和多区域定位，确保稳健的溯源检测与蒸馏保护，同时保持输出质量并支持服务优化，且无需推理开销。

原作者： Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre Fernandez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位面包师，每天制作成千上万条美味的面包。你想知道杂货店里的一条面包是否由你烘焙，还是有人复制了你的配方并自行烘焙。但这里有个难题：你不能直接在面包上盖个“由面包师汤姆制作”的印章，因为那会破坏面包的口感和质地。你需要一种秘密成分，人类舌头无法察觉，但能为你的专用扫描仪留下独特且可检测的指纹。

这正是TextSeal为大型语言模型（AI）所解决的问题。它是一种新型的高科技“隐形水印”，能在不改变文本听起来或看起来如何的情况下，证明某段文本的作者是谁。

以下是 TextSeal 的工作原理，分解为简单的概念：

1. 秘密成分（双密钥生成）

旧式水印就像一枚印章，总是在相同的位置留下相同的标记。如果你两次向 AI 提出相同的问题，它会两次给出完全相同的答案。这对用户来说很无聊，甚至可能导致 AI 陷入重复循环（就像一首歌无限循环播放）。

TextSeal 的解决方案： 它使用两个秘密密钥而不是一个。每次 AI 选择一个词时，它会抛一枚硬币来决定使用哪个密钥。

类比： 想象你有两种不同的秘密香料。有时你撒香料 A，有时撒香料 B。对食客而言，面包的味道完全一样（无失真），但对你的扫描仪而言，香料的排列模式会形成独特且多变的指纹，证明它出自你手。这既保持了 AI 回答的新鲜感和多样性，又使其可追溯。

2. 智能扫描仪（熵加权检测）

检测水印之所以困难，是因为 AI 有时会写出非常可预测的内容（低“熵”），有时则会写出非常富有创意、不可预测的内容（高“熵”）。

问题： 如果 AI 有 99% 的把握下一个词是“的”，在那里添加水印就像试图在飓风中隐藏耳语。很难被听见。但如果 AI 在多个词之间犹豫不决，水印信号就会强得多。
TextSeal 的解决方案： 它使用一种“智能扫描仪”，知道要格外关注 AI 不确定的文本部分（高熵部分）。它忽略那些无聊、可预测的部分，专注于水印信号最强的创意部分。这使得即使在长文档中，检测也变得更加准确。

3. 大海捞针（局部检测）

想象有人取走你写的一段话，将其混入一篇由人类撰写的 50 页论文中，并声称整篇论文都是他们的。旧式水印会查看整篇论文，被所有人类写作内容搞糊涂，然后说：“我找不到水印。”

TextSeal 的解决方案： 它不只是查看整篇文档；它会扫描特定区域。

类比： 与其试图在沙滩上找到一粒沙子，TextSeal 寻找的是具有独特颜色的小块特定沙地。即使 AI 生成的文本仅占庞大文档的 5%，TextSeal 也能隔离这 5%，忽略其余部分，并说：“啊哈！这段特定的段落绝对是 AI 生成的。”即使 AI 生成的文本被切碎并散布在整个文档中，这种方法依然有效。

4. “放射性”效应（蒸馏保护）

这可能是最强大的功能。如果竞争对手试图通过用你带有水印的输出训练他们自己的模型来窃取你的 AI“大脑”，水印不仅会留在文本中，还会被学习到。

类比： 想象你的秘密香料如此 potent，以至于如果竞争对手试图用你旧的面包作为参考来烘焙新面包，他们的新面包仍然会带有你香料的微弱痕迹，即使他们从未见过你的秘密配方。
主张： 论文表明，如果一个学生模型是用 TextSeal 水印数据训练的，该学生模型就会变得“具有放射性”。你可以测试该学生模型，它仍会显示出水印信号，证明它是用你的数据训练的。这阻止了竞争对手秘密复制你模型的知识点。

为什么这很重要？

它是隐形的： 论文让人类阅读了数千个示例进行测试。他们无法区分带有水印和未带水印的文本。它没有让 AI 听起来像机器人，也没有导致错误。
它很快： 它几乎不增加 AI 的思考时间，因此可用于实时应用程序。
它很强大： 即使在文本被严重稀释或与人类写作混合的情况下，它在检测水印方面也胜过之前的方法（如 Google 的 SynthID）。

简而言之，TextSeal 是一种用隐形、不可破坏的墨水签署 AI 作品的方法，这种墨水能经受住复制、混合，甚至被其他模型“学习”，同时完全不损害文本质量。

技术摘要：TextSeal

问题陈述

大型语言模型（LLM）在生产系统中的快速部署，迫切需要可靠的内容溯源机制。水印技术旨在将一种不可感知、可算法检测的信号嵌入生成的文本中，以识别 AI 来源、遵守新兴法规（如欧盟《人工智能法案》），并防止未经授权的用途，例如模型蒸馏或在合成数据上进行自训练。

现有的最先进方法在可检测性与多样性之间面临关键权衡。无失真方法（如 Gumbel-max 采样）虽然能保留模型原始输出分布（确保无质量下降），但它们是完全确定性的：固定的提示词和密钥总是产生相同的输出。这消除了生成多样性，导致重复循环和糟糕的用户体验。相反，引入随机性以恢复多样性的方法往往会削弱水印的统计强度，或引入失真（使输出分布产生偏差）。此外，现有的检测器难以应对稀释问题，当水印内容与大量人工撰写的文本混合，或在文档中分散分布时，它们无法识别水印内容。

方法论：TextSeal

TextSeal 是一种基于 Gumbel-max 框架构建的无失真、非确定性水印方案。它引入了三项核心技术创新，以解决现有技术的局限性：

1. 用于多样性的双密钥生成

为了克服标准 Gumbel-max 的确定性，TextSeal 采用了双密钥路由。

机制：在每一步生成中，系统以概率 $1-\alpha$ 和 $\alpha$ 分别随机选择两个密钥 $k^{(1)}$ 或 $k^{(2)}$ 中的一个。令牌通过 Gumbel-max 技巧进行选择，该技巧使用由所选密钥导出的伪随机函数（PRF）值。
影响：这恢复了输出多样性（打破确定性循环），同时保持了无失真特性。
优化：路由概率 $\alpha$ 可以动态地与推测性解码的接受率对齐（例如在多令牌预测场景中），确保与推理优化兼容，而不会增加推理延迟。

2. 熵加权检测

标准检测分数对所有令牌一视同仁，但在水印信号固有的低熵区域（模型高度自信且顶级令牌无论 PRF 如何都占主导地位），水印信号较弱。

机制：TextSeal 通过轻量级代理模型估计的局部熵，对每个令牌的检测分数进行加权。水印影响更大的高熵位置，对最终统计量的贡献更大。
统计校准：分数的加权和遵循超指数分布。为了高效计算校准后的 p 值，TextSeal 使用矩匹配伽马近似，该近似处理了权重的异质性以及双密钥路由的方差。

3. 局部多区域检测

当水印文本是长文档的一小部分（稀释）或分散在非连续片段中（碎片化）时，全局检测器会失效。

机制：TextSeal 采用几何覆盖搜索来识别水印片段。它不是测试所有可能的区间（ $O(n^2)$ ），而是搜索窗口长度的二分网格（ $L, 2L, 4L, \dots$ ）。
提取：贪婪算法提取具有最低 p 值的不相交区间，在聚合它们的同时应用严格的邦弗罗尼校正（Bonferroni corrections）以控制族系误差率。
自适应集成：系统自适应地选择三种策略中最显著的结果：全局全文测试、单一最佳窗口或多区域聚合。这确保了无论文本是纯水印还是严重混合，系统都具有鲁棒性。

主要贡献

最先进的权衡：TextSeal 严格主导了多样性 - 可检测性帕累托前沿，优于 SynthID-text 和标准 Gumbel-max。它在恢复与无水印生成相当的多样性的同时，实现了高可检测性。
抗稀释鲁棒性：通过局部检测，TextSeal 即使在水印内容被稀释 10 倍或分散在长文档中的多个小区域时（全局基线在此情况下失效），仍能保持自信的检测结果。
零推理开销：该方案增加了可忽略的采样开销（ $\le 0.3\%$ ），并且完全兼容推测性解码和多令牌预测（MTP），无需修改模型参数或 KV 缓存。
通过蒸馏实现的放射性：TextSeal 证明其水印信号具有“放射性”。当学生模型从水印教师输出中进行蒸馏时，学生会继承可检测的令牌偏差，从而能够在无法访问原始生成上下文的情况下检测未经授权的蒸馏。
能力保留：在 12 个基准测试（数学、代码、推理、知识）和 multilingual 人类评估中的广泛评估证实，TextSeal 保留了下游模型性能，且未引入可感知的质量下降。

实验结果

可检测性与多样性：在 ELI5 数据集上的评估中，TextSeal（ $\alpha=0.1$ ）在等效的 Self-BLEU 多样性分数下，实现了比 SynthID 和 Gumbel-max 显著更低的 p 值（更高的可检测性）。
抗稀释性：TextSeal 的自适应集成即使在 400 个水印令牌嵌入 12,000 个无水印令牌中（水印比例为 3.3%）时，仍能保持强检测（ $-\log_{10} p > 4$ ）。全局基线在低得多的稀释水平下就跌破了显著性阈值。
性能保留：在包括 AIME、MATH、GSM8K 和 HumanEval 在内的基准测试中，TextSeal 与原生生成相比，未显示出统计学上显著的性能下降。在代码基准测试中观察到的微小波动归因于格式噪声，而非推理能力下降。
人类感知：一项多语言人类评估（跨 5 种语言的 6,000 次 A/B 比较）未发现可感知的质量差异。等价性检验（TOST）证实，水印输出与非水印输出之间的偏好差异被限制在 $\pm 5\%$ 以内。
蒸馏传递：在蒸馏实验（DeepSeek-R1 到 Qwen2.5-3B）中，水印痕迹成功将信号传递给了学生模型。TextSeal 在原始设置中实现了最强的检测信号，这是由于数据保留率较高；而在受控数据量下，Gumbel-max 显示出更强的每令牌信号。

意义与主张

该论文将 TextSeal 定位为 LLM 水印的实用、生产就绪解决方案。其主要意义在于解决了多样性与可检测性之间长期存在的紧张关系，且未牺牲无失真性。

作者声称，TextSeal 提供了一种针对未经授权的模型蒸馏的“放射性”防护，这是一个关键问题，因为开源权重模型正越来越多地在合成数据上进行训练。通过使学生模型中能够检测水印痕迹，TextSeal 提供了一种监控模型使用和知识产权保护的机制。

该论文在局限性方面保持适度：它承认，虽然水印对单次生成是无失真的，但多样性的减少（通过双密钥机制）可能会影响依赖多样化输出的工作流程（例如 best-of-N 重排序）。然而，它指出，现代推理模型往往自然表现出熵的坍缩，这可能缓解这种边际损失。这项工作为水印技术建立了一个新的基准，该基准在理论上严谨、经验上稳健，并且与现代推理基础设施兼容。