📊 statistics

Optimal Watermark Localization in Mixed-Source Large Language Model Texts

本文将混合来源大语言模型（LLM）文本中的水印定位问题表述为一种标记级（token-level）的多重假设检验问题，在建立检测与分类的理论相变性的同时，提出了一种自适应阈值方法，该方法无需预先知晓信号稀疏性或分布参数即可实现最优的发现能力。

原作者： Jose H. Blanchet, T. Tony Cai, Xiang Li, Hao Liu, Qi Long, Weijie J. Su

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jose H. Blanchet, T. Tony Cai, Xiang Li, Hao Liu, Qi Long, Weijie J. Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数字领域，大型语言模型已成为生成类人文本的强大工具，协助处理从撰写论文到调试代码的一切事务。然而，这种能力也带来了一个重大挑战：如何区分人类编写的文本与机器生成的文本。为了解决这一问题，研究人员开发了一种称为“水印”的技术。想象一下，一台机器在写作时，会在其词汇选择中秘密嵌入一种统计模式。这种模式对肉眼而言是不可见的，且不会改变文本的含义或流畅度，但它就像一个隐藏的签名，如果验证者拥有正确的密钥，便可以检测出该签名。这使得人工智能生成内容的身份验证成为可能，有助于保护学术诚信并防止虚假信息的传播。

然而，在现实世界中出现了一个主要的复杂情况。人们很少直接使用机器输出的 AI 生成文本。他们在提交或发布之前，会对文本进行编辑、重写、改写或删除部分内容。这些人类的修改可能会破坏隐藏的统计模式，从而抹除掉机器参与其中的证据。这留下了一个难题：如果一份文档是原始 AI 文本与人类修改内容的混合体，我们能否精准定位哪些部分仍然带有机器的签名，而哪些部分已被修改到无法识别的程度？这不仅仅是关于知道一份文档是否包含 AI 的问题，更是关于寻找机器指纹依然存在的特定位置的问题。

来自斯坦福大学和宾夕ва尼亚大学的研究团队通过将此问题视为在噪声序列中寻找隐藏信号的统计搜索过程，解决了这一难题。他们开发了一种新方法，可以在单个单词（或称 token）层面定位这些残留的水印，而不仅仅是观察整个文档。他们的工作表明，寻找这些特定位置在本质上比单纯检测文档是否包含 AI 文本要困难得多。此外，他们发现了一个硬性限制：无论方法多么先进，在数学上都不可能完美地将混合文档中的每一个机器编写的单词与每一个人类编写的单词分离。然而，他们同时也创建了一种新的自适应工具，即使在不知道究竟发生了多少编辑或文本最初是如何生成的情况下，也能成功高精度地识别出残留的机器编写部分。

研究人员首先通过理解人类编辑所产生的“噪声”的本质来开展研究。当人类编辑文本时，他们可能会替换一个词、插入一个句子或删除一个短语。如果原有的词属于 AI 的隐藏模式，替换它就会打破这种联系。研究人员将此建模为一个序列，其中某些位置仍保留着原始统计信号，而其他位置的信号已被抹除。他们定义了检测系统的三个成功等级。第一级是全局检测，它仅仅询问：“文本中是否存在任何 AI 内容？”第二级是发现，它询问：“我们能否找到至少一部分 AI 编写的部分？”第三级是分类，它询问：“我们能否完美地识别出每一个 AI 编写的单词和每一个人类编写的单词？”

通过分析，团队证明了虽然全局检测通常是可能的，但寻找特定位置是一个更为严格的挑战。他们表明，发现比检测更难，因为这不仅需要感知信号，还需要将其从人类编辑的海洋中分离出来，且不能犯太多错误。更重要的是，他们证明了在他们的模型下，完美的分类是不可能的。这是因为某些机器编写的词在经过编辑后，看起来与人类编写的词如此相似，以至于没有任何统计测试能可靠地将它们区分开来。试图捕捉每一个机器词会导致误判人类词为机器生成的，而试图避免误判则意味着会漏掉许多机器词。因此，目标必须调整为寻找一组可靠的机器编写部分，而非一份完美的完整地图。

为了实现这种可靠的发现，研究人员开发了一种名为 SPOT 的方法，其全称为“基于阈值的扫描枢轴”（Scanning Pivors Over Thresholds）。该方法通过扫描文本并寻找表现出异常强统计模式的单词，这些单词暗示它们很可能是由 AI 生成且未被修改的。挑战在于设置扫描的正确灵敏度。如果扫描过于敏感，会将太多人类词标记为机器生成的；如果过于严格，则会错过那些难以检测的机器词。SPOT 通过根据观察到的数据自动调整其灵敏度来解决这个问题。它估算文本中可能仍保留 AI 签名的比例，然后选择一个阈值，在保持低误报率的同时，尽可能多地捕捉真实的信号。这使得系统能够适应不同的文档和编辑风格，而无需预先了解文本创建或编辑的具体细节。

研究人员通过针对真实语言模型的广泛模拟和实验测试了他们的理论与方法。在模拟中，他们创建了具有不同编辑程度和不同信号强度的人工文本。结果证实了他们的理论预测：存在一个明确的边界，在此边界内寻找机器编写的部分是可能的，而在另一侧则是不可行的。当编辑过重或信号过弱时，该方法会正确地无法找到可靠的位置集。但在可实现的范围内，该方法表现出了高精确度。在利用真实语言模型生成文本并应用常见的如随机替换、插入和删除等人类编辑手段的实验中，SPOT 方法的表现持续优于现有方法。它能够识别更大比例的残留机器编写词，同时保持较低的误判率。

研究还强调了任务难度如何随文本生成的性质而变化。当语言模型生成具有高随机性的文本时，寻找隐藏统计模式的机会更多，使得定位更容易。当模型更具确定性，即产生非常可预测的文本时，隐藏模式会变弱，任务也会变得更难。研究人员发现，尽管在这些不同条件下，其方法依然保持稳健，但用于估计编辑了多少文本的初始估计值的准确性确实会对性能产生影响。他们指出，虽然其方法非常有效，但对于编辑了多少文本的初始估计准确性可能会成为瓶颈，尤其是在文本非常具有可预测性时。

最终，这项工作为理解水印定位的极限提供了一个清晰的统计框架。它确立了虽然我们无法完美重建一份混合来源文档的完整历史，但我们可以可靠地识别出那些仍然带有机器印记的部分。这种区别对于实际应用至关重要。这意味着，与其寄希望于一个能分离每一个单词的完美方案，我们可以构建能够自信地标记出文档中疑似 AI 生成部分的系统。这使得更细致的归属判定成为可能，帮助教育工作者、出版商和研究人员以更高的精度理解文本的出处。研究人员总结道，他们的自适应方法为应对编辑后的 AI 文本这一复杂现实提供了一种切实可行且在理论上完备的方式，提供了一个即使在未知文本创建具体条件的情况下也能有效运作的工具。

技术摘要：混合来源大语言模型文本中的最优水印定位

问题定义
虽然水印技术为验证由大语言模型（LLM）生成的文本提供了一种原则性的方法，但在现实应用中，文本往往涉及混合来源，即人类的编辑（重写、插入、删除、改写）会破坏原始的水印信号。以往的研究侧重于“全局检测”（Global Detection）——即判断一段文本是否在聚合意义上包含任何水印证据。然而，水印定位（Watermark Localization，即识别哪些标记位置保留了水印信号）的统计极限尚不明确。

作者将水印定位建模为一个标记级（token-level）的多重假设检验问题。给定长度为 $n$ 的文本，验证者观察到一个枢轴统计量序列 $Y_{1:n}$ 。对于每个位置 $t$ ，一个潜在指示变量 $\theta_t \in \{0, 1\}$ 决定了其状态：

$\theta_t = 1$ ：水印依赖性在编辑后得以存续； $Y_t$ 服从由局部下一标记预测（NTP）分布 $P_t$ 决定的备选分布 $\mu_{1, P_t}$ 。
$\theta_t = 0$ ：依赖性被消除； $Y_t$ 服从已知的零分布 $\mu_0$ （与 $P_t$ 无关）。

目标是推断潜在序列 $\theta_{1:n}$ ，区分以下三个难度递增的推理任务：

全局检测（Global Detection）： 确定是否存在至少一个 $\theta_t = 1$ 。
发现（Discovery）： 识别出一个非平凡的 $\theta_t = 1$ 位置集合，同时确保边际错误发现率（mFDR）趋于零。
分类（Classification）： 渐近地分离所有零分布位置与所有保留水印的位置（使 mFDR 趋于零且漏检率也趋于零）。

方法论：SPOT
本文提出了 SPOT（基于阈值的扫描枢轴法，Scanning Pivots Over Thresholds），这是一种自适应定位方法，旨在无需预知问题的渐近参数（稀疏度、信号强度、词表增长）或随时间变化的 NTP 分布的情况下实现发现。

机制： SPOT 对应用于枢轴统计量的尾部阈值进行网格扫描。对于每个候选阈值，它估计存续水印信号的分数（ $\hat{\varepsilon}_n$ ），并基于经验尾部质量计算替代的错误发现水平。
自适应性： 该方法选择最大的发现集，使得估计的错误发现水平被控制在目标 $\lambda_n$ 以下。它依赖于对存续水印比例的数据驱动估计（例如来自 Li 等人 [26] 的方法），而不是要求输入真实的比例。
核心优势： 不同于需要对异质备选分布进行密度估计的方法（由于未知的、随时间变化的 NTP，这在实际中是不可行的），SPOT 利用枢轴统计量的尾部计数来控制错误发现。

理论贡献与结果
作者建立了一个由三个指数索引的渐近机制下的锐利相变关系，这些指数分别为：

$p$ ：存续信号的稀疏度（ $\varepsilon_n \asymp n^{-p}$ ）。
$q$ ：NTP 分布的集中度（ $1 - \max P_{t,w} \asymp n^{-q}$ ）。
$\alpha$ ：有效低概率词表尾部的增长率（ $|W_n| \asymp n^\alpha$ ）。

检测边界： 全局检测可能的充要条件是 $\max\{p + q, 2p + q - \alpha\} < 1$ 。这推广了之前的固定词表研究结果，表明增长的词表尾部（ $\alpha > 0$ ）通过提供聚合证据有助于全局检测。
发现边界： 发现可能的充要条件是 $p < \alpha$ 且 $p + q < 1$ 。
- 条件 $p < \alpha$ 是针对定位任务特有的：它要求词表尾部的增长相对于信号稀疏度足够快，以便将单个保留水印的标记与零分布标记区分开来。
- 严格硬度： 发现任务比全局检测严格更难。存在某些机制，其中文本在全局层面是可检测的，但没有任何局部规则可以可靠地发现哪怕一个保留水印的位置（特别是在 $\alpha = 0$ 时）。
分类的不可能性： 作者证明，在坐标化枢轴规则类中，一致的分类在整个参数机制内都是不可能实现的。
- 原因： 为了恢复所有微弱信号（最小化漏检），规则必须具有侵略性，这不可避免地会选择过多的零分布位置（导致无法控制 mFDR）。反之，保守的规则虽然能控制 mFDR，但会遗漏非忽略不计比例的信号。这种不兼容性阻碍了零分布位置与信号位置的渐近分离。
SPOT 的最优性：
- 边界最优性： SPOT 在整个理论可发现区域（ $p < \alpha, p + q < 1$ ）内实现了发现，且无需预知 $p, q, \alpha$ 。
- 近优功效： 在同质枢轴规则中，SPOT 能够恢复常数比例的最大可能真实发现数量（仅差低阶项）。

实验验证

模拟实验： 在合成枢轴统计量上的实验证实了上述理论相变。当参数跨越理论边界（ $p = \alpha$ 和 $p + q = 1$ ）时，经验发现误差会剧烈上升。
LLM 实验： 使用 OPT-1.3B 在带有受控编辑（随机替换/插入/删除、对抗性编辑、往返翻译）的 C4 数据集文本上进行测试：
- 在随机编辑和对抗性编辑下，SPOT（包括 Oracle 版本和 Plug-in 版本）在交并比（IoU）和真阳性率（TPR）方面始终优于基准方法 Adaptive Online Locator (AOL) [61]，尤其是在高生成温度（ $T=1$ ）时。
- 在低温度下，所有方法的性能都会下降，但 SPOT 的 Oracle 版本与 Plug-in 版本之间的差距会扩大。分析表明，这是由于在低温度下（此时 NTP 高度集中）存续比例估计器的不准确性导致的，而非定位规则本身的失效。
- 与基准方法相比，SPOT 增加的计算开销几乎可以忽略不计。

意义与主张
本文声称提供了第一个刻画混合来源 LLM 文本中水印定位基本极限的统计理论。其主要贡献包括：

理论极限： 确立了定位比检测更难，且在标准坐标化规则下完美分类是不可能的，并定义了定位变得可行的精确“相变”。
自适应最优性： 证明了自适应的数据驱动方法（SPOT）可以在无需了解底层生成或编辑参数的情况下达到这些理论极限。
实际效用： 表明尽管完美分类在理论上是不可能的，但在常见的人类编辑机制下，实现稳健的存续信号定位是可行且有效的。

作者指出，其工作重点在于使用枢轴统计量进行标记级定位，并未提出新的水印方案。他们确定的未来研究方向包括在线/流式定位、处理块结构编辑，以及将理论扩展到语义或句子级水印。

技术摘要：混合来源大语言模型文本中的最优水印定位

类似论文