🤖 machine learning

Dataset Watermarking for Closed LLMs with Provable Detection

本文提出了首个针对闭源大语言模型的可证明数据集水印方法，该方法通过提高随机选定的词对共现频率来嵌入可检测信号，并成功在模型输出中识别这些信号，即使水印数据仅占微调令牌的 1%，同时仍保持数据集的实用性。

原作者： Pengrun Huang, Kamalika Chaudhuri, Yu-Xiang Wang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengrun Huang, Kamalika Chaudhuri, Yu-Xiang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位烘焙师，花费多年时间完善了一款特色蛋糕的秘传家族食谱。你决定将食谱公之于众，让他人得以学习。然而，你担心一家大型连锁烘焙坊可能会窃取你的秘传食谱，将其混入他们庞大的面团批次中，然后宣称他们的新蛋糕完全是自己的发明。更糟糕的是，他们甚至可能利用你的食谱，以特定方式让蛋糕口感“更胜一筹”，从而误导评委，使其认为他们的连锁品牌是全球最佳。

本文介绍了一种巧妙、无形的“成分标签”，即使烘焙连锁拒绝展示他们的搅拌碗或食谱簿，你也能证明其使用了你的食谱。

以下是该论文方法的运作原理，分解为简单概念：

问题：“黑箱”烘焙坊

在人工智能领域，公司通过向“语言模型”（如智能聊天机器人）输入海量文本来构建它们。有时，它们会意外或故意使用特定数据集（如考试题或专有文章）来训练这些模型。这被称为“污染”。

问题在于，大多数此类模型都是封闭黑箱。你可以与它们对话（提问），但无法窥探其“大脑”内部以了解它们如何处理信息。以往捕捉作弊者的方法需要窥探模型的“逻辑输出”（logits，即其内部数学运算），而这对于封闭模型是不可能的。

解决方案：“秘密词对”标签

作者提出了一种在数据集发布之前对其进行水印的新方法。可以这样理解：

秘密代码：在发布数据集之前，所有者挑选一份随机词对列表，这些词对在正常对话中通常不会频繁共现（例如，“镁”和“雨伞”）。
改写：他们利用人工智能改写数据集。目标不是改变句子的含义，而是让这些特定词对出现的频率比自然情况略高。这就像微妙地调整食谱中的配料，让“镁”和“雨伞”在同一个段落中多出现几次。
无形信号：对人类读者而言，文本看起来完全正常。但在统计学上，那些特定的词对在该数据集中变得“粘滞”。

检测：“品尝测试”

随后，如果一家公司声称他们仅使用自己的数据训练了模型，你可以对其进行测试：

查询：你要求模型生成大量文本（例如让它写故事或回答问题）。
计数：你检查生成的文本，看看那些“粘滞”词对（镁 + 雨伞）是否以高于纯随机概率的频率共同出现。
裁决：如果模型使用了带水印的数据，这些词对将会频繁共现。如果模型未使用你的数据，这些词对将随机分散。

论文从数学上证明，如果你观察到这种模式，那几乎肯定是因为模型是在你的特定数据集上训练的，而非出于随机运气。

为何这至关重要

论文强调了三大优势：

适用于封闭模型：你无需查看模型的内部代码。你只需像普通用户一样与它对话即可。这就像只需品尝蛋糕就能检测出秘密成分，而无需进入厨房查看。
具有韧性（“稀释”测试）：想象烘焙坊将你的食谱与另外 99 种食谱混合。论文表明，即使你的水印数据集仅占总训练数据的 1%，那些“粘滞”词对仍然可被检测。信号足够强大，足以在淹没于海量其他数据的汪洋中幸存。
抵御编辑：如果烘焙坊试图通过删除随机单词、替换同义词或添加表情符号来“清洗”食谱，该信号通常仍能幸存。其他依赖对单个单词进行微小、特定修改的方法在文本被编辑时极易失效，而这种“词对”方法则更为 robust（稳健）。

这会毁掉蛋糕吗？

水印技术的一个主要担忧是：“这是否会改变数据，使其不再适用于测试人工智能？”

作者对此进行了广泛测试。他们发现：

含义保持不变：改写后的文本含义与原文一致。
测试依然有效：如果你使用这种带水印的数据集来测试人工智能的智能程度，人工智能获得的分数与使用原文时相同。关于“哪个 AI 最聪明”的排名不会改变。
优于替代方案：与其他重写整个句子（可能导致文本听起来像机器人）的水印方法相比，该方法进行的是更小、更局部的编辑，使文本在外观和感觉上保持自然。

局限性

论文诚实地说明了它无法做到什么：

无法时光倒流：你必须在发布数据之前应用此水印。你无法回溯并给几年前已发布的数据集添加水印。
非防护盾：这是一种用于事后检测盗窃或污染的工具，而非防止其发生的防护盾。
训练规模：测试是在“微调”（教授模型特定技能）阶段进行的，其规模远小于模型学习一切知识的庞大“预训练”阶段。在那种大规模的预训练阶段检测污染仍然是一个未解决的挑战。

简而言之，这篇论文提供了一种统计“指纹”，使数据所有者能够证明其作品被用于训练封闭的人工智能模型，即使该模型试图掩盖证据。

技术摘要：面向闭源大语言模型的可证明检测的数据集水印

问题定义

大语言模型（LLM）经常使用庞大且松散 curated 的数据集进行训练，这些数据集中可能无意中包含了专有数据或评估基准。这一现象因“基准最大化”（即在后期训练中优化基准性能）而加剧，引发了关于数据污染和模型评估可靠性的担忧。虽然近期研究探索了数据集水印——即在数据集发布前嵌入可检测信号以审计其在模型训练中的使用情况——但现有方法存在两个关键局限：

访问要求：先前的方法（例如 STAMP、Radioactive）依赖于开放模型访问，需要查看模型内部细节，如对数概率、下一个 token 分布或困惑度分数。它们对闭源模型访问（黑盒 API）无效，而后者是大多数商业聊天机器人的标准。
缺乏理论保证：现有方法通常缺乏关于检测误报率（FPR）的严格、无分布的理论界限。

本文解决了这样一个问题：在仅拥有模型输出的黑盒 API 访问权限的情况下，检测特定数据集是否被用于训练目标 LLM，同时为检测可靠性提供可证明的统计保证。

方法论

所提出的框架分为两个阶段：嵌入和检测。其核心直觉利用了深度学习模型倾向于记忆训练数据中存在的虚假特征和统计相关性的已知倾向。

1. 嵌入阶段（水印注入）

数据所有者对数据集进行改写，以注入可检测的统计信号，同时不改变数据集的效用：

秘密密钥生成：通过从数据集词汇表中随机采样一组词对来形成秘密密钥（$sk$）。
词汇变体构建：对于密钥中的每个词，生成一组词汇变体（同义词、共现词）。
为共现而改写：使用大语言模型（例如 ChatGPT）对数据集进行改写，以增加所选词对的共现频率。
- 包含词对中两个词变体的样本被保留或增强。
- 包含其中一个词但不包含其配对词的样本被修改以包含该词对。
- 关键在于，共现是在样本级别定义的；词不需要连续，只需存在于同一样本中即可。
  此过程引入了受控的、人为的相关性，这些相关性在未加水印的数据中不太可能自然产生。

2. 检测阶段（统计检验）

给定目标模型 $M$ 和秘密密钥 $sk$，审计员查询模型以生成文本，并分析词对的共现统计信息。

相关性测量：该方法计算生成文本中词对存在指示变量之间的皮尔逊相关系数。
偏差计算：计算模型输出中的共现行为与参考（未加水印）数据集之间的偏差（ $A_{w_i, w_j}$ ）。
检测分数：通过比较超过偏差阈值 $\tau$ 的秘密密钥词对比例与超过相同阈值的非密钥词对比例来计算分数。
决策规则：如果检测分数超过阈值 $t$ ，则声明存在水印。

理论保证

本文提供了关于误报率（FPR）的无分布且与模型无关的上界。

定理 4.1：在原假设下（模型未在加水印的数据上训练），误报的概率被 $e^{-2t'^2d}$ 所界定，其中 $d$ 是秘密密钥的大小， $t'$ 是检测阈值的函数。
该保证适用于任何固定的 LLM 架构或训练过程，无需对底层数据分布或模型内部细节做任何假设。

主要贡献

首个闭源模型数据集水印：作者引入了首个数据集水印方法，能够仅通过黑盒 API 访问检测训练数据的使用情况，无需对数概率或内部模型状态。
可证明的检测：该方法提供了关于误报率的理论保证，这些保证独立于模型架构或数据分布。
数据混合中的鲁棒性：即使加水印的数据集仅占总微调 token 的一小部分（约 1%），该方法仍然有效。
效用保持：水印过程保持了基准数据集的语义完整性和效用，确保它们仍可用于模型评估。

实验结果

该方法在LLaMA-3-8B和Gemma-2-2B上进行了评估，涵盖三个基准：MMLU、ARC-easy和ARC-challenge。

原生设置：该方法在所有模型和数据集上均实现了统计显著的检测（ $p < 0.01$ ）。相比之下，"Radioactive"基线在闭源模型访问下未能产生有意义的信号（ $p \approx 0.2\text{--}0.3$ ）。
部分污染（数据混合）：当加水印的数据仅占总微调 token 的**1.1%–1.3%时，该方法成功检测到了水印。在更极端的0.5%**比例下，LLaMA-3-8B 保持了显著检测，而 Gemma-2-2B 显示出灵敏度降低，这表明较大的模型可能更好地保留了注入的统计信号。
对修改的鲁棒性：与基线相比，该水印对轻量级文本修改（随机删除、同义词替换、表情符号插入）表现出卓越的鲁棒性。虽然 Radioactive 等基线在 20% 修改后 p 值上升至显著性阈值以上，但所提出的方法保持了较低的 p 值。
效用保持：
- 基准性能：在加水印数据集上评估的模型表现与在原始数据集上的表现相当，保持了模型的相对排名。
- 语义相似性：改写后的数据集与原始数据集保持了高度的语义相似性（SBERT 分数）。
- 词汇重叠：与基于 KGW 的水印方法相比，所提出的方法实现了显著更高的 n-gram 重叠（3-gram、4-gram），表明改写程度较低。

意义与局限性

本文将这项工作定位为审计数据集使用的工具，使数据提供者能够通过黑盒查询验证其专有数据或基准数据是否已被纳入模型训练。

作者承认的局限性：

主动性要求：该方法需要在数据集发布之前对其进行改写；无法将其回溯应用于已发布且未加水印的数据集。
对抗鲁棒性：该方法并非旨在抵御旨在消除统计信号的全对抗性转换，因为在任意改写下，强水印保证在理论上是不可能的。
评估范围：实验仅限于后期训练（微调）阶段。由于计算限制，评估预训练规模下的有效性仍然是一个未解决的问题。

总之，这项工作建立了一种与闭源模型生态系统兼容的数据集水印新范式，在保持底层基准效用的同时，提供了可证明的检测能力。