💻 computer science

PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

PuzzleMark 是一个专为神经代码补全模型设计的鲁棒且不可感知的框架，它通过基于代码复杂度的载体选择以及一种新颖的变量名拼接模式，在保护数据集知识产权的同时实现完美的验证准确率并规避现有检测方法。

原作者： Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是《PuzzleMark》论文的通俗化解读，辅以生动的类比。

核心难题：窃取“独家秘方”

想象你是一位厨师，花费数年收集了全球最棒的食谱，经过反复测试，整理成一本完美无缺的巨型食谱书。这本食谱书是你最宝贵的资产。

现在，想象有人想不付钱就利用你的食谱书开餐厅。他们不能直接复印这本书（那样太明显了），所以他们雇佣一个机器人来阅读你的书并学习烹饪。一旦机器人学会了，他们就解雇你，自己开了一家餐厅。你无法证明机器人是向你的书学习的，因为机器人的烹饪看起来和正常烹饪一模一样。

在计算机代码的世界里，这本“食谱书”就是代码数据集，而那个“机器人”就是AI 编程助手（如 GitHub Copilot）。构建这些数据集既昂贵又费力。但目前，如果有人窃取了你的特定数据集，却没有任何好的方法能证明 AI 是基于该数据集训练的。

旧方案：“便利贴”（以及它为何失败）

以前的研究人员试图通过在代码中隐藏“水印”来解决这个问题。这就像在食谱书的每第 10 页塞进一张便利贴，上面写着：“本书归厨师 X 所有”。

缺陷： 这些旧的“便利贴”太明显了。如果小偷查看这本书，他们很容易发现这些奇怪的便签，把它们撕掉，甚至扔掉整页。或者，他们可以扫描全书，找出这些奇怪的规律，在训练机器人之前将其移除。这些“便利贴”太容易被检测并清除了。

新方案：PuzzleMark

本文的作者提出了一种名为PuzzleMark的新方法。他们不再使用便利贴，而是将代码本身转化为一种微妙、无形的拼图。

其工作原理分为三个简单步骤：

1. 挑选合适的“藏身处”（载体选择）

想象你试图在图书馆里隐藏一条秘密信息。

错误做法： 如果你把信息藏在一本已经很奇怪、破损或用奇怪语言写成的书里，人们会立刻起疑。
PuzzleMark 的改进： 系统会扫描整个图书馆，利用“复杂度计”来寻找那些完全正常、书写精良且常见的书籍。它拒绝在那些已经混乱或可疑的书中隐藏信息。通过只选择看起来最“自然”的代码片段来承载秘密，水印变得极难被察觉。

2. “七巧板”技巧（拼接模式）

旧的水印依赖于简单的模式：例如“如果你看到单词 key，下一个单词必须是 value"。这就像代码规定“如果你看到一辆红车，旁边必须有一辆蓝车”。小偷很容易发现这种模式并将其破坏。

PuzzleMark 采用了一种“七巧板”方法：

它不使用固定规则，而是取代码中两个现有的变量名（例如 key 和 iterator），将它们拼接在一起，创造出一个新的、略显不寻常的名字（例如 key_iterator）。
这就像把两块正常的拼图碎片粘在一起，做成一块新碎片，它看起来属于那里，但只有知道秘密胶水的人才能识别。
因为代码看起来大部分是正常的，而且“胶水”会根据具体的代码片段而变化，小偷极难在不破坏代码本身的情况下找到并移除它。

3. “黑盒”测试（验证）

你如何证明 AI 是向你的书学习的？

你不需要窥探 AI 的大脑。你只需给它一个特定的“触发器”（一段包含隐藏拼图碎片的特定代码片段）。
如果 AI 是在你带有水印的数据集上训练的，它会本能地用你创建的“粘合”名称来完成代码。
如果它不是基于你的数据训练的，它只会猜测一个普通的名称。
作者使用统计检验（费舍尔精确检验）来判断 AI 是否过于频繁地猜对，从而排除巧合。如果数学结果显示“是”，你就有了证据。

为何这更好？（结果）

论文将 PuzzleMark 与旧方法进行了测试，发现：

它隐形： 人类开发者和自动化工具都无法区分带水印的代码和正常代码。它像幽灵一样隐形。
它坚韧： 即使小偷试图通过移除可疑代码来“清洗”数据集，水印依然幸存。即使他们试图通过混入数百万份其他干净代码文件来“稀释”它，水印仍然可被检测。
它不破坏任何东西： 在这种带水印的代码上训练的 AI 模型，其表现与在干净代码上训练的模型一样好。这种“胶水”并没有毁掉食谱。

总结

PuzzleMark 是一种保护代码数据集知识产权的新颖且稳健的方法。它不像留下容易被小偷撕掉的明显“便利贴”，而是将所有权证明隐藏在代码的自然流动中，就像一种秘密的食谱配料，只有当你尝试烹饪这道菜时才会显现。它确保了如果有人窃取你的数据来训练 AI，即使他们试图掩盖行踪，你也能在法庭上证明这一点。

以下是论文《PuzzleMark：用于神经代码补全模型中鲁棒代码数据集水印的隐式拼图学习》的详细技术总结。

1. 问题陈述

高质量代码数据集是宝贵的知识产权（IP），需要投入大量资源进行整理。然而，它们面临着被攻击者用于训练神经代码补全模型（NCCMs）的未经授权使用风险。虽然数字水印提供了一种事后所有权验证机制，但现有的代码数据集水印方法存在两个关键缺陷：

脆弱的载体选择：以往的工作（如 CoProtector、CodeMark）通常随机选择或基于僵硬的约束（如语义保持变换）选择水印载体（代码片段）。这忽略了代码固有的“自然性”。被选为载体的复杂或不自然的代码片段，即使在水印嵌入之前，也容易被自动检测工具（如 DeCoMa 或 KillBadCode）标记，从而导致极高的暴露风险。
易受攻击的水印模式：现有方法依赖于共现模式（固定的触发器 - 目标对）。最新研究（DeCoMa）表明，这些模式会产生高频异常值，极易被检测和移除，导致近 100% 的检测率，且对移除攻击的鲁棒性微乎其微。

2. 方法论：PuzzleMark

PuzzleMark 引入了一个包含三个主要阶段的鲁棒水印框架：载体选择、水印嵌入和模型验证。

A. 水印载体选择（避免暴露）

PuzzleMark 不再随机选择，而是根据代码片段被检测为“可疑”的可能性来评估其作为载体的适用性。

特征提取：从抽象语法树（AST）中提取 10 个复杂度特征（5 个结构特征：例如圈复杂度、NLOC；5 个语义特征：例如唯一函数调用、表达式多样性）。
特征投影：利用受主成分分析（PCA）启发的机制，将这些特征投影到主成分方向上，生成适用性得分。
过滤：过滤掉适用性得分低（复杂度高/自然性差）的代码片段。仅选择适用性得分高（检测风险低）的片段作为嵌入候选。

B. 水印嵌入（“拼图”模式）

PuzzleMark 用一种新颖的拼接模式取代了传统的共现模式，其功能类似于动态拼合的“拼图”。

机制：通过拼接代码中的两个变量名来嵌入水印（例如，prefix + suffix $\rightarrow$ prefix_suffix）。
两种策略：
1. 固定触发器策略：使用用户定义的变量名（如 key）作为固定前缀。后缀从代码中自适应选择，目标为拼接后的结果。
2. 通用水印策略：为防止攻击者识别固定触发器，前缀也是自适应的（例如，代码中的第一个变量）。这使得触发器动态化，更难通过正则表达式或模式匹配被检测。
自适应扰动：该方法优先在触发器前缀已自然存在的代码中进行嵌入，以最小化代码扰动。如果前缀不存在，则仅在需要满足嵌入率阈值时引入它。

C. 可疑模型验证

为了验证模型是否在水印数据集上训练过（黑盒设置）：

输入构建：生成两组输入：一组将触发器后缀替换为语义无意义的令牌（如 unknown_token），另一组则不替换。
统计测试：分析模型的输出，看其是否预测特定的拼接目标变量。使用费舍尔精确检验（Fisher's Exact Test）（而非 t 检验）来确定触发器与目标输出之间关联的统计显著性，提供用于验证的 $p$ 值。

3. 主要贡献

适用性评估：首次引入了一种定量机制，根据代码复杂度评估和选择水印载体，以最小化暴露风险。
拼接模式：首次提出并应用拼接模式（取代共现模式）进行代码数据集水印，显著增强了抗检测鲁棒性。
双重策略：通过变量名拼接实现了固定触发器和通用水印两种策略，在保持设计简洁的同时实现了高不可感知性。
综合评估：广泛的实验证明了该方法的有效性、无害性、不可感知性和鲁棒性。

4. 实验结果

作者在 Python 和 Java 数据集（CodeSearchNet）上，使用三种 NCCMs（Qwen2.5、StarCoderBase、DeepSeek-Coder）评估了 PuzzleMark。

有效性：在所有模型和语言中均实现了100% 的验证成功率和0% 的误报率。
无害性：对模型性能的影响微乎其微。BLEU 分数显示，水印模型与原始模型之间无统计学显著差异（ $p > 0.05$ ，Cohen's $d < 0.2$ ）。
不可感知性：
- 人工：平均可疑率 $\le 0.24$ （与 CodeMark 相当）。
- 机器：在对抗最先进检测器（SS、AC、KillBadCode、DeCoMa）方面显著优于基线。DeCoMa 的平均召回率降至 $\le 30.41\%$ （基线约为 100%）。
鲁棒性：
- 移除攻击：即使在移除了被四种不同自动工具检测到的样本后，仍保持可验证性（ $p < 0.05$ ）。
- 稀释攻击：即使水印嵌入率被稀释至 0.1% 仍保持有效（尽管通用水印需要稍高的比率）。
可扩展性：成功保护了项目级 IP，但在非常小的项目（<100 个函数）上表现有限，原因是信号密度不足。

5. 意义

PuzzleMark 解决了当前代码数据集水印技术的关键漏洞。通过从静态共现模式转向动态拼接，并严格选择“隐蔽”载体，它创建了一种水印，具有以下特点：

难以检测：能够避开人工检查和先进的自动检测工具。
难以移除：由于水印是自适应分布且不依赖高频异常值，因此能抵抗移除攻击。
实用：为保护用于训练商业 AI 编程助手的高价值代码数据集的知识产权提供了可行的解决方案。

该论文得出结论，PuzzleMark 为大语言模型时代鲁棒、不可感知且有效的数据集水印树立了新标准。