💬 NLP

Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign

该论文介绍了 RoSeMary，一种新型的机器学习/密码学协同设计框架，该框架利用基于 CodeT5 的端到端训练和零知识证明，将鲁棒、功能完备且具备隐私保护能力的数字水印嵌入到大语言模型生成的代码中，从而有效地解决了低熵和安全验证方面的挑战。

原作者： Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机不仅能与我们聊天，还能为我们的数字生活编写蓝图的世界。这就是代码大语言模型（LLMs）的领域——这些超级智能的 AI 助手可以通过阅读一段提示词，来生成软件函数、修复漏洞并构建整个程序。但问题在于：当这些 AI 编写代码时，往往很难确定究竟谁才是真正的所有者。是人类工程师写的，还是 AI 写的？如果是 AI 写的，又是哪家公司的 AI？这是一个大问题，因为代码是极其珍贵的知识产权，就像一份秘密配方或一项专利发明。

为了解决这个问题，科学家们一直试图为 AI 代码添加“水印”。你可以把它想象成一种数字隐形墨水，或者钞票上的隐藏水印。你希望能够证明：“嘿，这段代码是由我的 AI 制作的，”同时又不会改变代码原有的功能。但这里有一个棘手的难题：代码是非常严谨的。不像写故事时可以用同义词替换单词，代码必须遵循严格的规则才能运行。如果你为了隐藏一条秘密信息而改动过多，程序就会崩溃。此外，为了在法庭上证明所有权，你通常需要向法官展示密钥（即水印）。但如果你展示了密钥，坏人就会偷走它，并在日后伪造自己的水印。这是一场令人沮丧的“躲猫猫”游戏，其规则使得人们几乎不可能在不损失其他东西的前提下赢得比赛。

这就是名为 RoSeMary 的新框架介入的地方，它扮演着一位聪明的魔术师，能够在不展示钥匙的情况下，将秘密信息藏进一个锁着的盒子里。来自加州大学圣地亚哥分校和圣地亚哥州立大学的研究团队设计了这个系统，它将机器学习（AI 部分）与密码学（秘密数学部分）结合在一起。他们找到了如何在 AI 生成的代码中嵌入一个难以移除的隐藏签名，既能保证代码完美运行，又能确保最重要的——允许法官在完全看不到实际秘密签名的情况下验证所有权。

以下是 RoSeMary 如何完成这场魔术表演的。首先，它使用了一个名为 CodeT5 的预训练 AI 模型，这个模型就像一位品尝过数百万种食谱的大厨。它不仅仅是随机地修改代码，这位“大厨”理解代码的“风味”。它获取原始代码和一条秘密信息（水印），然后决定如何对代码进行微小的调整——比如将变量名从 x 改为 item，或者将一个 while 循环改为 for 循环——从而将秘密信息隐藏在这些细微的变化之中。因为大厨了解烹饪规则（编程规则），所以即使加入了秘密配料，代码的“味道”依然完全一样（运行完美）。

但真正的魔法发生在验证代码真实性的时刻。通常情况下，你需要把秘密配方交给法官。RoSeMary 使用了一种被称为**零知识证明（ZKP）**的密码学工具。想象一下，你想向朋友证明你知道保险箱的组合，但你不想告诉他们具体的数字。你可以当着他们的面打开保险箱，展示里面的宝贝，然后再次关上。他们知道你知道组合，但他们从未见过那些数字。RoSeMary 的做法与之类似。AI 所有者运行一个复杂的数学电路，用以检查隐藏的签名是否存在。它会生成一个微小的数字“证明”，上面写着：“是的，该签名有效”，而无需透露该签名本身到底是什么。

团队在包括 Python、Java 和 C++ 在内的数千个代码示例上测试了这个系统。他们发现 RoSeMary 的工作表现极其出色。它成功地在 97.64% 的案例中隐藏了水印（意味着代码依然正常运行），并且其检测水印的准确率达到了 0.97（其中 1.0 代表完美）。即使坏人试图通过重命名变量或使用其他 AI 重写代码来破坏水印，RoSeMary 仍能 98% 地成功检测到隐藏的信息。

或许最令人印象深刻的部分是它的速度和隐私性。该系统生成所有权证明大约需要 7.15 秒，而法官验证该证明仅需 118.6 毫秒（不到眨眼之间）。至关重要的是，在整个过程中，法官永远看不到实际的秘密水印。这意味着所有者可以反复使用同一个水印，而不必担心有人会偷走它并伪造虚假的权利主张。

简而言之，RoSeMary 解决了困扰研究人员许久的“三方拉锯战”。它成功地在保持代码运行（保真度）、使水印易于发现（可检测性）以及难以破解（鲁棒性）之间取得了平衡，同时还保护了秘密密钥不被窥视。这是保护 AI 革命中知识产权的重要一步，确保当 AI 创作出一件杰作时，艺术家能够获得他们应得的认可与保护。

技术摘要：基于机器学习/密码学协同设计的鲁棒零知识可验证代码大语言模型（Code LLM）水印技术

问题陈述
大语言模型（LLM）生成的代码激增引发了显著的知识产权（IP）担忧，包括剽窃、漏洞注入以及未经授权的商业使用。水印被认为是识别 LLM 生成代码的一种解决方案。然而，现有的方法面临着一个关键的三重目标冲突：可检测性（发现水印的能力）、保真度（保持代码功能性）以及鲁棒性（抵抗移除的能力）。

代码水印的一个特定瓶颈在于代码的低熵特性。与自然语言不同，代码的高质量签名空间非常有限。目前的验证方法要求 LLM 所有者向第三方仲裁机构披露其秘密签名以进行法律验证。这种披露造成了安全悖论：一旦签名被公开，为了防止伪造，必须为未来的制品进行重新编码。在低熵代码中，重新编码往往会降低代码功能或减少水印的韧性，从而限制了水印方案的可重用性。此外，现有的基于神经网络的方法通常依赖于从头开始训练的浅层网络，限制了特征提取能力；而基于推理的方法则通过操纵 Token 的方式，可能会破坏语法。

方法论：RoSeMary 框架
本文介绍了 RoSEmary 框架，该框架利用 ML/Crypto（机器学习/密码学）协同设计来应对这些挑战。它由两个主要部分组成：一个鲁棒的基于机器学习的水印架构和一个定制的零知识证明（ZKP）验证协议。

基于机器学习的水印架构：
- 骨干网络： RoSeMary 使用在数百万个代码片段上进行过预训练的序列到序列模型 CodeT5 作为特征提取的骨干网络。这利用了预训练知识来更好地理解代码语义，优于从头开始训练的模型。
- 嵌入（Insertion）： 编码器将原始代码特征与水印消息融合。两个解码器（ $S_{d1}$ 和 $S_{d2}$ ）预测语法变换（例如，循环类型、运算符替换）和变量重命名的概率。通过应用最可能的变换来生成带水印的代码。
- 对抗训练： 为了确保鲁棒性，系统在训练期间通过扰动变换概率分布来生成对抗变体。提取模块经过训练，能够从标准水印代码和这些对抗性变换后的版本中恢复消息。
- 训练目标： 系统进行端到端训练，以最小化三个损失函数：
  - 功能损失 ( $L_f$ )： 确保带水印的代码能够编译并执行，且与原始代码完全一致（使用特征近似网络 $R_f$ ）。
  - 可检测性损失 ( $L_d$ )： 最小化编码消息与提取消息之间的误差。
  - 鲁棒性损失 ( $L_r$ )： 最小化编码消息与从对抗样本中提取的消息之间的误差。
零知识验证 (ZKP)：
- 目标： 实现法律层面的所有权验证，而无需 LLM 所有者向仲裁机构泄露其秘密签名，从而保护签名的可重用性。
- 机制： RoSeMary 采用了基于 Halo2 zk-SNARK 系统的非交互式零知识证明（NIZK）。
- 流程：
  - LLM 所有者（证明者）生成一个证明，证明特定的带水印代码片段包含与其私钥匹配的有效签名，而无需泄露签名本身。
  - 仲裁者（验证者）使用公钥检查该证明。
- 优化措施： 为了使 ZKP 在神经网络推理中可行，作者实施了四项定制优化：
  1. 多项式近似： 使用多项式（ $x^2 + x$ ）取代 ReLU 激活函数，以避免昂贵的范围检查查找。
  2. 量化： 使用 Bfloat16 参数以减少内存开销。
  3. 定制 zkBER 电路： 一个专门的电路，用于在零知识证明内计算比特错误率（BER），将提取的消息绑定到二进制签名。
  4. 组合性： 将前馈电路和 BER 电路融合进单个计算图中，以减小证明大小并缩短验证时间。

核心贡献

RoSeMary 框架： 一种新型代码 LLM 水印系统，通过使用预训练的 CodeT5 骨干网络，共同优化可检测性、保真度和鲁棒性。
机密验证： 首次将定制化 ZKP 应用于代码水印，实现了无需披露签名即可进行所有权验证，从而解决了低熵代码中的可重用性问题。
对抗训练： 一种端到端的训练策略，显式地建模并防御变量重命名、重构以及重水印攻击。
系统级协同设计： 将 ML 和 Crypto 组件集成，并通过特定的优化（量化、多项式近似）来实现高效的证明生成与验证。

实验结果
评估是在 HumanEval、MBPP（Python, C++, Java）和 EvalPlus 基准测试上进行的：

可检测性与保真度： RoSeMary 在各项基准测试中实现了 0.97 的 AUROC，同时保持了 ~95-97% 的通过率（Pass Rate），在保真度方面显著优于基于推理的基准方法（KGW, SWEET），在可检测性方面优于神经基准方法（SrcMarker）。
鲁棒性： 在变量重命名（高达 50% 的变量）和基于 LLM 的重构攻击下，RoSeMary 保持了 0.73 以上的 AUROC，优于 SrcMarker 和 SWEET。它还展示了对重水印攻击的抵御能力。
ZKP 效率：
- 证明生成： 大约耗时 7.15 秒（由所有者承担的一次性成本）。
- 验证： 仲裁者验证时间约为 118.6 毫秒。
- 通信： 证明大小为 17.12 KB，验证密钥为 577.3 KB。
- 可扩展性： 验证时间在不同的编程语言（Python, Java, C++）和水印长度（4 到 16 位）之间保持统计学上的不变，但会随解码器宽度的增加而增加。

意义与主张
本文声称 RoSeMary 为实际的代码水印系统提供了一个平衡的解决方案。通过对 ML 和 Crypto 组件进行协同设计，它实现了：

高质量水印： 在保持代码功能性的同时，确保高检测率和针对常见攻击的鲁棒性。
签名可重用性： 消除了法律验证后需要重新编码水印的需求，这对于签名空间有限的低熵代码至关重要。
隐私保护验证： 允许第三方仲裁者在不接触专有签名的情况下进行合法的所有权验证，从而保护所有者的知识产权。

作者强调，虽然 ZKP 生成的计算量比标准推理要大，但它是每个制品的“一次性成本”，这使得整个系统在部署时是高效的。该框架被呈现为监管 LLM 生成内容并保护软件开发生命周期中知识产权的一种可行工具。

技术摘要：基于机器学习/密码学协同设计的鲁棒零知识可验证代码大语言模型（Code LLM）水印技术

类似论文