🤖 machine learning

SWaRL: Safeguard Code Watermarking via Reinforcement Learning

SWaRL 是一个稳健且保真的代码水印框架，它利用带有编译器反馈的强化学习和一个保密验证器，在大型语言模型生成的代码中嵌入可验证的签名，从而在保持功能正确性的同时确保强大的检测准确性和对攻击的鲁棒性。

原作者： Neusha Javidnia, Ruisi Zhang, Ashish Kundu, Farinaz Koushanfar

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Neusha Javidnia, Ruisi Zhang, Ashish Kundu, Farinaz Koushanfar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位主厨，多年来致力于完善一款世界最佳披萨的秘制配方。你开了一家餐厅，顾客可以点一片披萨，端上来的披萨美味可口。但有个问题：顾客可以拍下披萨的照片，复制配方，并将其作为自己的成果出售。或者，一位竞争对手可以潜入厨房，更改几种配料，然后声称这个新版本是他们的。

在人工智能领域，"代码大语言模型（Code LLMs）"就像那些主厨。它们是强大的计算机，为我们编写计算机代码（即软件的配方）。但就像你的披萨一样，它们生成的代码是宝贵的知识产权。如果有人窃取它，或稍作修改以掩盖其来源，原创者就会失去署名权和掌控权。

本文介绍了SWaRL，这是一个旨在解决该问题的新系统。可以将 SWaRL 想象为主厨在披萨离开厨房前，贴在每一片披萨上的魔法隐形印章。这个印章极其微妙，披萨的味道完全不变，但如果你拥有正确的“印章检测器”，就能百分之百地证明这片披萨出自你的厨房。

以下是 SWaRL 的工作原理，分解为简单概念：

1. 旧式印章的问题

在 SWaRL 出现之前，主要有两种给代码盖章的方式：

“重手”方法：想象主厨强行让披萨呈现出一种怪异、可见的饼边形状，以此证明它是自己的。这往往会让披萨难以下咽（代码会出错或无法运行）。
“人工规则”方法：想象主厨遵循一份严格的规则清单，例如“如果单词'loop'出现，就总是多加一片意大利辣香肠”。聪明的窃贼很容易找出这些规则，并重新排列披萨（重构代码），在不改变味道的情况下移除辣香肠。

2. SWaRL 解决方案：智能训练营

SWaRL 的不同之处在于，它不只是遵循规则；它通过一种称为强化学习的过程，学习如何完美地为代码盖章。

可以将这想象成 AI 主厨的训练营：

目标：主厨必须制作出既（1）味道完美（运行正确）又（2）带有隐形印章的披萨。
教练（奖励系统）：主厨尝试制作披萨。两位评委进行检查：
1. 味觉测试员：代码是否真的能运行？如果代码崩溃，主厨得分低。
2. 印章侦探：能否找到隐形印章？如果印章缺失，主厨得分低。
学习循环：主厨尝试许多不同版本的披萨。如果某个版本味道好且带有印章，主厨就会获得高分并学会重复这一做法。如果它出错或丢失了印章，主厨就会学会避免这样做。

3. 秘密武器："LoRA"（轻量级适配器）

通常，教会一个巨型 AI 主厨新技巧需要重建整个厨房，这既昂贵又缓慢。SWaRL 使用了一种称为LoRA（低秩自适应）的技术。

想象一下，与其重建整个厨房，不如给主厨一条特殊的、极小的围裙。这条围裙上印有隐形印章的指令。主厨将这条围裙穿在正常衣服外面。

为何出色：它便宜、快速，如果主厨以后换了新围裙，也很容易更换。它不会改变主厨的核心个性，只是增加了盖章的技能。

4. 为何难以作弊（鲁棒性）

该论文针对试图移除印章的“窃贼”测试了 SWaRL。

“重排”攻击：窃贼获取代码并重新编写，更改变量名或移动代码行（就像重新排列披萨上的配料）。
结果：旧方法（如“人工规则”方法）在代码被重排后失效；印章消失了。然而，SWaRL 学会了为代码的本质盖章，而不仅仅是表面。即使代码被大幅重排，隐形印章仍然可被检测到。

5. 核心结论

该论文声称，SWaRL 兼具两者之长：

运行完美：SWaRL 生成的代码通过测试的表现与未加水印的代码一样好（有时甚至更好，因为训练过程迫使 AI 更加谨慎）。
难以移除：水印在尝试重写或重构代码后依然幸存。
快速：添加印章不会减慢代码生成速度，而检查印章则极其迅速。

简而言之，SWaRL 教会 AI 代码生成器自动在其作品中嵌入“数字指纹”。这个指纹证明了代码的制作者，能在试图抹除它的行动中幸存，且不会破坏代码本身的质量。

技术摘要：SWaRL – 通过强化学习实现代码水印保护

1. 问题陈述

代码大型语言模型（LLMs）的普及加速了软件开发，但也给知识产权保护（IP）和代码问责制带来了重大挑战。这些模型生成的高质量代码可能在未注明出处的情况下被重新分发或修改，从而掩盖了其来源。此外，恶意行为者可以利用这些模型生成混淆或存在漏洞的代码，增加了取证分析的复杂性。

现有的代码水印方法在功能正确性和水印鲁棒性之间面临根本性的权衡：

基于推理的方法（例如，“绿色/红色”令牌列表）在生成过程中操纵令牌概率。虽然它们不需要模型更新，但往往会降低代码保真度，导致语法错误或功能失效。
基于神经的方法依赖于手工设计的转换规则（例如，变量重命名、语法重构）来嵌入签名。虽然它们能更好地保留功能，但容易受到系统性重构代码的“重构攻击”，并且缺乏对新语法模式的泛化能力。

因此，需要一种框架，能够自动对齐代码大语言模型以生成功能正确的代码并嵌入可验证的水印，同时不依赖手动转换规则或牺牲代码质量。

2. 方法论：SWaRL

SWaRL 是一个鲁棒的、保真度保持的水印框架，它采用**强化学习（RL）**来协同训练代码生成模型（Actor）和水印检测器。

核心组件

Actor 模型（代码 LLM）： 一个基础 LLM（例如 Qwen2.5-Coder），经过微调以生成满足两个目标的代码：通过功能单元测试并嵌入可检测的水印签名。
水印检测器（奖励模型）： 一个可训练的神经网络（基于 CodeBERT），充当奖励信号。它能够区分由 Actor 生成的带水印代码和未带水印的参考代码。
低秩自适应（LoRA）： 为了确保计算效率和模块化，SWaRL 通过小型可训练的低秩矩阵将水印行为注入到 Actor 的线性层中，而不是微调所有参数。

优化框架：GRPO

SWaRL 利用组相对策略优化（GRPO），一种轻量级的 RL 算法，来优化 Actor。该过程包括：

采样： 对于给定的提示，Actor 生成一组 $G$ 个候选代码输出。
混合奖励计算： 每个候选 $\tau$ $τ$ 使用复合奖励函数 $R(\tau)$ $R (τ)$ 进行评分：
$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$
- 水印奖励（ $R_{wm}$ ）： 冻结的检测器模型 $D(\tau; \theta_d)$ 的输出，估计代码带有水印的可能性。
- 执行奖励（ $R_{exec}$ ）： 代码通过一系列单元测试的通过率，确保功能正确性。
- KL 散度惩罚： 约束策略保持在参考模型附近，以防止分布漂移并确保训练稳定。
策略更新： Actor 使用基于组内候选项相对优势的策略梯度目标进行更新。
协同训练： 水印检测器定期解冻，并在 Actor 的最新输出和参考代码的混合数据上进行微调。这确保检测器与不断演变的生成策略保持一致，防止 Actor“破解”静态检测器。

部署

在推理阶段，LoRA 适配器与基础模型合并。该系统作为标准的代码生成 API 运行，生成自然、可执行的代码。授权方可以使用训练好的检测器来验证任何代码片段的来源，而无需访问原始模型或重新训练。

3. 主要贡献

论文声称以下贡献：

SWaRL 框架： 引入了一种基于 RL 的水印框架，自动对齐代码 LLM 以生成功能正确且嵌入签名的代码，消除了对手工设计转换规则的需求。
算法集成：
- 利用GRPO联合优化功能正确性、水印可检测性以及对重构攻击的鲁棒性。
- 集成LoRA，为向基础 LLM 注入水印行为提供了一种模块化、轻量级的机制。
性能优越性： 证明 SWaRL 在保持现有基线中最高的代码生成准确性的同时，实现了最先进的可检测性。它在通过率方面始终优于非水印的有监督微调（SFT）基线，并在鲁棒性方面优于先前的水印方法。

4. 实验结果

实验在HumanEval、MBPP及其扩展变体（HumanEval+、MBPP+）上进行，将 SWaRL 与以下基线进行了比较：无水印（Base+SFT）、EXP-edit、WLLM和SWEET。

功能正确性

在所有基准测试中，SWaRL 在水印方法中取得了最高的Pass@1和Pass@10分数。
值得注意的是，SWaRL 在几种设置中超过了非水印的 SFT 基线（例如，HumanEval Pass@1 从 55.23% 提高到 58.22%），这表明 RL 目标起到了语法有效性额外对齐阶段的作用。
相比之下，统计方法如 WLLM 和 SWEET 显著降低了功能正确性（例如，WLLM 将 HumanEval Pass@1 降至 30.82%）。

水印可检测性

SWaRL 实现了强大的AUROC分数（例如，MBPP 上为 0.908），在可检测性和保真度之间的平衡优于先前的方法。
虽然 WLLM 和 SWEET 显示出较高的 AUROC，但这是以牺牲代码功能为代价的。EXP-edit 保留了功能，但可检测性较弱（在某些数据集上接近随机猜测）。

对攻击的鲁棒性

重构攻击： 当代码由外部 LLM（Qwen2.5-3B 和 DeepSeek-Coder-7B）重构时，SWaRL 表现出最低的 AUROC 下降。
- 在最强攻击下（MBPP 上的 DS 攻击），SWaRL 仅显示出**2.21%**的下降，而 WLLM 和 SWEET 则为 14–17%。
变量重命名： 即使 50% 的标识符被重命名，SWaRL 仍保持高 AUROC，而基于令牌的方（WLLM、SWEET）则遭受显著的性能下降。

效率

生成延迟： SWaRL 引入了最小的开销（0.039 秒/令牌），与统计方法相当。
检测延迟： SWaRL 实现了最快的检测时间（0.0002 秒/令牌），显著优于 EXP-edit（0.588 秒/令牌）和统计方法。

5. 意义与主张

论文将 SWaRL 定位为 AI 辅助编程中归属和所有权验证的实用且可扩展的解决方案。其意义在于解决了代码效用与安全性之间的传统权衡：

保真度保持： 与破坏语法的基于推理的方法不同，SWaRL 确保生成的代码功能正确并通过单元测试。
鲁棒性： 通过 RL 学习一致的水印生成行为，而不是依赖静态规则，SWaRL 能够抵御通常击败基于规则或基于令牌的水印的系统性重构和对抗性转换。
效率： LoRA 和轻量级检测器的使用确保了该框架在计算上可行，适用于现实世界的部署，而不会产生大量的推理开销。

作者得出结论，SWaRL 能够在不改变用户工作流程或降低生成代码质量的情况下，实现可靠的来源追踪和知识产权保护。

6. 局限性与未来工作

论文承认了具体的局限性，并概述了未来的方向：

二进制级水印： 当前实现针对源代码；扩展到编译后的二进制代码是一个潜在的未来扩展。
仓库级范围： 目前的评估是在函数级别进行的。作者指出，仓库级水印尚未被探索，这构成了一个更大的对抗性修改空间，需要进一步研究。