💻 computer science

Detection of LLM-assisted Code Plagiarism Using k-gram Software Birthmarks

本文证明了基于 Java 操作码的 k-gram 软件指纹在检测不同模型及相似度度量下的 LLM 辅助代码抄袭方面仍然有效，尽管面临着代码改写的挑战。

原作者： Nikolay Fedorov, Akito Monden, Hiroki Inayoshi, Haruaki Tamada, Masateru Tsunoda

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikolay Fedorov, Akito Monden, Hiroki Inayoshi, Haruaki Tamada, Masateru Tsunoda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一份美味蛋糕的秘密食谱。在过去，如果有人想偷走你的食谱，他们必须逐字逐句地抄袭。这很容易被发现，因为手写或打字的样式看起来会完全一样。

但现在，想象一下有一个超级聪明的机器人厨师（AI），它可以查看你的食谱，将其完全重写，并给出一个全新的版本，虽然看起来完全不同，但味道却一模一样。它改变了字体，把“糖”换成了“甜味剂”，重新排列了步骤，并使用了不同的量杯。在人类眼中，这看起来像是一个全新的食谱。这就是这篇论文所讨论的 LLM 辅助代码剽窃（LLM-assisted code plagiarism）。

以下是研究人员如何解决捕捉这些“机器人厨师”小偷的问题，其过程解释如下：

问题所在：“魔法”般的重写

软件开发人员编写代码（计算机指令）。大语言模型（LLMs）是能够对现有代码进行“改写”的 AI 工具。它们会改变代码的外观和结构，使其看起来大不相同，从而骗过传统的剽窃检测器（这些检测器寻找的是完全相同的单词或行）。程序执行的功能仍然完全相同，但看起来像是出自另一个人之手。

解决方案：“软件胎记”

研究人员并没有像人类那样去阅读重写后的代码。相反，他们使用了被称为 软件胎记（Software Birthmarks） 的技术。

把胎记想象成一个独特的指纹。即使你换了衣服、发型或眼镜，你的指纹依然保持不变。

他们是如何制作它的： 他们获取了计算机的“食谱”（代码），将其翻译成一系列基础的机器指令（称为操作码/opcodes），然后将它们切成每次 2 到 6 条指令的小块。
类比： 想象你有一个句子：“猫坐在垫子上。”
- 1-gram（1 个块） 只是单词：“猫”、“坐”、“在”……（太常见了；许多句子都有“在”这个词）。
- 2-gram（2 个块） 是配对：“猫坐”、“坐在”、“在垫”……（更具唯一性）。
- 3-gram 是三连组：“猫坐在”、“坐在垫上”……（甚至更具唯一性）。

他们将整个程序变成了一个由这些小块组成的“袋子”。即使 AI 重新排列了句子，这些特定类型的块（指纹）很可能仍然存在。

实验：谁是最好的小偷？

研究人员测试了三种不同的“机器人厨师”（AI 模型）：

ChatGPT-5.1-Codex-Mini
DeepSeek-V4-Flash
Claude-Haiku-4.5

他们提取了真实的开源 Java 程序，要求这些 AI 重写它们，然后尝试使用他们的“指纹”方法来抓捕这些 AI。他们还测试了比较指纹的不同方式（例如，计算有多少块匹配，以及顺序有多接近）。

研究结果：什么起作用了？

1. 块的大小至关重要（“金发姑娘”原则/适中原则）

太小（1 个块）： 这就像试图仅凭单词“的”来识别一个人。太多人使用它，所以它不是一个好的指纹。
太大（6 个块）： 这就像试图匹配整个段落。如果 AI 仅仅移动了一个句子，整个段落就无法匹配，指纹就会失效。
刚刚好（2 或 3 个块）： 这是最佳区间。这些小的指令组既足够独特，可以识别原始代码，又足够坚固，能够经受住 AI 重写的考验。

2. 比较方式很重要

顺序无关紧要： 研究人员发现，观察指令的顺序（比如检查步骤是否按完全相同的序列排列）是一个糟糕的主意。AI 把顺序打乱得非常厉害，以至于这种方法失败了。
计数才是关键： 最好的方法是简单地统计在原始代码和重写代码中出现了多少个独特的块，而不考虑顺序。这就像是在问：“这两个食谱是否都包含‘面粉’和‘鸡蛋’？”而不是问“他们是在加入面粉之前还是之后加入的鸡蛋？”

3. 哪个 AI 最难被抓到？

ChatGPT-5.1-Codex-Mini 是最狡猾的。它成功地进行了彻底的重写，使得它最难被检测到，同时它生成的代码仍然可以正常运行（编译无误）。
其他两个 AI（DeepSeek 和 Claude）更容易被抓到，因为它们的重写留下了更明显的“指纹”。

核心结论

尽管 AI 可以重写代码使其看起来完全不同，但它无法改变计算机思考方式的根本“DNA”。通过观察微小且独特的机器指令模式（胎记）并统计有多少个匹配项，即使小偷使用了超级聪明的机器人进行伪装，我们仍然可以抓住他们。

论文得出结论，这种方法在应对现代 AI 剽窃方面效果很好，特别是当使用较小的代码块（2 或 3 条指令）并专注于代码中“有什么”而非“在哪里”时。

技术摘要：利用 k-gram 软件指纹检测 LLM 辅助的代码剽窃

问题陈述
大语言模型（LLM）的快速发展降低了软件剽窃的技术门槛。与涉及直接复制代码的传统剽窃不同，现代威胁涉及“代码改写（code paraphrasing）”，即 LLM 在保留功能的同时，通过重写现有源代码来显著改变语法、结构、标识符和格式。这种能力允许攻击者生成语义相同的程序，从而规避传统的源代码相似度检测技术。此外，现实世界的剽窃通常涉及可执行产物而非源代码的重新分发，这使得基于源代码的检测方法失效。本文探讨了一个关键问题：软件指纹（software birthmarks）——即从可执行文件中提取的特征属性——在面对 LLM 辅助的代码改写时是否仍然有效。

研究方法
本研究采用了 k-gram 软件指纹技术，该技术将程序表示为一组唯一的连续 $k$ 个 Java 字节码指令（操作码/opcodes）序列。实验设计包含以下组件：

数据集： 研究人员从 GitHub 上活跃维护的、采用 BSD-2-Clause 许可协议的 Java 项目中策划了一个数据集。他们筛选了逻辑行数（LLC）在 30 到 1,000 之间的独立可编译源文件，以确保实现模块级的剽窃检测。最终数据集包含 352 个源文件。
LLM 模型： 使用了三种当代模型来生成源文件的改写版本：
- ChatGPT-5.1-Codex-Mini (OpenAI)
- DeepSeek-V4-Flash (DeepSeek)
- Claude-Haiku-4.5 (Anthropic)
- 提示策略： 明确指示这些模型在保持功能性并确保输出在不引入新依赖的情况下仍可编译的前提下，修改语法、格式和结构。
指纹提取： 对于每个文件，使用 Java 编译器和 javap 工具提取字节码，随后将其转换为操作码序列。生成 $k$ 值范围为 1 到 6 的唯一 k-gram。
相似度度量： 评估了五种用于比较指纹的相似度函数：
- 基于向量：余弦相似度（计数法 Count 和 TF-IDF）
- 基于集合：Dice 指数、Jaccard 系数和 Simpson 指数
- 基于序列：编辑距离（Levenshtein 距离）
评估指标： 性能通过**韧性（Resilience，检测剽窃代码的能力）和可信度（Credibility，区分独立代码的能力）**的调和平均值（Hmean）进行衡量。

核心贡献

实证调查： 本文首次针对通过改写产生的 LLM 生成代码克隆，对 k-gram 软件指纹进行了实证评估。
对比分析： 系统地比较了在现代 AI 辅助剽窃背景下，不同的 $k$ -gram 配置（ $k=1$ 到 $6$）和多种相似度函数的有效性。
模型特定见解： 研究分析了不同 LLM 导致检测难度差异的原因，强调了它们在代码转换能力上的变化。

实验结果

$k$ 的影响 (RQ1)： 检测性能高度依赖于 $k$ $k$ 的选择。
- 1-gram： 由于缺乏足够的结构信息，导致可信度较低，表现较差。
- 2-gram： 实现了最高的平均性能（Hmean = 0.830），在韧性和描述性之间提供了最佳平衡。
- 3-gram： 表现紧随 2-gram 之后（Hmean = 0.822）。
- 4-6-gram： 随着较大的 $k$ 值对 LLM 引入的结构修改过于敏感，性能逐渐下降。
相似度函数的影响 (RQ2)：
- 基于集合的方法（Dice, Simpson, Jaccard）显著优于其他方法。Dice 指数获得了最高的平均 Hmean（0.946）。
- **编辑距离（基于序列）**表现较差（Hmean = 0.276），因为代码改写经常改变指令的顺序，使得基于序列的比较失效。
- 余弦相似度（包括计数法和 TF-IDF）取得了较好的结果，但通常略低于 Dice 指数。
LLM 选择的影响 (RQ3)：
- ChatGPT-5.1-Codex-Mini 生成了最难检测的克隆（平均 Hmean 最低，为 0.8603），表明它在保持可编译性的同时进行了更广泛的转换。
- Claude-Haiku-4.5（Hmean = 0.9322）和 DeepSeek-V4-Flash（Hmean = 0.9258）生成的改写代码相对较易检测。
- 值得注意的是，生成最难检测代码的模型（ChatGPT）同时拥有最少的编译错误，这表明其具有高质量的转换能力。

意义与主张
本文声称，只要选择了合适的配置，k-gram 软件指纹在检测 LLM 辅助的剽窃方面仍然有效。具体而言，作者得出结论：

短操作码序列（特别是 $k=2$ ）在抵御转换能力与区分独立软件的能力之间提供了最优权衡。
基于集合的相似度度量（尤其是 Dice 指数）对于此任务优于基于序列的度量，因为它们侧重于共享元素的出现，而非容易被改写破坏的顺序。
LLM 的选择会显著影响可检测性，这意味着未来的检测系统必须考虑不同模型的不同转换能力。

作者保持了审慎的态度，指出虽然其发现对于 BSD-2-Clause Java 项目是稳健的，但对于其他许可协议或更复杂的剽窃策略的泛化仍需进一步研究。他们强调，在源代码相似度不再是可靠的盗窃指标的时代，其工作为基于可执行文件的剽窃检测奠定了基础。