💻 computer science

Project-wise Comparison of Software Birthmarks Using Weighted Partial Similarity

本文提出了一种基于项目的软件指纹比较框架，该框架采用加权聚合和部分相似性机制，以稳健地检测部分代码复用并减少由小型模块引起的误报，证明了其在多种开源 Java 项目中相较于现有方法的优越性能。

原作者： Nikolay Fedorov, Akito Monden, Hiroki Inayoshi, Haruaki Tamada, Masateru Tsunoda

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikolay Fedorov, Akito Monden, Hiroki Inayoshi, Haruaki Tamada, Masateru Tsunoda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解软件抄袭案的侦探。有人从一个开源项目中拿走了一段代码，稍作修改，便声称那是他自己的作品。你的任务是证明他偷窃了代码。

在过去，侦探们（研究人员）一次只看一个文件。他们会将项目 X 中的文件 A 与项目 Y 中的文件 B 进行比较。如果它们看起来相似，他们就会将其标记出来。

但现实世界的软件更像是一个庞大的图书馆，而不仅仅是一本书。一个项目可能拥有数千个文件。通常情况下，小偷只会从一本书中偷走一两个章节（模块），然后将它们放入他们自己的宏大百科全书中。如果你将整个百科全书与原著进行比较，被偷走的章节就会淹没在噪声之中。此外，有时两个完全不同的库可能会在一些通用的词汇（如“the”或“and”）上产生巧合，这可能会误导侦探，让他们误以为两本书是同一本。

这篇论文介绍了一种更聪明的方法来比较整个软件项目，以抓捕这些小偷。以下是他们是如何实现的，用简单的语言解释如下：

1. 问题所在：“大海捞针”与“虚假警报”

作者指出了旧方法带来的两个主要难题：

大海捞针（部分复用）： 如果一个项目有 1,000 个文件，而其中只有 10 个是被偷的，那么观察所有 1,000 个文件对的平均相似度会稀释证据。“被偷”的信号会被“干净”的文件所淹没。
虚假警报（偶然相似性）： 一些微小的、通用的文件（如一个简单的“Hello World”或一个基础的工具函数）可能会因为偶然而看起来相似。如果你将一个只有 5 行的小文件与一个拥有 5,000 行的大型文件同等对待，这个小文件可能会引发虚假警报，使两个原本无辜的项目看起来像是双胞胎。

2. 解决方案：两步走的侦探策略

作者提出了一个新的框架，它就像一个智能过滤器。他们不仅观察文件，还观察文件的权重并忽略噪声。

步骤 A：“权重秤”（加权）

想象你正在比较两篮水果。一篮里有一个巨大的西瓜，另一篮里有一个小葡萄。

旧方法： 将葡萄和西瓜都计为“1 件水果”。
新方法： 意识到西瓜要重要得多。它给西瓜一个很重的“权重”，给葡萄一个很轻的“权重”。

在他们的软件中，他们为较大的代码模块分配了更高的重要性。如果一个小文件看起来与另一个小文件相似，系统会说：“那可能只是个巧合；忽略它。”但如果一个巨大且复杂的文件看起来很相似，系统就会密切关注。这阻止了由微小的、通用的文件引起的“虚假警报”。

步骤 B：“前 1% 规则”（部分相似性）

想象你正在从一个拥有 1,000 首歌的播放列表中寻找一首特定的歌。你不想听完整个播放列表来寻找匹配项；你只想听到最像你目标对象的头几首歌。

旧方法： 计算两个项目之间所有文件对的平均相似度。
新方法： 说道：“让我们只看最相似的前 1% 到 5% 的文件对。”

通过只关注“最佳匹配”并忽略其余部分，该系统忽略了那些无关紧要的数千个文件。这使得即使被偷的代码只是一个庞大项目中的一小部分，也能更容易地发现这个“针头”。

3. 实验：测试新侦探

为了证明这套方法有效，研究人员建立了一个测试实验室：

测试对象： 他们从 GitHub 上收集了 35 个真实的 Java 项目（如媒体播放器、文本编辑器和测试工具）。
设置： 他们将同一个项目的不同版本视为“被盗”案例（因为新版本只是带有更改的旧版本）。他们将同一类别中的不同项目（例如，两个不同的媒体播放器）视为“无辜”案例。
衡量指标： 他们测量了两件事：
1. 韧性（Resilience）： 即使小偷修改了代码，它是否仍能找到“被盗”的代码？
2. 可信度（Credibility）： 当两个项目实际上不同时，它能否正确地说“不，这两个是不同的”？

4. 结果：新方法胜出

结果非常明确：

新方法（加权 + 前 1% 聚焦）比所有现有方法都显著更好。
它非常稳定（结果一致），且极少出错。
有趣的是，他们发现对称性很重要。如果你将项目 A 与项目 B 进行比较，那么将 B 与 A 进行比较时，得分也应该是相同的。他们的新方法确保了这种平衡，而旧方法则未能做到这一点。
他们还发现，编辑距离（一种衡量将一个字符串转换为另一个字符串需要进行多少次更改的方法）是比较实际代码片段的最佳工具。

核心结论

这篇论文不仅仅是在说“我们找到了更好的计数方法”。它是在说：“要抓住一个只从图书馆里偷走了几页书的小偷，你需要忽略那些微小的、通用的页面，转而关注那些与目标匹配的、沉重且复杂的章节。”

通过赋予大文件更多权重并只关注最匹配的部分，这个新框架使得窃贼很难将他们的窃取行为隐藏在浩如烟海的代码中，也让无辜的项目很难被诬陷。

技术摘要：基于加权部分相似性的项目间软件特征码比较

问题陈述
软件特征码（Software birthmarks）是用于检测抄袭和未经授权代码重用的程序内在特性。虽然现有的模块级相似度度量方法在处理单个源文件或类文件时非常有效，但在由众多模块组成的规模化、真实世界软件生态系统中，这些方法却显得力不从心。在将模块级比较聚合到项目级时，存在两个主要挑战：

部分重用（Partial Reuse）： 在许多情况下，项目中只有一部分模块被重用，而大部分模块则无关。统一聚合所有模块对会稀释实际重用的信号。
偶然相似性（Incidental Similarity）： 小型或通用的模块在无关项目之间往往会由于偶然因素表现出高相似度。如果将这些“噪声”匹配与大型模块同等对待，会导致误报，从而损害检测的可信度。

目前的项目级方法通常未能系统地解决这些问题，缺乏区分有意义的部分重用与偶然噪声的稳健机制。

方法论
作者提出了一种项目级特征码比较框架，通过两种互补机制来聚合模块级相似度：加权聚合与部分相似性。

对称聚合（Symmetric Aggregation, SA）： 该框架建立了一个基准对称聚合方法。与以往的非对称方法不同，SA 计算 Project A 中每个模块相对于 Project B 的最高相似度得分的平均值，以及 Project B 中每个模块相对于 Project A 的最高相似度得分的平均值。这确保了相似度得分与输入顺序无关。
权重分配： 为了减轻来自小型模块的偶然相似性，作者根据模块大小（具体为 $k$ -gram 的数量）为模块分配权重。应用对数变换（ $W = \ln(K)$ ）来压缩权重范围，既防止了极大型模块主导评分，又降低了小型噪声模块的影响。两个模块之间的最终加权相似度是它们的原始相似度与其归一化权重最小值的乘积。
部分相似性（Partial Similarity）： 为了解决部分重用问题，该框架仅关注模块对中最高加权相似度得分的前 $\alpha\%$ 部分。通过忽略大部分无关的模块对，该方法强调了最相关的重用组件。
评估指标： 性能通过韧性（Resilience）（即在代码被修改后仍能检测出重用代码的能力）和可信度（Credibility）（即区分独立开发项目的能力）进行评估。两者通过其调和平均值（ $H_{mean}$ ）结合，以确保在检测真阳性和避免假阳性之间取得平衡。

实验设置
本研究利用了一个包含 10 个类别、共 35 个开源 Java 项目的数据集。重用案例通过比较同一项目的不同版本来模拟，而非重用案例通过比较同一类别中的不同项目来构建。实验采用静态 $k$ -gram 特征码，并评估了各种模块间相似度函数（如 Cosine、Jaccard、编辑距离）及参数配置。

关键结果

所提方法的优越性： 所提出的方法（结合了权重和部分相似性，且范围为 1%）一致优于现有方法，包括 Lee 等人的基准方法以及之前的聚合相似度变体。它实现了最高的中位数 $H_{mean}$ (0.9728) 且方差较低。
权重的必要性： 权重至关重要。当应用部分相似性而不使用权重时，性能会显著下降（在某些配置下甚至低于随机相似度），因为小型模块主导了排名靠前的模块对。权重抑制了这种噪声，使结果趋于稳定。
部分相似性的有效性： 关注一小部分高相似度的模块对（例如前 1% 或 5%）比考虑所有模块对效果更好。这证实了忽略无关模块对于检测部分重用是必不可少的。
最优配置： 最佳性能是在较小的比较范围（1–5%）、较大的 $k$ -gram 大小（3–4）以及**编辑距离（Edit Distance）**相似度函数下实现的，该函数在测试的所有函数中表现出了最高的准确性和稳定性。
对称聚合基准： 即使不使用权重或部分相似性，对称聚合公式本身也优于现有的非对称方法，为项目级比较提供了坚实的基础。

意义与主张
本文声称建立了一个稳健的框架，用于进行项目级特征码比较，解决了大规模系统中模块级分析的特定局限性。作者断言：

项目级相似度是进行大规模抄袭检测第一阶段（检索）的必要组成部分，该阶段位于详细的模块级验证之前。
基于大小的权重分配与部分相似性的结合是一种互补机制，能够共同提高对代码修改的韧性以及区分无关项目的可信度。
有效的项目级相似度并不需要复杂的匹配策略；相反，将对称聚合、大小感知权重和对高相似对的选择性关注相结合，提供了一个实用且稳健的解决方案。
所提出的框架具有通用性，适用于各种类型的特征码，尽管本研究专门使用 Java 项目的静态 $k$ -gram 特征码对其进行了验证。

作者承认了局限性，指出数据集由开源 Java 项目组成，且未包含确认的现实世界抄袭案例或对抗性混淆的代码。他们将这项工作定位为对相似度聚合策略的系统性评估，并计划在未来将其扩展到其他语言，并研究其针对混淆的鲁棒性。