Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark

本文通过发布一个包含超过 110 万个步骤的大规模、跨组织的基准测试，并引入一种结合了精确、词汇和语义方法的改写鲁棒检测器，以识别并量化显著的可消除冗余，从而解决了行为驱动开发中重复 Gherkin 步骤的维护成本问题。

要点

想象一下，你是一位规模宏大的协作式食谱编辑。成千上万来自不同厨房的厨师都为之贡献了食谱。随着时间的推移，你注意到一个问题：同样的指令一遍又一遍地出现，只是写法略有不同。

一位厨师写道：“加入两杯面粉。”
另一位写道：“加入 2 杯面粉。”
第三位写道：“放入 2 杯面粉。”

在软件测试的世界里，这些指令被称为 Gherkin 步骤（Gherkin steps）。它们是告诉计算机如何测试一段软件的“食谱”。问题在于，当这些指令被重复使用或稍作改写时，维护起来就会变成一场噩梦。如果你需要更改一个步骤（比如将“加入面粉”改为“加入杏仁粉”），你可能不得不追踪并修改成千上万个副本，而不是只修改一个。

这篇题为 《规模化中的既视感》（Déjà Vu at Scale） 的论文，讲述了如何构建一个超级智能的工具来发现这些重复项（即使它们的写法略有不同），并创建了一个巨大的示例库来证明该工具的有效性。

以下是他们工作的拆解，使用了简单的类比：

1. 问题所在：“既视感”效应

作者发现，在软件世界中，重复现象无处不在。他们研究了 347 个不同的软件项目（就像 347 本不同的食谱），发现了超过 110 万条指令。

• 数据统计： 他们发现，这些指令中有 80% 是其他指令的精确副本。
• 痛点： 如果一家公司想要修复一个拼写错误或更改一条规则，他们可能需要编辑数千个文件。这就像是在一本食谱中更新一个配方，而这个配方被写在了 1,000 个不同页面的 1,000 本书里。

2. 解决方案：一位“聪明的图书管理员”

作者构建了一个名为 cukereuse 的工具。你可以把这个工具想象成一位超级图书管理员，他能够阅读指令并理解“加入 2 杯”和“加入两杯”是同一回事，即使拼写或空格有所不同。

他们不仅仅使用了一种技巧，而是使用了四层防御系统来捕捉重复项：

1. 精确匹配（The Exact Match）： 如果两条指令完全相同，甚至连最后一个字母都一致（就像两份复印件），它能瞬间捕捉到。
2. “近似”匹配（The "Almost" Match）： 如果指令有 90% 相同（例如“加入 2 杯”与“加入两杯”），它也能捕捉到。
3. “语义”匹配（The "Meaning" Match）： 这是最聪明的部分。它利用人工智能（称为句子转换器/Sentence Transformers）来理解含义。它知道“用户点击按钮”和“由用户点击按钮”意思是一样的，即使单词完全不同。
4. 混合匹配（The Hybrid）： 它结合了“近似”和“语义”检查，以确保万无一失。

3. 证明过程：“金标准”测试

为了证明他们的图书管理员确实很出色，他们并没有凭空猜测。他们创建了一个巨大的测试集：

• 他们提取了 1,020 对 指令。
• 三位不同的评审人员（即作者本人）手动阅读了这些指令，并判定：“它们是重复的吗？”
• 他们确保所有人的判断达成了一致（一个被称为 Fleiss' κ = 0.84 的高分，这就像是一组评委在比赛中对胜者达成高度共识）。
• 结果： 他们的“语义匹配”工具表现得非常好，但“近似匹配”工具是最可靠且诚实的，它在没有被测试规则误导的情况下，正确识别了约 82% 的重复项。

4. 重大发现：“整合”带来的节省

这篇论文中最令人兴奋的部分是他们对节省成本进行的数学计算。

• 他们发现，在典型的软件项目中，你可以删除大约 62.5% 的重复指令，并用一个“主指令”来替换它们。
• 类比： 想象你有一本 100 页的食谱。在使用这个工具后，你发现你其实只需要 37 页独特的页面。其他的 63 页只是副本。你可以把它们扔掉，让这本书变得更薄、更容易管理。
• 他们将此与 ISO/IEC 25010 联系起来，这基本上是关于“优秀软件”的全球规则手册。他们展示了清理这些重复项可以使软件更容易更改（可维护性）且不易出错（可靠性）。

5. 他们向世界发布了什么

作者并没有将他们的发现据为己有。他们发布了一个“入门包”，供任何想要进行此类研究的人使用：

• 数据： 来自公共软件项目的 110 万条真实世界指令的海量集合。
• 测试： 带有“金标准”答案的 1,020 对指令。
• 工具： 用于查找重复项的实际软件代码 (cukereuse)。
• 规则： 关于他们如何判定什么是重复项的指南手册。

总结

简而言之，这篇论文指出：“软件测试指令中充满了不必要的重复，导致难以管理。我们构建了一个智能工具来寻找这些重复项（即使它们的写法不同），通过大规模高质量测试证明了其有效性，并表明解决这个问题可以为软件团队节省大量的时间和精力。我们将所有的工具和数据免费提供，以便他人使用。”

他们并没有声称：

• 他们没有准确说明这能节省多少钱（因为每家公司的薪酬体系不同）。
• 他们没有说这能解决所有的软件质量问题，仅针对重复指令这一特定问题。
• 他们没有声称其工具适用于私有的、机密的商业数据（因为他们只研究了公开数据）。

技术摘要

技术摘要：大规模的“既视感”（Déjà Vu at Scale）

问题陈述
使用 Gherkin 语言编写的行为驱动开发（BDD）测试套件经常会出现步骤文本（step-text）重复的问题。已有研究表明，这种重复会带来显著的维护成本，特别是当步骤定义需要在多个出现处进行重命名或重构时。现有的检测技术存在关键局限性：动态方法（例如 Binamungu 等人，2018–2023）需要可运行的测试套件，这使得跨仓库规模的应用变得不可行；静态方法（例如 Irshad 等人，2020–2022）通常局限于单个组织，或缺乏步骤级的粒度。因此，目前存在一个研究空白，即需要一种纯静态、对释义（paraphrase）具有鲁棒性、适用于任何仓库的步骤级检测器，并辅以用于校准的公开基准测试。

方法论
作者提出了 cukereuse，这是一个静态分析工具及相关的实证研究。该方法论围绕三个核心组件构建：

1. 语料库构建：

   • 发现： 利用 GitHub REST Search API，作者识别了包含 Gherkin 文件的仓库，筛选条件为星标数 $\ge$10 且排除已归档的项目。
   • 实例化： 通过稀疏克隆（sparse-cloned）获取了 347 个仓库，共计 23,667 个解析后的 .feature 文件和 1,113,616 个 Gherkin 步骤。
   • 身份定义： 一个步骤的身份被定义为其经过空白符压缩后的文本的 BLAKE2b 哈希值，其中排除了关键字（Given/When/Then）和附加参数（DocStrings/DataTables），但保留了参数和字面量。这模拟了 Cucumber 运行时的解析逻辑。

2. 检测策略：
   该工具沿精度/计算成本的前沿部署了四种策略：

   • 精确（Exact）： 对归一化文本进行 BLAKE2b 哈希处理。
   • 近乎精确（Near-Exact）： 归一化 Levenshtein 比率。
   • 语义（Semantic）： Sentence-BERT (SBERT) 余弦相似度。
   • 混合（Hybrid）： 结合 SBERT 余弦相似度与 Levenshtein 带状护栏（Levenshtein-band guard）以过滤噪声。

3. 评估与基准测试：

   • 标记基准： 一个包含 1,020 个步骤对的数据集由三位作者使用共享准则进行人工标注（在 60 对重叠样本上的 Fleiss' $\kappa$ = 0.84）。
   • 循环控制（Circularity Control）： 为了解决基于评分的准则规则（R1–R3）可能导致检测器产生偏差的威胁，引入了一种“无分值”二次标注协议。该协议使用确定性的文本改写规则（例如：标记多重集恒等、子序列包含关系），而不访问相似度得分。
   • 基准线（Baselines）： 研究将提出的策略与两种经典的词法基准进行了比较：Token-set Jaccard（类 SourcererCC 风格）和 TF-IDF 字符 n-gram 余弦（类 NiCad 风格）。

核心贡献

1. 最大的跨组织语料库： 一个包含 110 万个 Gherkin 步骤、跨越 347 个仓库的数据集，附带 SPDX 许可标签和 Gebru 风格的数据表（datasheet）。
2. 首个公开 BDD 基准测试： 一个具有高标注者一致性的 1,020 对标记基准，专门用于校准重复检测器。
3. 无分值重标注协议： 一项旨在限制基于得分的检测器与基于得分的评估准则之间循环影响的方法论贡献。
4. 整合节省模型（Consolidation-Savings Model）： 一个将检测到的聚类映射到 ISO/IEC 25010 质量特性（特别是可维护性子特性，如可修改性和可重用性）的定量模型。
5. 开源工具集： cukereuse 工具、分析流水线及所有制品均以宽松许可协议发布。

结果

• 重复现象普遍性： 步骤加权的精确重复率为 80.2%。中位数仓库的重复率为 58.6%。最频繁的混合聚类（“the response status is 200 OK”）在 2,245 个文件中出现了 20,737 次。
• 检测性能：
  • 在主要准则下，语义策略实现了 0.906 的 F1 值，但这被认定为一种分层伪影（由于准则规则导致召回率 = 1.000）。
  • 在无分值重标注（即“诚实”指标）下，**近乎精确（Levenshtein）**策略表现最佳，F1 值为 0.822。
  • 语义策略在无分值标签下的 F1 值降至 0.772，而词法基准（Jaccard 为 0.761，TF-IDF 为 0.799）的表现也处于同一水平。
• 整合潜力： 该模型估计，893,357 个步骤文本出现次数（约占语料库的 80%）在精确匹配下是可以进行整合的。在一个中位数仓库中，62.5% 的步骤行是可以消除的。

意义与主张
本文声称通过提供第一个静态、对释义具有鲁棒性、跨组织的重复步骤检测器，填补了一个具体且可衡量的 BDD 质量工具空白。其意义不在于声称解决了所有 BDD 质量问题，而在于提供了必要的经验制品（语料库、基准测试和工具），以支持未来的研究和实际应用。

作者明确指出，检测到的聚类映射到 ISO/IEC 25010 的可维护性子特性（可修改性、模块化、可重用性、可分析性、可测试性），并间接通过防止漂移映射到可靠性。然而，论文在经济影响方面保持了谦逊：它量化了“可消除表面”（文本行），但并未将这些数字转化为货币节省或人时，并指出这种转化需要针对特定组织的成本校准，这超出了所发布数据的范围。这项工作作为基础基准和工具集，旨在供社区复制、扩展并应用于各自的代码库。