💻 computer science

Requirements Coverage-Guided Minimization for Natural Language Test Cases

本文提出了一种名为 RTM 的需求覆盖导向测试用例最小化方法，该方法通过结合文本嵌入、距离度量与遗传算法，在确保需求全覆盖和最小化预算的前提下，有效消除了自然语言测试用例中的冗余并显著提升了故障检测率。

原作者： Rongqi Pan, Feifei Niu, Lionel C. Briand, Hanyang Hu

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Rongqi Pan, Feifei Niu, Lionel C. Briand, Hanyang Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于**如何给软件测试“减肥”**的论文。想象一下，你正在为一家汽车公司（比如制造自动驾驶汽车）管理一个巨大的测试团队。

🚗 背景：为什么需要“减肥”？

想象你开了一家巨大的餐厅（汽车系统），为了确保每一道菜（功能）都完美无缺，你雇佣了 736 位试吃员（测试用例）。

问题：随着时间推移，试吃员越来越多。有些试吃员其实是在尝同一道菜，或者用几乎一样的方式尝（冗余）。
后果：让 736 个人都去试吃，既浪费钱又浪费时间，而且老板（项目进度）等不起。
目标：我们需要把试吃员团队缩小（比如减到 50%），但必须保证：
1. 每一道菜（需求）都有人尝过（不能漏掉任何功能）。
2. 尝出坏菜的能力（发现故障）不能下降。

以前的方法要么太笨（随机砍人），要么太死板（只看代码结构），没法处理这种“用自然语言写的测试步骤”。

💡 核心方案：RTM（需求导向的“智能瘦身法”）

作者提出了一种叫 RTM 的新方法。我们可以把它想象成一个超级精明的“选角导演”。

1. 把“文字”变成“数字指纹” (文本嵌入)

测试用例是用自然语言写的（比如：“步骤 1：设置变量 A=1"）。导演不能直接读几千页文档，他需要把每段文字变成一串数字指纹（向量）。

就像把每个人的长相、声音、性格变成一组数据。
作者尝试了 7 种不同的“翻译器”（比如 TF-IDF、Word2Vec 等），看哪种能把文字最准确地变成数字。
有趣发现：对于这种格式非常固定的汽车测试（像填表格一样），最简单的“词频统计法”（TF-IDF）反而比那些高深的“人工智能大模型”更管用。因为测试步骤里的区别往往就在几个变量名上，简单的统计能精准抓住这些差异。

2. 计算“相似度” (距离函数)

导演需要知道哪两个试吃员太像了。

如果试吃员 A 和试吃员 B 的“指纹”几乎一样，说明他们干的活重复了。
算法会计算每两个人之间的距离。距离越近，越相似；距离越远，越互补。

3. 进化算法 (遗传算法 GA) —— “优胜劣汰”

这是最精彩的部分。导演不是一次性选好人，而是玩一个模拟进化游戏：

初始阵容：先随机选出一批人，但必须保证每道菜都有人尝（满足需求覆盖）。
繁殖与变异：让不同的阵容互相“杂交”（交换人员），或者随机“突变”（换掉一个人）。
筛选：每一轮结束后，计算哪个阵容最省钱（人数少）且最多样（人员之间差异大，不重复干活）。
结果：经过几十轮的“优胜劣汰”，最终留下一个最精简、最全能的精英团队。

🏆 实验结果：它真的好用吗？

作者用真实的汽车系统数据（736 个测试用例，54 个需求）做了实验：

发现故障更多：在同样的预算下（比如只留 50% 的人），RTM 选出的团队比随机选人、或者用其他旧方法选出的团队，能发现更多的故障。
绝不漏掉需求：无论怎么减，RTM 保证100% 的需求都有人测试。这是很多旧方法做不到的（它们为了省钱可能会漏掉某些冷门功能）。
速度够快：虽然它要算很多遍，但在现代电脑上，处理几百个测试用例只需要几秒钟。即使未来有 20 万个测试用例，它也能在合理时间内完成，不会卡死。
冗余度越高，效果越好：如果原来的团队里“水货”（重复的人）很多，RTM 的“瘦身”效果就越惊人，因为它能精准地把那些重复的人剔除掉。

🌟 总结与比喻

如果把软件测试比作整理一个巨大的图书馆：

旧方法：可能是随机扔掉一半书，或者只扔掉封面一样的书。结果可能扔掉了重要的书，或者留下了很多内容重复的书。
RTM 方法：
- 它先给每本书生成一个内容指纹。
- 然后它像最挑剔的图书管理员一样，通过“进化游戏”不断尝试组合。
- 最终，它只留下最少数量的书，但保证每一类知识（需求）都有，而且留下的书内容差异最大（能发现最多的问题）。

一句话总结：
RTM 是一种智能的、基于自然语言理解的测试瘦身工具。它能在保证不遗漏任何功能的前提下，帮你把庞大的测试团队精简到最干练的状态，从而省钱、省时，还能更有效地发现 Bug。这对于像汽车、航空等对安全要求极高的行业来说，是一个巨大的进步。

这是一份关于论文《Requirements Coverage-Guided Minimization for Natural Language Test Cases》（面向自然语言测试用例的需求覆盖引导最小化）的详细技术总结。

1. 研究背景与问题定义 (Problem Definition)

背景：
在软件系统（特别是汽车等安全关键系统）的演进过程中，测试套件往往随着需求增加而膨胀，导致大量冗余。冗余不仅增加了测试的时间、成本和资源消耗，还使得维护变得困难。在功能安全（如 ISO 26262）至关重要的领域，测试用例通常以自然语言（遵循特定模板）编写，并在实施前追溯到具体需求。

核心问题：
现有的测试套件最小化（Test Suite Minimization, TSM）技术大多基于代码结构覆盖率（如语句覆盖、分支覆盖），难以直接应用于基于自然语言的需求驱动测试。此外，工业界面临一个关键约束：必须在固定的最小化预算（即保留特定比例的测试用例）下，同时保证 100% 的需求覆盖率。现有的解决方案往往无法同时满足这两个条件（要么牺牲覆盖率，要么无法在固定预算下优化）。

形式化定义：
给定测试套件 $T$ 、需求集 $R$ 和最小化预算 $M$ ，目标是找到一个子集 $T' \subseteq T$ ，使得：

规模约束： $|T'| = \max(|R|, \lfloor M \cdot |T| \rfloor)$ （即测试用例数量由预算决定，但不得少于需求数量）。
覆盖约束： $T'$ 必须覆盖所有需求 ( $\bigcup Cover(t) = R$ )。
优化目标：最小化 $T'$ 中测试用例对之间的相似度总和，以最大化多样性，从而提升故障检测能力。

2. 方法论：RTM 框架 (Methodology: RTM)

作者提出了一种名为 RTM (Requirement coverage-guided Test suite Minimization) 的新方法。该方法结合了文本嵌入技术、距离度量算法和遗传算法（GA）。

核心流程：

预处理 (Preprocessing)：
针对自然语言测试用例，研究了三种预处理策略：
- $PM_1$ ：转小写、去除多余空格和换行。
- $PM_2$ ：在 $PM_1$ 基础上去除标点、分词和词形还原。
- $PM_3$ ：无预处理（原始内容）。
文本表示 (Text Representation)：
将测试用例转换为向量表示，研究了 7 种嵌入技术：
- 句子级嵌入：TF-IDF, Universal Sentence Encoder (USE), LongT5, Amazon Titan Text Embedding V2。
- 词级嵌入：Word2Vec, GloVe, FastText（配合 Word Mover's Distance 使用）。
相似度度量 (Similarity Measure)：
- 对于句子级向量：使用余弦相似度（Cosine Similarity）和欧几里得距离（Euclidean Distance）。
- 对于词级向量：使用Word Mover's Distance (WMD)，将其归一化为相似度分数。
基于遗传算法的搜索 (Evolutionary Search)：
由于该问题是 NP-hard 问题，RTM 采用遗传算法（GA）寻找最优子集。
- 个体表示：二进制向量，表示测试用例是否被选中。
- 适应度函数：最小化子集内测试用例对的最大归一化相似度（鼓励多样性）。
- 初始化策略：设计了三种策略（迭代选择、初始需求 + 随机、比例选择）来生成满足预算和 100% 覆盖约束的初始种群。
- 遗传操作：使用二元锦标赛选择、定制交叉（保持子集大小固定）和逆序变异。

3. 关键贡献 (Key Contributions)

提出 RTM 框架：首个专门针对自然语言测试用例、在固定预算下强制保证100% 需求覆盖率的测试套件最小化方法。
全面的配置探索：系统评估了 3 种预处理方法、7 种文本嵌入技术、3 种距离度量函数以及 3 种 GA 初始化策略，确定了最佳配置组合。
工业级实证研究：在来自汽车行业的真实数据集（736 个测试用例，覆盖 54 个需求，220 个独特故障）上进行了验证。
冗余度影响分析：深入研究了测试套件冗余度（Redundancy Level）对 TSM 效果的影响，揭示了冗余度与故障检测率（FDR）之间的关系。
开源复现：公开了包含源代码、输入数据和实验结果的复现包（注：工业数据因保密未公开）。

4. 实验结果 (Experimental Results)

实验在 736 个汽车系统测试用例上进行，对比了 RTM 与随机最小化（Random Minimization）及 FAST-R 系列算法。

RQ1 (最佳配置)：
- 最佳组合：预处理 $PM_3$ （无预处理）+ TF-IDF（句子级）+ 余弦相似度 + 初始化策略 2。
- 发现：令人惊讶的是，简单的 TF-IDF 表现优于复杂的深度学习模型（如 BERT 类模型）。这是因为汽车测试用例遵循高度结构化的模板，变量名和参数值的细微差异至关重要，而 TF-IDF 能更好地捕捉这些基于词频的细微差别，而语义模型往往会平滑掉这些关键差异。
- 性能：在 50% 预算下，最佳配置达到了 86.09% 的故障检测率（FDR）。
RQ2 (与基线对比)：
- RTM 在绝大多数最小化预算（10%-90%）下，其 FDR 均显著优于随机最小化和 FAST-R 系列算法。
- 关键优势：RTM 是唯一能同时满足“固定预算”和"100% 需求覆盖”的方法。FAST-R 在固定预算模式下无法保证全覆盖，而在保证全覆盖模式下无法严格遵循预算。
- 在 40% 预算下，RTM 的 FDR 为 78.68%，而基线方法仅为 56%-65%。
RQ3 (冗余度影响)：
- 测试套件的冗余度越高，TSM 技术的 FDR 通常越高（因为更容易剔除冗余）。
- 然而，在低预算（<60%）且高冗余的情况下，所有方法的 FDR 与理论最优值之间存在较大差距，表明在严格约束下寻找最优子集极具挑战性。
- RTM 在所有冗余度水平下均保持领先。
RQ4 (可扩展性)：
- RTM 的运行时间与测试套件大小呈线性关系。
- 虽然 RTM 比基线方法稍慢（例如处理 20 万个用例时，RTM 约需 20 分钟，而最快的基线仅需 24 秒），但在实际工业场景中（通常仅在重大版本发布时执行），这种时间差异是可以接受的，且 RTM 带来的 FDR 提升具有更高的价值。

5. 意义与结论 (Significance & Conclusion)

解决工业痛点：RTM 解决了安全关键系统（如汽车）中测试用例自然语言化、需求覆盖强制性与资源受限之间的矛盾。
方法论创新：证明了在特定领域（结构化模板文本）中，传统的统计方法（TF-IDF）可能比复杂的语义模型更有效，为 NLP 在软件工程中的应用提供了新视角。
实践指导：研究表明，在预算紧张时，显式地确保每个需求至少有一个测试用例（覆盖约束）不仅能满足合规性，还能显著提升故障检测能力。
未来展望：该方法具有良好的可扩展性，未来计划将其推广到更多领域，并进一步研究动态更新场景下的维护成本。

总结：RTM 是一种高效、可靠且可扩展的测试套件最小化方案，特别适用于对功能安全有严格要求、测试用例以自然语言描述且必须保证需求全覆盖的工业场景。它通过智能地剔除冗余用例，在大幅降低测试成本的同时，最大限度地保留了系统的故障检测能力。