💻 computer science

Improving Test Case Prioritization in Continuous Integration Environments Using Multilayer Perceptron: An Empirical Comparative Study

这项实证研究表明，在持续集成环境中的测试用例优先级排序方面，多层感知器（MLP）显著优于五种经典的机器学习算法，在多个工业数据集上实现了卓越的故障检测效率和统计显著性。

原作者： MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

发布于 2026-09-29

📖 1 分钟阅读☕ 轻松阅读

原作者： MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代软件开发这个庞大且快速变化的世界中，程序在不断地进行更新。为了保持这些系统的可靠性，工程师们在每次做出更改时都会运行被称为回归测试的自动化检查。想象一个巨大的图书馆，每增加一页书，每一本书都必须检查是否损坏。如果图书管理员必须按顺序检查每一本书，这个过程将耗时极长，而图书馆也会因此落后。在软件领域，这意味着要等待过长时间才能发现故障功能，这可能会带来高昂的成本和挫败感。为了解决这个问题，研究人员使用了一种称为测试用例优先级排序（test case prioritization）的策略。他们不再按随机顺序运行测试，而是试图找出哪些特定的测试最有可能首先失败。通过在最开始的时候运行那些最可疑的测试，团队可以更快地发现并修复问题，从而节省时间和资源。

多年来，计算机科学家一直尝试利用机器学习来辅助这项排序任务。机器学习是能够从过去的数据中学习以进行预测的计算机程序。然而，来自尼日利亚阿布巴卡尔·塔法瓦·贝莱瓦大学（Abubakar Tafawa Balewa University）的一项最新研究表明，尽管存在许多方法，但其中一种特定类型的学习模型在处理这项工作时可能最为有效。研究人员穆萨·伊西亚库（Musa Isyaku）、阿卜杜拉萨拉姆·亚乌·吉塔尔（Abdulsalam Ya'u Gital）和哈鲁纳·奇罗马（Haruna Chiroma）旨在研究多层感知器（Multilayer Perceptron）这一模型是否能在连续测试环境中，通过对数千个测试用例进行排序，表现优于其他流行的方法。他们并非仅仅凭空猜测，而是利用来自工业机器人和网络技术公司的真实世界数据，将该模型与五种其他成熟的算法进行了对比测试。

研究团队收集了来自 ABB Robotics（一家制造工业机器人的公司）的大量历史测试记录。该数据集包含了来自 106 个不同测试周期的 64,000 多次独立测试执行。在这种现实场景中，大多数测试都能成功通过，只有极小部分的测试会失败。这种情况给计算机模型制造了一个棘手的局面：如果一个程序仅仅假设每个测试都会通过，那么它在大多数情况下都是正确的，但它会完全错过那些真正失败的测试。研究人员需要一种能够识别出这些罕见故障，且不会被压倒性的成功案例所干扰的模型。为了确保他们的发现并非偶然，他们还在另外三个来自不同公司的工业数据集上测试了他们的方法，以检查其结果在不同环境下是否依然成立。

他们将选定的模型——多层感知器，与五种常见的机器学习技术进行了比较：随机森林（Random Forest）、XGBoost、逻辑回归（Logistic Regression）、支持向量机（Support Vector Machine）以及 k-最近邻（k-Nearest Neighbors）。为了确保比较的公平性，他们在完全相同的条件下运行了所有六个模型，使用相同的数据划分和相同的参数调优方法。目标是观察哪个模型能将失败的测试排在列表的最顶端，从而确保它们被优先执行。研究人员衡量成功的标准不仅在于模型整体的正确率，还在于它识别故障的速度。他们使用了一个名为“平均故障检测百分比”（Average Percentage of Faults Detected）的特定指标，该指标本质上衡量了故障出现在列表中的先后位置。分数越高，意味着模型越擅长及早发现问题。

结果清晰且一致。在来自 ABB Robotics 的主要数据集上，多层感知器模型的准确率达到了 99.77%，在故障检测指标上的得分达到了 86.35%。虽然其他模型表现良好，但多层感知器始终能比竞争对手更有效地将失败的测试排在靠前的位置。研究人员使用了严格的统计检验来确认这种差异并非由于偶然因素造成。分析表明，多层感知器在统计学上优于所有其他五种模型，其置信水平不容置疑。即使他们调整了模型的设置以观察是否能进一步改进，多层感知器依然保持着领先地位，而其他一些模型在调优后表现反而略有下降。

这项研究中最重要的教训之一是关于我们如何衡量成功。研究人员发现，仅看整体准确率在这一领域可能会产生误导。因为大多数测试都会通过，一个模型可以仅仅通过忽略失败案例就获得极高的准确率评分。研究证明，要真正理解一个优先级排序系统的工作效果，必须观察它寻找少数失败测试的能力以及寻找这些测试的及时程度。多层感知器在这方面表现出色，证明了深度学习模型处理现实世界测试数据中复杂且不平衡特性的能力优于传统方法。

研究还探讨了该模型是否能在来自不同公司的数据上发挥作用。当在 IOFROL、PAINTCONTROL 和 Westermo Network Technologies 的数据集上进行测试时，多层感知器保持了强劲的表现，这表明它不仅仅是针对某一特定数据集的偶然契合，而是一个能够适应不同工业背景的稳健工具。研究人员得出结论，对于运行大规模自动化测试的组织而言，采用这种特定类型的机器学习模型可以显著加快寻找漏洞的过程。通过使用这种能从历史中学习复杂模式的模型，软件团队可以确保他们最关键的测试始终被优先执行，从而保持系统的可靠性，并推动开发周期在没有不必要延迟的情况下向前推进。

技术摘要：利用多层感知器优化持续集成环境中的测试用例优先级排序

问题陈述
测试用例优先级排序（TCP）是持续集成（CI）回归测试中一种关键的优化技术，旨在通过重新排列测试用例，尽可能早地检测出故障。尽管机器学习（ML）在 TCP 中的应用日益广泛，但现有文献仍存在若干局限性：缺乏在相同实验条件下对深度学习与经典机器学习模型进行的系统性实证比较；过度依赖分类准确率（这在类别不平衡的数据集中具有误导性）；以及缺乏跨数据集的泛化研究。工业回归测试环境通常面临类别不平衡的问题（大约 80% 的通过用例与 20% 的失败用例），这使得标准的准确率指标在评估故障检测效率时显得力不从心。

研究方法
本研究采用监督式二分类方法，根据历史执行属性来预测测试用例失败（ $y=1$ ）的概率。研究使用了一个统一的实验框架，涉及六种机器学习模型：一个多层感知器（MLP）和五个经典基准模型（随机森林、XGBoost、逻辑回归、支持向量机和 k-最近邻）。

数据集： 主要评估使用 ABB Robotics 工业数据集（涵盖 106 个 CI 周期中的 64,024 次测试用例执行）。为了评估泛化能力，研究还引入了三个额外的工业数据集（IOFROL、PAINTCONTROL 和 Westermo Network Technologies）。
预处理： 工作流包括处理缺失值、移除无信息属性（如 Id、Name）、对偏态分布的 Duration 属性进行对数转换，并应用 StandardScaler 标准化。针对类别不平衡问题，在训练过程中采用了平衡类别权重。
模型配置： 所有模型均在 scikit-learn 流水线（Pipeline）中实现，以防止数据泄露。超参数调优是在训练集上使用 5 折交叉验证网格搜索（GridSearchCV）进行的，优化目标为少数类（失败类）的 F1 分数。确定的最优 MLP 配置为两个隐藏层（64, 32 个神经元）、ReLU 激活函数以及 0.001 的学习率。
评估指标： 性能衡量标准包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 分数以及平均故障检测百分比（APFD）。由于 APFD 能量化故障检测的速度，因此被优先作为 TCP 的主要指标。
统计验证： 为了解决单次训练-测试划分的局限性，研究对留出的测试集进行了 1,000 次自助法（Bootstrap）重采样。研究应用了配对威尔科克森符号秩检验（Wilcoxon signed-rank tests）来确定 MLP 与基准模型之间的统计显著性（ $\alpha=0.05$ ）及效应量（ $|r|$ ）。

关键结果
在主要的 ABB 数据集上，MLP 模型展示了顶尖的性能，但在与基准模型的对比中表现出特定的细微差别：

性能表现： MLP 达到了 99.77% 的准确率、100% 的精确率、99.15% 的召回率以及 99.57% 的 F1 分数。虽然 XGBoost 在默认参数下的 F1 分数略高（0.9960 对 0.9957），但 MLP 在最终调优配置中匹配或超越了基准模型。MLP 实现的 APF 值为 86.35%，与逻辑回归和 KNN 持平，并略微优于调优后的 XGBoost（86.25%）和 SVM（86.33%）。
统计显著性： 威尔科克森符号秩检验证实，MLP 相对于所有五个基准模型的优越性具有统计学意义（ $p < 0.001$ ），且具有较大的效应量（ $|r| \geq 0.98$ ）。值得注意的是，尽管在自助法分析中 MLP 和随机森林拥有相同的平均 APFD 值（0.8635），但统计检验结果显示 MLP 具有显著优势，针对 KNN 的比较亦是如此（两者 APFD 均为 0.8635）。
超参数敏感性： 虽然 XGBoost 在默认参数下表现出略高的 F1 分数，但其性能在调优后有所下降（APFD 降至 86.25%），而 MLP 则保持稳定，这表明在特定数据集上 MLP 对超参数变化的敏感度较低。
泛化能力： MLP 在 IOFROL 和 PAINTCONTROL 数据集上表现出鲁棒性，保持了较高的准确率（约 89–94%）和 APFD 分数（约 0.81–0.83），但在 Westermo 数据集上由于极端的类别不平衡（低召回率）导致性能有所波动。

核心贡献

实证比较： 提供了一个严谨的、侧重对比的研究，将深度学习模型（MLP）与五种经典机器学习算法在四个工业数据集上进行的严格相同实验条件下进行了对比。
指标验证： 通过实证证明了在类别不平衡的 CI 环境中，分类准确率是不可靠的 TCP 评估指标，从而倡导将 APFD 和 F1 分数作为主要评估标准。
统计严谨性： 引入了一个稳健的验证框架，结合 1,000 次迭代的自助法重采样和威尔科克森符号秩检验，即使在平均得分相同时，也能在单次划分的实验设计中建立统计显著性。
超参数分析： 提供了关于超参数调优影响的实证证据，表明虽然调优是有益的，但 MLP 的最优配置（两个隐藏层、ReLU）相对稳定，且比搜索空间的极大值更简单。

意义与主张
本文主张，多层感知器能够有效地对测试用例属性与失败概率之间的复杂非线性关系进行建模，并在使用严谨统计方法评估时，在基于 CI 的 TCP 任务中优于传统的机器学习技术。研究认为，深度学习模型为提高工业环境下的故障检测率提供了一条可行的路径。

至关重要的是，作者强调，其研究结果支持将基于 MLP 的 TCP 作为一种“即插即用型增强方案”部署到现有的 CI 流水线中，仅需历史执行数据即可。研究结论指出，虽然仅凭准确率不足以评估 TCP，但高 APFD 分数与严谨统计验证的结合，为在回归测试中采用 MLP 提供了强有力的证据。作者指出，未来的工作应探索在线学习、成本感知优先级排序（APFDc）以及可解释性，但当前的研究已为 MLP 在该领域的有效性奠定了基础。

技术摘要：利用多层感知器优化持续集成环境中的测试用例优先级排序

类似论文