Intelligent Test Case Scheduling Using Multi-Criteria Decision Making for Human–Machine Interface Testing​

在制造驱动现代工业的机器的工厂里，在任何产品离开组装线之前，都会迎来一个关键时刻：最终检验。这不仅仅是对油漆涂层的一次随意的检查，而是一次严格、高风险的验证，旨在确保允许人类与机器进行交互的软件能够正常运行。这些被称为人机界面（HMI）的系统必须每次都完美无缺，然而，它们是在一个严苛的约束条件下进行测试的：时间。生产线不能为了运行每一个可能的检查而停工数小时，且测试预算是固定且不可谈判的。如果一个关键故障被漏掉，后果可能非常严重；然而，如果测试耗时过长，工厂就会损失资金。几十年来，工程师们通过依赖自身的经验来解决这一困境，即根据直觉和旧的检查清单来挑选要运行的测试子集。这种方法是不一致的；一位工程师可能会发现一个危险的缺陷，而另一位则可能错过，而且每当有新的产品版本到来时，流程也会随之改变。核心挑战在于决定哪些测试是绝对必要的，哪些可以在不冒安全风险的情况下跳过，从而将主观的猜测转变为可靠的、数据驱动的决策。

四川技术学院的研究团队通过开发一种新的测试调度方式，解决了这一问题，实现了从人类直觉向数学评分系统的转变。他们将这种方法称为“时间加权效用评分模型”（Time-Weighted Utility Scoring Model）。该系统不再要求工程师决定运行还是跳过某项测试，而是自动计算库中每一个测试用例的分数。这个分数并非简单的通过或失败，而是一个由三个特定因素推导出的复杂数值。首先，系统会观察风险：基于历史记录，该特定功能失效的可能性有多大？其次，它会衡量重要性：该功能对机器的安全和运行有多关键？第三，它会测量成本：运行这项特定测试需要多少时间和计算能力？通过结合这三个要素，该模型生成了一个单一的数值，代表了当前运行该项测试的整体价值。

研究人员将该模型应用于一套工业人机界面系统，发现它可以在不牺牲安全性的前提下，大幅缩短测试所需的时间。在他们的实验中，运行全套测试需要 425.9 秒。通过使用这种新的评分系统来筛选最有价值的测试，他们将总时间减少到了 174.9 秒，降幅接近 59%。至关重要的是，这种速度提升并没有以遗漏错误为代价。该系统检测到了全套测试集所能发现的所有 100% 的关键故障。它之所以能做到这一点，是通过识别出一组作为安全保障的强制性高优先级测试，并对剩余部分采用智能采样方法，从而确保在过程早期就能捕捉到最可能发生的故障。

该系统的核心在于其学习和适应的能力。分数并不是静态的；它们在每一轮测试后都会更新。如果一个测试用例在过去多次成功通过，其风险分数就会下降，系统可能会以较低的概率将其纳入执行。相反，如果一个测试用例有失败的历史，其风险分数就会上升，系统会优先考虑它以确保问题被发现。对于得分高于预设阈值的案例，系统会确定性地将其列为强制性测试；而对于其余案例，则根据其分数进行概率性采样。这创造了一个测试策略随产品演进的反馈闭环。研究人员通过让五位不同的资深工程师独立对测试的重要性及风险进行评分，验证了这一方法。他们发现，尽管工程师们的个人观点略有差异，但系统的最终结果在不同数据集组之间保持了稳定和一致。这证明了该方法并不依赖于某个人的特定判断，而是无论进行评分的人是谁，都能产生可靠的结果。

其中一个最重要的发现是，该系统并不仅仅是挑选最便宜的测试或历史上错误最多的测试。它同时平衡了所有三个因素。当研究人员尝试仅基于单一因素（例如仅基于成本或仅基于风险）来测试系统时，结果要差得多。那个综合考虑所有三个因素的系统，能够比任何单因素方法更快、用更少的测试发现故障。在试验中，新方法仅需运行约 23 个特定测试用例，即可在 1,200 次执行的特定实验组内达到 100% 的故障检出率，而其他方法则需要运行显著更多的测试才能达到同样的置信水平。这种效率意味着工厂可以在不到一半的时间内验证其产品的安全性，在维持零容忍关键缺陷标准的同时，释放更多资源用于生产。

这项研究表明，用记录在案的、基于分数的程序取代即兴的、基于经验的决策，不仅是可能的，而且对于安全至上的工业软件而言更为优越。研究人员展示了通过将测试选择视为一种质量风险决策而非单纯的效率问题，可以保证验证关键功能，同时实现单位时间内发现故障数量的最大化。其结果在多个独立的数据组中保持一致，表明该方法具有鲁棒性和可重复性。通过将混乱的测试选择过程转变为系统化的、具备资源意识的计划，这种方法为工厂验收测试提供了一个新标准，确保驱动我们世界的机器在无需浪费宝贵时间的前提下，既安全又可靠，并能随时投入市场。