Intelligent Test Case Scheduling Using Multi-Criteria Decision Making for Human–Machine Interface Testing​

In den Fabriken, die die Maschinen bauen, welche die moderne Industrie antreiben, kommt vor dem Verlassen des Fließbandes ein entscheidender Moment: die Endabnahme. Dies ist keine oberflächliche Prüfung des Lackbildes, sondern eine rigorose, hochriskante Verifizierung der Software, die es einem Menschen ermöglicht, mit einer Maschine zu kommunizieren. Diese Systeme, bekannt als Mensch-Maschine-Schnittstellen, müssen jedes Mal perfekt funktionieren, werden jedoch unter einer unerbittlichen Einschränkung getestet: der Zeit. Die Produktionslinie kann nicht stundenlang anhalten, um jede mögliche Prüfung durchzuführen, und das Budget für Tests ist fest und nicht verhandelbar. Wenn ein kritischer Fehler durchrutscht, können die Folgen schwerwiegend sein; doch wenn das Testen zu lange dauert, verliert die Fabrik Geld. Jahrzehntelang haben Ingenieure dieses Dilemma gelöst, indem sie sich auf ihre eigene Erfahrung verlassen und eine Teilmenge von Tests basierend auf einem Bauchgefühl und alten Checklisten auswählen. Dieser Ansatz ist inkonsistent; ein Ingenieur könnte einen gefährlichen Fehler entdecken, den ein anderer übersieht, und der Prozess ändert sich jedes Mal, wenn eine neue Produktversion eintrifft. Die Kernherausforderung besteht darin, zu entscheiden, welche Tests absolut notwendig sind und welche ohne Risiko für die Sicherheit übersprungen werden können, um eine subjektive Vermutung in eine zuverlässige, datengestützte Entscheidung zu verwandeln.

Ein Team von Forschern der Sichuan Technology and Business University hat dieses Problem angegangen, indem sie einen neuen Weg zur Planung dieser Tests entwickelt hat, der weg von der menschlichen Intuition hin zu einem mathematischen Bewertungssystem führt. Sie nennen ihre Methode das „Time-Weighted Utility Scoring Model“ (zeitgewichtetes Nutzen-Bewertungsmodell). Anstatt einen Ingenieur entscheiden zu lassen, ob ein Test durchgeführt oder übersprungen wird, berechnet das System automatisch einen Score für jeden einzelnen Testfall in der Bibliothek. Dieser Score ist kein einfaches Bestehen oder Nichtbestehen; es ist ein komplexer Wert, der sich aus drei spezifischen Faktoren ableitet. Erstens betrachtet das System das Risiko: Wie wahrscheinlich ist es, dass diese spezifische Funktion basierend auf ihrer Historie fehlschlägt? Zweitens gewichtet es die Wichtigkeit: Wie kritisch ist diese Funktion für die Sicherheit und den Betrieb der Maschine? Drittens misst es die Kosten: Wie viel Zeit und Rechenleistung kostet es, diesen spezifischen Test durchzuführen? Durch die Kombination dieser drei Elemente generiert das Modell eine einzige Zahl, die den Gesamtwert darstellt, diesen Test genau jetzt durchzuführen.

Die Forscher wandten dieses Modell auf ein industrielles Mensch-Maschine-Schnittstellen-System an und fanden heraus, dass es die benötigte Zeit für die Tests drastisch verkürzen kann, ohne die Sicherheit zu beeinträchtigen. In ihren Experimenten dauerte das Durchführen des vollständigen Testsatzes 425,9 Sekunden. Durch den Einsatz ihres neuen Bewertungssystems zur Auswahl der wertvollsten Tests reduzierten sie die Gesamtzeit auf 174,9 Sekunden, was einer Reduktion von fast 59 Prozent entspricht. Entscheidend ist, dass diese Geschwindigkeit nicht auf Kosten des Übersehens von Fehlern ging. Das System erkannte 100 Prozent der kritischen Fehler, die der vollständige Testsatz ebenfalls gefunden hätte. Dies gelang durch die Identifizierung einer kleinen Gruppe von hochpriorisierten Tests, die für die Sicherheit obligatorisch waren, und der anschließenden Verwendung einer intelligenten Stichprobenmethode für den Rest, wodurch sichergestellt wurde, dass die wahrscheinlichsten Fehler frühzeitig im Prozess abgefangen werden.

Das Herzstück des Systems ist seine Fähigkeit zu lernen und sich anzupassen. Die Scores sind nicht statisch; sie werden nach jeder Testrunde aktualisiert. Wenn ein Testfall in der Vergangenheit viele Male erfolgreich bestanden hat, sinkt sein Risiko-Score, und das System kann ihn mit einer geringeren Wahrscheinlichkeit für die Ausführung zulassen. Umgekehrt, wenn ein Testfall eine Historie von Fehlern aufweist, steigt sein Risiko-Score, und das System priorisiert ihn, um das Problem abzufangen. Für Fälle, deren Score über einem vordefinierten Schwellenwert liegt, nimmt das System sie deterministisch als obligatorische Tests auf, während der Rest durch probabilistisches Sampling proportional zu ihren Scores zugelassen wird. Dies schafft eine Feedbackschleife, in der sich die Teststrategie mit dem Produkt weiterentwickelt. Die Forscher validierten diesen Ansatz, indem sie fünf verschiedene erfahrene Ingenieure unabhängig voneinander die Wichtigkeit und das Risiko der Tests bewerten ließen. Sie fanden heraus, dass die individuellen Meinungen der Ingenieure zwar leicht variierten, das Endergebnis des Systems jedoch über verschiedene Datengruppen hinweg stabil und konsistent blieb. Dies beweist, dass die Methode nicht auf dem spezifischen Urteil einer einzelnen Person beruht, sondern ein zuverlässiges Ergebnis liefert, unabhängig davon, wer die Bewertung vornimmt.

Eine der bedeutendsten Erkenntnisse ist, dass das System nicht einfach nur die günstigsten Tests oder diejenigen mit den meisten historischen Fehlern auswählt. Es balanciert alle drei Faktoren gleichzeitig aus. Als die Forscher das System testeten, indem sie nur einen Faktor zur Zeit betrachteten – wie etwa die Auswahl von Tests nur basierend auf den Kosten oder nur basierend auf dem Risiko –, waren die Ergebnisse weitaus schlechter. Das System, das alle drei Faktoren gemeinsam berücksichtigte, war in der Lage, Fehler viel schneller und mit weniger Tests zu finden als jeder Einzel-Faktor-Ansatz. In ihren Versuchen benötigte die neue Methode nur etwa 23 spezifische Testfälle, um eine 100-prozentige Erkennungsrate von Fehlern innerhalb der spezifischen experimentellen Gruppe von 1.200 Ausführungen zu erreichen, während andere Methoden signifikant mehr Tests benötigten, um das gleiche Vertrauensniveau zu erreichen. Diese Effizienz bedeutet, dass Fabriken die Sicherheit ihrer Produkte in weniger als der Hälfte der Zeit verifizieren können, wodurch Ressourcen für die Produktion frei werden, während ein Null-Toleranz-Standard für kritische Defekte aufrechterhalten wird.

Die Studie zeigt, dass das Ersetzen von Ad-hoc-Entscheidungen auf Erfahrungsebene durch ein dokumentiertes, score-basiertes Verfahren nicht nur möglich, sondern auch überlegen für sicherheitskritische Industriesoftware ist. Die Forscher zeigten, dass sie, indem sie die Testauswahl als eine Qualitätsrisiko-Entscheidung statt als ein reines Effizienzproblem behandelten, die Verifizierung kritischer Funktionen garantieren und gleichzeitig die Anzahl der gefundenen Fehler pro Zeiteinheit maximieren konnten. Die Ergebnisse waren über mehrere unabhängige Datengruppen hinweg konsistent, was darauf hindeutet, dass die Methode robust und reproduzierbar ist. Indem sie den chaotischen Prozess der Testauswahl in einen systematischen, ressourcenbewussten Plan verwandeln, bietet dieser Ansatz einen neuen Standard für die Werksabnahme, der sicherstellt, dass die Maschinen, die unsere Welt antreiben, sicher, zuverlässig und bereit für den Markt sind, ohne kostbare Zeit zu verschwenden.