💻 computer science

Improving Test Case Prioritization in Continuous Integration Environments Using Multilayer Perceptron: An Empirical Comparative Study

Diese empirische Studie zeigt, dass ein Multilayer-Perzeptron (MLP) fünf klassischen Algorithmen des maschinellen Lernens bei der Priorisierung von Testfällen innerhalb von Continuous-Integration-Umgebungen signifikant überlegen ist, wobei es eine überlegene Fehlererkennungseffizienz und statistische Signifikanz über mehrere industrielle Datensätze hinweg erreicht.

Ursprüngliche Autoren: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

Veröffentlicht 2026-09-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der riesigen, schnelllebigen Welt der modernen Softwareentwicklung werden Programme ständig aktualisiert. Um diese Systeme zuverlässig zu halten, führen Ingenieure bei jeder Änderung automatisierte Prüfungen durch, die als Regressionstests bezeichnet werden. Stellen Sie sich eine riesige Bibliothek vor, in der jedes Buch auf Schäden überprüft werden muss, jedes Mal, wenn eine neue Seite hinzugefügt wird. Wenn ein Bibliothekar jedes einzelne Buch der Reihe nach prüfen müsste, würde der Prozess ewig dauern und die Bibliothek würde zurückfallen. In der Softwareentwicklung bedeutet dies, dass man zu lange wartet, um ein fehlerhaftes Feature zu finden, was kostspielig und frustrierend sein kann. Um dieses Problem zu lösen, nutzen Forscher eine Strategie namens Testfall-Priorisierung. Anstatt Tests in einer zufälligen Reihenfolge auszuführen, versuchen sie herauszufinden, welche spezifischen Tests am wahrscheinlichsten zuerst fehlschlagen werden. Indem sie die verdächtigsten Tests ganz am Anfang ausführen, können Teams Probleme viel schneller finden und beheben, was Zeit und Ressourcen spart.

Seit Jahren versuchen Informatiker, maschinelles Lernen zu nutzen, um bei dieser Sortieraufgabe zu helfen. Dies sind Computerprogramme, die aus vergangenen Daten lernen, um Vorhersagen zu treffen. Eine aktuelle Studie der Abubakar Tafawa Balewa University in Nigeria legt jedoch nahe, dass zwar viele Methoden existieren, ein spezifischer Typ von Lernmodell jedoch am effektivsten für diese Aufgabe sein könnte. Die Forscher Musa Isyaku, Abdulsalam Ya'u Gital und Haruna Chiroma wollten herausfinden, ob ein Modell namens Multilayer Perceptron (Mehrschichtiges Perzeptron) in der Lage ist, andere populäre Methoden zu übertreffen, wenn es tausende von Testfällen in einer kontinuierlichen Testumgebung sortiert. Sie haben nicht einfach nur geraten; sie stellten das Modell unter realen Bedingungen gegen fünf andere etablierte Algorithmen unter Verwendung von Realdaten aus der Industrierobotik und der Netzwerktechnologie auf die Probe.

Das Team sammelte eine massive Sammlung historischer Testdatensätze von ABB Robotics, einem Unternehmen, das Industrieroboter baut. Dieser Datensatz enthielt über 64.000 einzelne Testausführungen aus 106 verschiedenen Testzyklen. In diesem realen Szenario bestehen die meisten Tests erfolgreich, während nur ein kleiner Bruchteil fehlschlägt. Dies schafft eine knifflige Situation für Computermodelle: Wenn ein Programm einfach nur raten würde, dass jeder Test erfolgreich sein wird, hätte es in den meisten Fällen recht, würde aber die wenigen Tests, die tatsächlich fehlschlagen, komplett übersehen. Die Forscher benötigten ein Modell, das diese seltenen Fehler erkennen kann, ohne durch die überwältigende Anzahl an Erfolgen abgelenkt zu werden. Um sicherzustellen, dass ihre Ergebnisse kein Zufall waren, testeten sie ihren Ansatz auch auf drei anderen Industriedatensätzen von verschiedenen Unternehmen, um zu prüfen, ob die Ergebnisse in anderen Umgebungen Bestand haben.

Sie verglichen ihr gewähltes Modell, das Multilayer Perceptron, mit fünf anderen gängigen Techniken des maschinellen Lernens: Random Forest, XGBoost, Logistische Regression, Support Vector Machine und k-Nearest Neighbors. Um den Vergleich fair zu gestalten, ließen sie alle sechs Modelle unter exakt denselben Bedingungen laufen, wobei sie dieselben Datensplits und dieselben Methoden zur Einstellung ihrer Parameter verwendeten. Das Ziel war es zu sehen, welches Modell die fehlerhaften Tests am höchsten auf der Liste platzieren konnte, um sicherzustellen, dass diese zuerst ausgeführt werden. Die Forscher maßen den Erfolg nicht nur daran, wie oft das Modell insgesamt richtig lag, sondern auch daran, wie schnell es die Fehler identifizieren konnte. Sie verwendeten einen spezifischen Wert namens „Average Percentage of Faults Detected“ (Durchschnittlicher Prozentsatz der erkannten Fehler), der im Wesentlichen misst, wie früh in der Liste die fehlerhaften Tests erscheinen. Ein höherer Wert bedeutet, dass das Modell besser darin ist, Probleme frühzeitig zu entdecken.

Die Ergebnisse waren klar und konsistent. Auf dem primären Datensatz von ABB Robotics erreichte das Multilayer Perceptron Modell eine Genauigkeit von 99,77 Prozent und einen Wert von 86,35 Prozent beim Metrik der Fehlererkennung. Während andere Modelle gut abschnitten, konnte das Multilayer Perceptron die fehlerhaften Tests konsequent etwas höher in der Rangliste platzieren als die Konkurrenz. Die Forscher nutzten rigorose statistische Tests, um zu bestäten, dass dieser Unterschied nicht auf Zufall beruhte. Die Analyse zeigte, dass das Multilayer Perceptron allen fünf anderen Modellen statistisch überlegen war, mit einem Konfidenzniveau, das keinen Raum für Zweifel ließ. Selbst als sie die Einstellungen der Modelle anpassten, um diese weiter zu verbessern, blieb das Multilayer Perceptron der Spitzenreiter, während einige der anderen Modelle nach der Feinabstimmung sogar etwas schlechter abschnitten.

Eine der wichtigsten Lehren aus dieser Studie betrifft die Frage, wie wir Erfolg messen. Die Forscher fanden heraus, dass es irreführend sein kann, nur auf die Gesamtgenauigkeit zu schauen. Da die meisten Tests erfolgreich sind, kann ein Modell eine sehr hohe Genauigkeitsrate aufweisen, indem es die Fehler einfach ignoriert. Die Studie demonstrierte, dass man, um wirklich zu verstehen, wie gut ein Priorisierungssystem funktioniert, darauf schauen muss, wie gut es die Minderheit der fehlerhaften Tests findet und wie früh es sie findet. Das Multilayer Perceptron zeichnete sich hierbei aus und bewies, dass Deep-Learning-Modelle die komplexen, ungleichmäßigen Strukturen von realen Testdaten besser handhaben können als traditionelle Methoden.

Die Studie untersuchte auch, ob dieses Modell auch mit Daten anderer Unternehmen funktionieren kann. Als es auf Datensätzen von IOFROL, PAINTCONTROL und Westermo Network Technologies getestet wurde, behielt das Multilayer Perceptron eine starke Leistung bei, was zeigt, dass es nicht nur eine glückliche Übereinstimmung für einen spezifischen Datensatz ist, sondern ein robustes Werkzeug, das sich an verschiedene industrielle Kontexte anpassen kann. Die Forscher kamen zu dem Schluss, dass Organisationen, die groß angelegte automatisierte Tests durchführen, die Anwendung dieser spezifischen Art von maschinellem Lernmodell nutzen könnten, um den Prozess der Fehlersuche erheblich zu beschleunigen. Durch die Verwendung eines Modells, das komplexe Muster aus der Historie lernt, können Softwareteams sicherstellen, dass ihre kritischsten Tests immer zuerst ausgeführt werden, wodurch ihre Systeme zuverlässig bleiben und ihre Entwicklungszyklen ohne unnötige Verzögerungen voranschreiten.

Technische Zusammenfassung: Verbesserung der Testfallpriorisierung in Continuous-Integration-Umgebungen mittels Multilayer-Perzeptron

Problemstellung
Die Testfallpriorisierung (Test Case Prioritization, TCP) ist eine kritische Optimierungstechnik im Continuous-Integration (CI) Regressions-Testing, die darauf abzielt, Testfälle so umzuordnen, dass Fehler so früh wie möglich erkannt werden. Während maschinelles Lernen (ML) zunehmend auf TCP angewendet wird, weist die bestehende Literatur mehrere Einschränkungen auf: einen Mangel an systematischen empirischen Vergleichen zwischen Deep-Learning- und klassischen ML-Modellen unter identischen Versuchsbedingungen, eine übermäßige Abhängigkeit von der Klassifikationsgenauigkeit (was bei klassenimbalancierten Datensätzen irreführend ist) und unzureichende Studien zur Generalisierung über Datensätze hinweg. Industrielle Regressions-Testing-Umgebungen leiden häufig unter Klassenimbalance (ca. 80 % Bestehen vs. 20 % Fehlerschlagen der Testfälle), was Standardmetriken zur Genauigkeit für die Bewertung der Fehlererkennungseffizienz unzureichend macht.

Methodik
Diese Studie verwendet einen überwachten binären Klassifikationsansatz, um die Wahrscheinlichkeit eines Testfallfehlers ( $y=1$ ) basierend auf historischen Ausführungsattributen vorherzusagen. Die Forschung nutzt ein einheitliches experimentelles Framework unter Verwendung von sechs ML-Modellen: einem Multilayer-Perzeptron (MLP) und fünf klassischen Baselines (Random Forest, XGBoost, Logistische Regression, Support Vector Machine und k-Nearest Neighbors).

Datensätze: Die primäre Evaluierung nutzt den industriellen ABB Robotics Datensatz (64.024 Testfall-Ausführungen über 106 CI-Zyklen). Um die Generalisierung zu bewerten, wurden drei zusätzliche industrielle Datensätze (IOFROL, PAINTCONTROL und Westermo Network Technologies) einbezogen.
Vorverarbeitung: Der Workflow beinhaltete die Behandlung fehlender Werte, das Entfernen nicht-informativer Attribute (z. B. Id, Name), die Log-Transformation verzerrter Duration-Attribute und die Anwendung von StandardScaler. Die Klassenimbalance wurde durch eine balancierte Klassengewichtung während des Trainings adressiert.
Modellkonfiguration: Alle Modelle wurden innerhalb einer scikit-learn Pipeline implementiert, um Data Leakage zu verhindern. Das Hyperparameter-Tuning wurde mittels 5-fachem GridSearchCV auf dem Trainingssatz durchgeführt, wobei auf den F1-Score der Minderheitsklasse (Fehler) optimiert wurde. Die identifizierte optimale MLP-Konfiguration bestand aus zwei verborgenen Schichten (64, 32 Neuronen), ReLU-Aktivierung und einer Lernrate von 0,001.
Evaluationsmetriken: Die Leistung wurde mittels Accuracy, Precision, Recall, F1-Score und der Average Percentage of Faults Detected (APFD) gemessen. APFD wurde als primäre Metrik für TCP priorisiert, da sie die Geschwindigkeit der Fehlererkennung quantifiziert.
Statistische Validierung: Um die Einschränkungen eines einzelnen Train-Test-Splits zu adressieren, erzeugte die Studie 1.000 Bootstrap-Resamples des gehaltenen Test-Sets. Paarweise Wilcoxon-Vorzeichen-Rang-Tests wurden angewendet, um die statistische Signifikanz ( $\alpha=0,05$ ) und Effektstärken ( $|r|$ ) zwischen dem MLP und den Baseline-Modellen zu bestimmen.

Wichtigste Ergebnisse
Auf dem primären ABB-Datensatz demonstrierte das MLP-Modell eine Spitzenleistung, wenngleich mit spezifischen Nuancen im Vergleich zu den Baselines:

Leistung: Das MLP erreichte eine Genauigkeit (Accuracy) von 99,77 %, eine Precision von 100 %, einen Recall von 99,15 % und einen F1-Score von 99,57 %. Während XGBoost einen geringfügig höheren Standard-F1-Score erzielte (0,9960 vs. 0,9957), erreichte das MLP in der finalen optimierten Konfiguration die Baselines oder übertraf diese. Das MLP erreichte einen APFD von 86,35 %, womit es sich mit der Logistischen Regression und KNN die Spitze teilte und XGBoost (86,25 %) sowie SVM (86,33 %) im optimierten Szenario leicht übertraf.
Statistische Signifikanz: Die Wilcoxon-Vorzeichen-Rang-Tests bestätigten, dass die Überlegenheit des MLP gegenüber allen fünf Baselines statistisch signifikant war ( $p < 0,001$ ) mit großen Effektstärken ( $|r| \geq 0,98$ ). Bemerkenswert ist, dass trotz eines identischen mittleren APFD von 0,8635 im Bootstrap-Verfahren zwischen MLP und Random Forest, der statistische Test ein signifikantes Ergebnis zugunsten des MLP lieferte, ebenso wie beim Vergleich gegen KNN, welches ebenfalls einen APFD von 0,8635 aufwies.
Hyperparameter-Sensitivität: Während XGBoost mit Standardparametern einen geringfügig höheren F1-Score zeigte, verschlechterte sich seine Leistung nach dem Tuning (APFD sank auf 86,25 %), wohingegen das MLP stabil blieb, was darauf hindeutet, dass das MLP gegenüber Hyperparameter-Variationen auf diesem spezifischen Datensatz weniger empfindlich ist.
Generalisierung: Das MLP demonstrierte Robustheit über die IOFROL- und PAINTCONTROL-Datensätze hinweg und behielt eine hohe Genauigkeit (ca. 94–89 %) und APFD-Scores (ca. 0,81–0,83) bei, wobei die Leistung beim Westermo-Datensatz aufgrund extremer Klassenimbalance (niedriger Recall) variierte.

Wesentliche Beiträge

Empirischer Vergleich: Liefert einen rigorosen, direkten Vergleich eines Deep-Learning-Modells (MLP) gegen fünf klassische ML-Algorithmen unter streng identischen experimentellen Bedingungen über vier industrielle Datensätze hinweg.
Metriken-Validierung: Demonstriert empirisch, dass die Klassifikationsgenauigkeit (Accuracy) eine unzuverlässige Metrik für TCP in imbalancierten CI-Umgebungen ist, und plädiert für APFD und F1-Score als primäre Evaluationskriterien.
Statistische Stringenz: Führt ein robustes Validierungsframework ein, das 1.000-Iterationen-Bootstrap-Resampling kombiniert mit Wilcoxon-Vorzeichen-Rang-Tests nutzt, um statistische Signifikanz in Single-Split-Experimentdesigns zu etablieren, selbst wenn die Mittelwerte identisch sind.
Hyperparameter-Analyse: Liefert empirische Belege für die Auswirkungen des Hyperparameter-Tunings und zeigt, dass das optimale MLP-Setup (zwei verborgene Schichten, ReLU) relativ stabil und weniger komplex als der maximale Suchraum ist.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Multilayer-Perzeptronen effektiv die komplexen, nicht-linearen Beziehungen zwischen Testfall-Attributen und Fehlerwahrscheinlichkeiten modellieren können und bei strenger statistischer Auswertung traditionelle ML-Techniken bei CI-basierten TCP-Aufgaben übertreffen. Die Studie postuliert, dass Deep-Learning-Modelle einen gangbaren Weg zur Verbesserung der Fehlererkennungsraten in industriellen Settings bieten.

Entscheidend ist, dass die Autoren betonen, dass ihre Ergebnisse den Einsatz von MLP-basiertem TCP als „Drop-in-Erweiterung“ für bestehende CI-Pipelines unterstützen, welche lediglich historische Ausführungsdaten erfordert. Die Studie kommt zu dem Schluss, dass die Kombination aus hohen APFD-Scores und strenger statistischer Validierung eine starke Evidenz für die Einführung von MLP im Regressions-Testing liefert, auch wenn die Genauigkeit allein unzureichend ist. Die Autoren merken an, dass zukünftige Arbeiten Online-Learning, kostenbewusste Priorisierung (APFDc) und Erklärbarkeit untersuchen sollten, aber die aktuelle Studie etabliert die grundlegende Wirksamkeit von MLP gegenüber klassischen Baselines in diesem Bereich.

Mehr davon