💻 computer science

Improving Test Case Prioritization in Continuous Integration Environments Using Multilayer Perceptron: An Empirical Comparative Study

Deze empirische studie toont aan dat een Multilayer Perceptron (MLP) vijf klassieke machine learning-algoritmen significant overtreft bij het prioriteren van testgevallen binnen continuous integration-omgevingen, waarbij een superieure efficiëntie in foutdetectie en statistische significantie over meerdere industriële datasets wordt bereikt.

Oorspronkelijke auteurs: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

Gepubliceerd 2026-09-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de uitgestrekte, snel bewegende wereld van de moderne softwareontwikkeling worden programma's constant bijgewerkt. Om deze systemen betrouwbaar te houden, voeren ingenieurs elke keer dat een wijziging wordt aangebracht geautomatiseerde controles uit, genaald regressietests. Stel je een enorme bibliotheek voor waarin elk boek op schade moet worden gecontroleerd elke keer dat er een nieuwe pagina wordt toegevoegd. Als een bibliothecaris elk boek één voor één zou moeten controleren, zou het proces eeuwig duren en zou de bibliotheek achterop raken. In software betekent dit wachten tot een defecte functie te lang duurt, wat kostbaar en frustrerend kan zijn. Om dit op te lossen, gebruiken onderzoekers een strategie genaamd testgevalprioritering. In plaats van tests in een willekeurige volgorde uit te voeren, proberen ze te achterhalen welke specifieke tests het meest waarschijnlijk als eerste zullen falen. Door de meest verdachte tests helemaal aan het begin uit te voeren, kunnen teams problemen veel sneller vinden en oplossen, wat tijd en middelen bespaart.

Jarenlang hebben computerwetenschappers geprobeerd om machine learning te gebruiken om te helpen bij deze sorteertaak. Dit zijn computerprogramma's die leren van gegevens uit het verleden om voorspellingen te doen. Echter, een recente studie van de Abubakar Tafawa Balewa University in Nigeria suggereert dat, hoewel er veel methoden bestaan, één specifiek type leermodel het meest effectief zou kunnen zijn voor deze taak. De onderzoekers, Musa Isyaku, Abdulsalam Ya'u Gital en Haruna Chiroma, wilden zien of een model genaamd een Multilayer Perceptron andere populaire methoden zou kunnen overtreffen bij het sorteren door duizenden testgevallen in een continue testomgeving. Ze gokten niet alleen; ze zetten het model op de proef tegen vijf andere gevestigde algoritmen met behulp van echte gegevens van industriële robotica- en netwerktechnologiebedrijven.

Het team verzamelde een enorme collectie historische testgegevens van ABB Robotics, een bedrijf dat industriële robots bouwt. Deze dataset bevatte meer dan 64.000 individuele testuitvoeringen uit 106 verschillende testcycli. In dit realistische scenario slagen de meeste tests succesvol, terwijl slechts een klein deel faalt. Dit creëert een lastige situatie voor computermodellen: als een programma simpelweg gokt dat elke test zal slagen, zal het meestal gelijk hebben, maar zal het de enkele tests die daadwerkelijk falen volledig missen. De onderzoekers hadden een model nodig dat die zeldzame fouten kon opsporen zonder afgeleid te worden door het overweldigende aantal successen. Om ervoor te zorgen dat hun bevindingen niet slechts een toevalstreffer waren, testten ze hun aanpak ook op drie andere industriële datasets van verschillende bedrijven, om te controleren of de resultaten standhielden in verschillende omgevingen.

Ze vergeleken hun gekozen model, de Multilayer Perceptron, met vijf andere veelvoorkomende machine learning-technieken: Random Forest, XGBoost, Logistische Regressie, Support Vector Machine en k-Nearest Neighbors. Om de vergelijking eerlijk te maken, draalden ze alle zes de modellen onder exact dezelfde omstandigheden, gebruikmakend van dezelfde datasplitsingen en dezelfde methoden voor het afstemmen van hun instellingen. Het doel was om te zien welk model de falende tests het hoogst op de lijst kon plaatsen, zodat zij als eerste worden uitgevoerd. De onderzoekers maten succes niet alleen door hoe vaak het model in het algemeen gelijk had, maar door hoe snel het de fouten kon identificeren. Ze gebruikten een specifieke score genaamd de Average Percentage of Faults Detected, wat in essentie meet hoe vroeg in de lijst de slechte tests verschijnen. Een hogere score betekent dat het model beter is in het vroegtijdig detecteren van problemen.

De resultaten waren duidelijk en consistent. Op de primaire dataset van ABB Robotics behaalde het Multilayer Perceptron-model een nauwkeurigheid van 99,77 procent en een score van 86,35 procent op de metriek voor foutdetectie. Hoewel andere modellen goed presteerden, rangschikte de Multilayer Perceptron de falende tests consequent iets hoger dan de concurrentie. De onderzoekers gebruikten strikte statistische tests om te bevestigen dat dit verschil niet door toeval kwam. De analyse toonde aan dat de Multilayer Perceptron statistisch superieur was aan alle vijf de andere modellen, met een betrouwbaarheidsniveau dat geen ruimte liet voor twijfel. Zelfs toen ze de instellingen van de modellen aanpasten om te zien of ze deze konden verbeteren, bleef de Multilayer Perceptron de beste performer, terwijl sommige van de andere modellen na afstemming zelfs iets slechter werden.

Een van de belangrijkste lessen uit deze studie gaat over hoe we succes meten. De onderzoekers ontdekten dat het kijken naar alleen de algemene nauwkeurigheid misleidend kan zijn in dit vakgebied. Omdat de meeste tests slagen, kan een model een zeer hoge nauwkeurigheidsscore hebben door simpelweg de fouten te negeren. De studie toonde aan dat om echt te begrijpen hoe goed een prioritiseringssysteem werkt, men moet kijken naar hoe goed het de minderheid van de falende tests vindt en hoe vroeg het ze vindt. De Multilayer Perceptron blonk hierin uit en bewees dat deep learning-modellen de complexe, ongelijkmatige aard van realistische testgegevens beter kunnen afhandelen dan traditionele methoden.

De studie onderzocht ook of dit model kon werken op gegevens van verschillende bedrijven. Wanneer getest op datasets van IOFROL, PAINTCONTROL en Westermo Network Technologies, behield de Multilayer Perceptron een sterke prestatie, wat aantoont dat het niet slechts een toevallige match is voor één specifieke set gegevens, maar een robuust hulpmiddel dat kan worden aangepast aan verschillende industriële contexten. De onderzoekers concludeerden dat organisaties die grootschalige geautomatiseerde tests uitvoeren, door het adopteren van dit specifieke type machine learning-model het proces van het vinden van bugs aanzienlijk kunnen versnellen. Door een model te gebruiken dat complexe patronen uit het verleden leert, kunnen softwareteams ervoor zorgen dat hun meest kritieke tests altijd als eerste worden uitgevoerd, waardoor hun systemen betrouwbaar blijven en hun ontwikkelcycli zonder onnodige vertragingen kunnen voortgaan.

Technische Samenvatting: Verbeteren van Testcase-prioritering in Continuous Integration-omgevingen met behulp van een Multilayer Perceptron

Probleemstelling
Testcase-prioritering (TCP) is een cruciale optimalisatietechniek in Continuous Integration (CI) regressietesten, gericht op het herordenen van testcases om fouten zo vroeg mogelijk te detecteren. Hoewel machine learning (ML) steeds vaker wordt toegepast op TCP, vertoont de bestaande literatuur verschillende beperkingen: een gebrek aan systematische empirische vergelijkingen tussen deep learning en klassieke ML-modellen onder identieke experimentele omstandigheden, een overmatige nadruk op classificatienauwkeurigheid (wat misleidend is bij ongebalanceerde datasets), en onvoldoende studies naar generalisatie over verschillende datasets. Industriële regressietestomgevingen kampen vaak met klasse-imbalans (ongeveer 80% geslaagde versus 20% falende testcases), waardoor standaard nauwkeurigheidsmetrieken ontoereikend zijn voor het evalueren van de efficiëntie van foutdetectie.

Methodologie
Deze studie maakt gebruik van een supervised binaire classificatie-aanpak om de waarschijnlijkheid van een testcase-fout ( $y=1$ ) te voorspellen op basis van historische executie-attributen. Het onderzoek maakt gebruik van een uniform experimenteel framework bestaande uit zes ML-modellen: een Multilayer Perceptron (MLP) en vijf klassieke baselines (Random Forest, XGBoost, Logistic Regression, Support Vector Machine en k-Nearest Neighbors).

Datasets: De primaire evaluatie gebruikt de ABB Robotics industriële dataset (64.024 testcase-executies over 106 CI-cycli). Om de generalisatie te beoordelen, werden drie aanvullende industriële datasets (IOFROL, PAINTCONTROL en Westermo Network Technologies) toegevoegd.
Preprocessing: De workflow omvatte het afhandelen van ontbrekende waarden, het verwijderen van niet-informatieve attributen (bijv. Id, Name), het log-transformeren van scheve Duration-attributen en het toepassen van StandardScaler. Klasse-imbalans werd aangepakt door middel van gebalanceerde klasse-weging tijdens de training.
Modelconfiguratie: Alle modellen werden geïmplementeerd binnen een scikit-learn Pipeline om datalekage te voorkomen. Hyperparameter-tuning werd uitgevoerd met behulp van 5-fold GridSearchCV op de trainingsset, waarbij werd geoptimaliseerd voor de F1-score van de minderheidsklasse (fail). De geïdentificeerde optimale MLP-configuratie bestond uit twee verborgen lagen (64, 32 neuronen), ReLU-activatie en een leersnelheid van 0.001.
Evaluatiemetrieken: Prestaties werden gemeten met behulp van Accuracy, Precision, Recall, F1-score en de Average Percentage of Faults Detected (APFD). APFD kreeg de voorkeur als primaire metriek voor TCP, omdat het de snelheid van foutdetectie kwantificeert.
Statistische Validatie: Om de beperkingen van een enkele train-test split aan te pakken, genereerde de studie 1.000 bootstrap-resamples van de uitgespaarde testset. Paarwijze Wilcoxon signed-rank tests werden toegepast om statistische significantie ( $\alpha=0.05$ ) en effectgroottes ( $|r|$ ) tussen de MLP en de baseline-modellen te bepalen.

Belangrijkste Resultaten
Op de primaire ABB-dataset vertoonde het MLP-model top prestaties, hoewel met specifieke nuances vergeleken met de baselines:

Prestaties: MLP behaalde 99,77% Accuracy, 100% Precision, 99,15% Recall en een 99,57% F1-score. Hoewel XGBoost een marginaal hogere standaard F1-score behaalde (0.9960 vs. 0.9957), kwam MLP gelijk aan of presteerde het beter dan de baselines in de uiteindelijke getunede configuratie. MLP behaalde een APFD van 86,35%, waarmee het gelijk viel aan Logistic Regression en KNN, en presteerde iets beter dan XGBoost (86,25%) en SVM (86,33%) in de getunede scenario's.
Statistische Significantie: De Wilcoxon signed-rank tests bevestigden dat de superioriteit van MLP ten opzichte van alle vijf de baselines statistisch significant was ( $p < 0.001$ ) met grote effectgroottes ( $|r| \geq 0.98$ ). Opvallend genoeg, ondanks dat MLP en Random Forest een identieke gemiddelde APFD van 0.8635 deelden in de bootstrap-analyse, leverde de statistische test een significant resultaat op dat in het voordeel van MLP uitviel, evenals de vergelijking met KNN die ook een 0.8635 APFD deelde.
Hyperparameter Gevoeligheid: Hoewel XGBoost een marginaal hogere F1-score vertoonde met standaardparameters, verslechterde de prestatie na tuning (APFD daalde naar 86,25%), terwijl MLP stabiel bleef, wat suggereert dat MLP minder gevoelig is voor hyperparameter-variaties op deze specifieke dataset.
Generalisatie: De MLP demonstreerde robuustheid over de IOFROL en PAINTCONTROL datasets, waarbij een hoge nauwkeurigheid (ca. 89–94%) en APFD-scores (ca. 0.81–0.83) werden behouden, hoewel de prestaties varieerden op de Westermo-dataset vanwege extreme klasse-imbalans (lage recall).

Belangrijkste Bijdragen

Empirische Vergelijking: Biedt een rigoureuze, zij-aan-zij vergelijking van een deep learning-model (MLP) tegenover vijf klassieke ML-algoritmen onder strikt identieke experimentele omstandigheden over vier industriële datasets.
Metriek Validatie: Demonstreert empirisch dat classificatienauwkeurigheid een onbetrouwbare metriek is voor TCP in ongebalanceerde CI-omgevingen, en pleit voor APFD en F1-score als primaire evaluatiecriteria.
Statistische Rigor: Introduceert een robuust validatieframework met behulp van 1.000-iteratie bootstrap-resampling gecombineerd met Wilcoxon signed-rank tests om statistische significantie vast te stellen in single-split experimentele ontwerpen, zelfs wanneer de gemiddelde scores identiek zijn.
Hyperparameter Analyse: Levert empirisch bewijs over de impact van hyperparameter-tuning, waarbij wordt aangetoond dat hoewel tuning gunstig is, de optimale configuratie van de MLP (twee verborgen lagen, ReLU) relatief stabiel en minder complex is dan de maximale zoekruimte.

Betekenis en Claims
Het artikel claimt dat Multilayer Perceptrons effectief de complexe, niet-lineaire relaties tussen testcase-attributen en foutwaarschijnlijkheden kunnen modelleren, waarbij ze traditionele ML-technieken overtreffen bij CI-gebaseerde TCP-taken wanneer ze worden geëvalueerd met rigoureuze statistische methoden. De studie stelt dat deep learning-modellen een levensvatbaar pad bieden om de foutdetectiepercentages in industriële settings te verbeteren.

Cruciaal is dat de auteurs benadrukken dat hun bevindingen de inzet van MLP-gebaseerde TCP ondersteunen als een "drop-in enhancement" voor bestaande CI-pipelines, waarbij enkel historische executiedata vereist is. De studie concludeert dat hoewel nauwkeurigheid alleen onvoldoende is om TCP te evalueren, de combinatie van hoge APFD-scores en rigoureuze statistische validatie sterk bewijs levert voor de adoptie van MLP in regressietesten. De auteurs merken op dat toekomstig werk online leren, kostenbewuste prioritering (APFDc) en verklaarbaarheid moet verkennen, maar dat de huidige studie de fundamentele effectiviteit van MLP ten opzichte van klassieke baselines in dit domein vaststelt.

Meer zoals dit