AnoMLP-TCP: A Lightweight Feedforward Neural Network Approach for Anomaly-Aware Test Case Prioritization in Continuous Integration

In de wereld van moderne softwareontwikkeling worden programma's zelden eenmalig gebouwd en daarna met rust gelaten. In plaats daarvan evolueren ze voortdurend, waarbij nieuwe functies worden toegevoegd en oude worden bijgesteld in een snelle cyclus die bekend staat als continue integratie. Elke keer dat een wijziging wordt aangebracht, moet het hele systeem worden getest om te garanderen dat er niets is gebroken. Dit proces, genaamd regressietesten, is essentieel voor de kwaliteit, maar is een bottleneck geworden. Naarmate software groeit, wordt de lijst met tests die nodig zijn om het te controleren enorm. Het draaien van elke afzonderlijke test na elke kleine wijziging duurt te lang, wat de feedback aan de engineers die het nodig hebben vertraagt. Om dit op te lossen, gebruiken onderzoekers een strategie genaamd testcase-prioritering. Deze aanpak verwijdert geen tests; in plaats daarvan rangschikt ze opnieuw, waarbij de tests die het meest waarschijnlijk een probleem zullen vinden, helemaal vooraan in de rij plaatst. Het doel is simpel: de fouten zo vroeg mogelijk vinden, zodat ze voor het einde van de dag kunnen worden opgelost.

Jarenlang hebben de meest geavanceerde methoden voor deze prioritering vertrouwd op complexe, diepe leerprocessen (deep learning) die de manier nabootsen waarop het menselijk brein sequenties van informatie over tijd verwerkt. Deze modellen, bekend als recurrente neurale netwerken, zijn krachtig maar zwaar, en vereisen aanzienlijke rekenkracht en tijd om te trainen. Een team onderzoekers aan de Abubakar Tafawa Balewa Universiteit in Nigeria stelde een fundamentele vraag: is al die complexiteit eigenlijk wel nodig? Ze vroegen zich af of een veel eenvoudigere vorm van kunstmatige intelligentie, één die gegevens in één enkele passage bekijkt in plaats van een lange geschiedenis te onthouden, dezelfde resultaten zou kunnen behalen. Om dit te ontdekken, ontwikkelden ze een nieuw, lichtgewicht systeem genaamd AnoMLP-TCP en zetten ze dit af tegen de meer ingewikkelde, gevestigde modellen met behulp van echte gegevens van ABB Robotics in Noorwegen.

De onderzoekers werkten met drie verschillende datasets van industriële robots, die duizenden testruns en miljoenen geregistreerde uitkomsten bevatten. Deze datasets bevatten informatie zoals hoe lang een test duurde om uit te voeren, wanneer deze voor het laatst werd uitgevoerd, hoe vaak deze in het verleden was geslaagd of gefaald, en of de status recentelijk was gewijzigd. Ze voedden het systeem ook een speciale score die ongewoon gedrag markeerde, wat het model hielp om anomalieën te spotten die op een verborgen probleem zouden kunnen wijzen. Het team trainde hun nieuwe, eenvoudigere systeem op deze historische gegevens en vroeg het model vervolgens om te voorspellen welke tests eerst gedraaid zouden moeten worden in toekomstige scenario's. Ze vergeleken de prestaties direct met een complexer, tijdbewust model dat eerder als de state-of-the-art oplossing werd beschouwd.

De resultaten waren opmerkelijk. Het nieuwe, lichtgewicht systeem presteerde net zo goed als het zware, complexe systeem. Wat betreft de primaire metriek die wordt gebruikt om te meten hoe snel fouten worden gevonden, behaalden beide modellen identieke scores over alle drie de industriële datasets. Op één dataset behaalden beide modellen een score van 0,959; op een andere behaalden ze beide 0,893; en op de derde scoorden ze beide 0,821. Dit betekent dat het nieuwe systeem, ondanks dat het met een veel eenvoudigere architectuur is gebouwd, in staat was om de tests in exact dezelfde volgorde van effectiviteit te rangschikken als het meer geavanceerde model. De onderzoekers ontdekten dat het complexe model geen enkel voordeel bood bij het sneller vinden van fouten, noch verbeterde het de nauwkeurigheid van de rangschikking wanneer slechts een deel van de tests kon worden uitgevoerd vanwege tijdslimieten.

De ware waarde van deze ontdekking ligt in efficiëntie. Het complexe model vereiste meer dan vijf keer zoveel interne instellingen, ook wel parameters genoemd, om te functioneren vergeleken met het nieuwe systeem. Specifiek had het complexe model 54.577 parameters, terwijl het nieuwe systeem slechts 13.057 nodig had. Deze enorme reductie in omvang vertaalde zich direct naar snelheid. Het nieuwe systeem trainde aanzienlijk sneller en nam op sommige datasets minder dan de helft van de tijd in beslag per trainingscyclus. Bijvoorbeeld, op één dataset nam het nieuwe systeem 0,719 seconden om een trainingsstap te verwerken, terwijl het complexe model 1,426 seconden duurde. In een omgeving waar software constant wordt bijgewerkt en modellen frequent opnieuw getraind moeten worden, is dit verschil in snelheid substantieel. Dit betekent dat bedrijven hun teststrategieën vaker kunnen bijwerken zonder te hoeven wachten tot trage, rekenintensieve computers hun werk hebben voltooid.

De studie behandelde ook een specifiek technisch obstakel dat deze soorten experimenten vaak teistert. De onderzoekers ontdekten dat het oorspronkelijke complexe model, wanneer het exact volgens de eerdere literatuur werd geïmplementeerd, leed aan een gebrek waardoor het slechts een handvol verschillende prioriteitsscores kon produceren, wat het minder bruikbaar maakte. Door de laatste laag van het model aan te passen om een continu bereik van waarden toe te staan, zorgden zij voor een eerlijke vergelijking. Zelfs met deze correctie presteerde het complexe model niet beter dan het eenvoudige model. De onderzoekers merkten op dat in deze specifieke industriële datasets de kenmerken die fouten voorspelden zo duidelijk waren, dat zelfs een eenvoudig model de falende tests met perfecte nauwkeurigheid van de geslaagde tests kon onderscheiden. Dit suggereert dat voor dit soort problemen de extra complexiteit van het onthouden van lange sequenties van de geschiedenis overbodig was.

Uiteindelijk toont het werk aan dat in de specifieke context van het prioriteren van tests voor continue integratie, een eenvoudigere aanpak net zo effectief kan zijn als een complexe. Het nieuwe systeem, AnoMLP-TCP, bewijst dat je geen massieve, deep learning-architectuur nodig hebt om dit probleem op te lossen. In plaats daarvan kan een gestroomlijnd model dat zich richt op belangrijke historische indicatoren en anomaliedetectie dezelfde hoogwaardige resultaten leveren, terwijl het slechts een fractie van de computermiddelen gebruikt. Deze bevinding biedt een praktisch pad voor softwareteams die efficiënte, betrouwbare teststrategieën nodig hebben zonder de last van het onderhouden van zware, traag te trainen kunstmatige intelligentiesystemen. De studie concludeert dat hoewel de complexe modellen niet "fout" zijn, ze waarschijnlijk overontworpen zijn voor deze specifieische taak, en dat er een lichter alternatief beschikbaar is voor degenen die snelheid en eenvoud nodig hebben.