Risk Based Software Test Prioritization Using Machine Learning Defect Prediction on Five Open Source Repositories
Dit artikel legt een fatale label-kenmerk-circulariteit bloot in standaard risicogebaseerd softwaretesten die de prestaties van machine learning opblaast, en stelt vervolgens een rigoureus protocol voor met het verwijderen van lekkende kenmerken en strikte evaluatie om een bescheiden maar statistisch robuuste verbetering van 3,64% ten opzichte van sterke baselines aan te tonen, terwijl het onthult dat deze modellen niet temporeel generaliseren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte, veranderlijke landschap van de moderne softwareontwikkeling wordt code geschreven, getest en bijgewerkt met een snelheid die elk menselijk team zou overweldigen. Om dat tempo bij te houden, vertrouwen ingenieurs op geautomatiseerde systemen die duizenden controles uitvoeren elke keer dat er een wijziging wordt doorgevoerd. Deze controles, bekend als tests, vormen het vangnet dat fouten opvangt voordat ze de gebruikers bereiken. Echter, naarmate software groeit, groeit het aantal tests nog sneller, totdat het zo groot wordt dat het draaien van elke enkele test te lang duurt. Wachten op een volledige ronde van controles kan de introductie van nieuwe functies urenlang vertragen, wat het hele creatieve proces afremt. Dit creëert een moeilijk dilemma: teams moeten snel zijn, maar ze kunnen het zich niet veroorloven om de veiligheidscontroles over te slaan. De oplossing waar velen tot is gekomen, is risicogebaseerd testen, een strategie die probeert te raden welke delen van de code het meest waarschijnlijk zullen breken en die eerst controleert. De hoop is om fouten snel te vinden zonder tijd te verspillen aan de delen van het systeem die stabiel zijn.
Jarenlang hebben onderzoekers geprobeerd computers te leren deze voorspellingen te doen met behulp van machine learning, een methode waarbij software patronen leert van gegevens uit het verleden. Ze voedden de computers met informatie over hoe bestanden werden gewijzigd, wie ze veranderde en hoe vaak. Het doel was om een model te bouwen dat naar een bestand kon kijken en kon zeggen: "Dit is riskant; controleer dit eerst." Maar een nieuw onderzoek door onafhankelijk onderzoeker Vijay Prasad Javvadi onthult dat veel van deze eerdere pogingen gebouwd waren op een fundamentele fout. De studie laat zien dat de gegevens die gebruikt werden om de computer te leren hoe een "foutgevoelig" bestand eruitziet, vaak dezelfde gegevens waren die werden gebruikt om de voorspelling te doen. Het was alsof je een student vraagt een toetsresultaat te voorspellen terwijl je hem stiekem het antwoordmodel als studiegids meegeeft. De computer leerde niet de toekomst te voorspellen; hij las simpelweg het label dat hij moest raden.
Javvadi zette zich tegen deze fout af door de datalekken te verwijderen en opnieuw te beginnen met een schone set regels. Hij verzamelde gegevens van vijf enorme, bekende open-source projecten en onderzocht bijna driehonderdduizend bestanden. In de oude, gebrekkige methode werd de computer verteld dat een bestand "defectgevoelig" was als het ooit was hersteld voor een bug, en kreeg het vervolgens het exacte aantal van die herstellingen als aanwijzing om de voorspelling te doen. Javvadi verwijderde die misleidende aanwijzingen. Hij dwong de computer om alleen te vertrouwen op andere signalen, zoals hoe vaak een bestand was aangeraakt, hoeveel verschillende mensen eraan werkten en hoeveel code er was toegevoegd of verwijderd. Hij vergeleek deze slimme modellen vervolgens met een zeer eenvoudige, niet-slimme aanpak: de bestanden simpelweg sorteren op basis van hoe vaak ze waren gewijzigd.
De resultaten waren onthullend. Toen de misleidende aanwijzingen werden verwijderd, stortten de complexe machine learning-modellen niet in, maar ze verrichtten ook geen wonderen. Het slimste model, een type algoritme genaamd Random Forest, slaagde erin om ongeveer 46,5 procent van de defecte bestanden te identificeren wanneer er alleen naar de top 10 procent van de meest verdachte bestanden werd gekeken. Dit was een echte verbetering, maar het was bescheiden. Belangrijker nog was dat de eenvoudige methode van het simpelweg tellen van hoe vaak een bestand was gewijzigd, bijna even goed was en ongeveer 43 procent van de slechte bestanden ving. Het slimme model behaalde slechts een klein voordeel van ongeveer drie tot vier procentpunten ten opzichte van de eenvoudige telling. Dit suggereert dat hoewel machine learning kan helpen, het krachtigste signaal voor het vinden van bugs vaak gewoon de ruwe geschiedenis is van hoe vaak een bestand is bewerkt.
De studie onthulde ook een verrassende beperking over hoe ver deze voorspellingen in de toekomst kunnen reiken. Wanneer de onderzoekers probeerden de modellen te testen op bestanden die gloednieuw waren — bestanden die net waren aangemaakt en nog geen tijd hadden gehad om een geschiedenis van wijzigingen op te bouwen — faalden de modellen volledig. Ze presteerden niet beter dan willekeurige gokken. Dit gebeurde omdat de definitie van een "buggy" bestand rustte op een geschiedenis van eerdere herstellingen. Een gloednieuw bestand heeft geen geschiedenis, dus het model had geen manier om te weten of het uiteindelijk problematisch zou worden. Deze bevinding dient als een waarschuwing: deze tools zijn uitstekend in het beschrijven van welke bestanden momenteel risicovol zijn op basis van hun verleden, maar ze kunnen niet betrouwbaar voorspellen welke gloednieuwe bestanden morgen risicovol zullen worden.
Uiteindelijk biedt dit onderzoek een duidelijker, eerlijker beeld van hoe men testen van software moet prioriteren. Het bevestigt dat de oude methoden opgeblazen waren door een verborgen fout, maar het bewijst ook dat een gecorrigeerde aanpak nog steeds waarde heeft. De beste weg voorwaarts voor engineeringteams is niet om te vertrouwen op complexe, black-box voorspellingen, maar om een combinatie te gebruiken van eenvoudige, begrijpelijke signalen en een lichtgewicht machine learning-model. De studie adviseert het gebruik van een specif kind van snel algoritme dat een voorspelling kan doen in minder dan een milliseconde, waardoor het direct kan draaien terwijl een ontwikkelaar typt. Deze aanpak belooft niet elke fout te vangen, maar biedt een statistisch verantwoorde manier om de beperkte testtijd te richten op de bestanden die daar het meest waarschijnlijk aan toe zijn, waarbij de behoefte aan snelheid wordt afgewogen tegen de noodzaak van veiligheid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.