Intelligent Test Case Scheduling Using Multi-Criteria Decision Making for Human–Machine Interface Testing​

In de fabrieken die de machines bouwen die de moderne industrie aandrijven, vindt er een cruciaal moment plaats voordat een product de assemblagelijn verlaat: de eindinspectie. Dit is geen informele controle van de laklaag, maar een rigoureuze, hoogwaardige verificatie van de software waarmee een mens met een machine kan communiceren. Deze systemen, bekend als mens-machine-interfaces, moeten elke keer perfect werken, maar ze worden getest onder een meedogenloze beperking: tijd. De productielijn kan niet urenlang stilstaan om elke mogbare controle uit te voeren, en het budget voor testen is vastgesteld en niet onderhandelbaar. Als een kritieke fout doorsijpelt, kunnen de gevolgen ernstig zijn, maar als het testen te lang duurt, verliest de fabriek geld. Decennialang hebben ingenieurs dit dilemma opgelost door te vertrouwen op hun eigen ervaring, waarbij ze een subset van tests uitvoerden op basis van een intuïtie en oude checklists. Deze aanpak is inconsistent; de ene ingenieur kan een gevaarlijk defect ontdekken dat een andere mist, en het proces verandert telkens wanneer er een nieuwe productversie arriveert. De kernuitdaging is beslissen welke tests absoluut noodzakelijk zijn en welke overgeslagen kunnen worden zonder de veiligheid in gevaar te brengen, om zo een subjectieve gok om te zetten in een betrouwbare, op data gebaseerde beslissing.

Een team onderzoekers aan de Sichuan Technology and Business University heeft dit probleem aangepakt door een nieuwe manier te ontwikkelen om deze tests te plannen, waarbij ze de stap maken van menselijke intuïtie naar een wiskundig scoresysteem. Ze noemen hun methode het Time-Weighted Utility Scoring Model. In plaats van een ingenieur te vragen of hij een test moet uitvoeren of overslaan, berekent het systeem automatisch een score voor elke afzonderlijke testcase in de bibliotheek. Deze score is geen eenvoudige pass of fail; het is een complexe waarde die is afgeleid van drie specifieke factoren. Ten eerste kijkt het systeem naar het risico: hoe waarschijnlijk is het dat deze specifieke functie faalt op basis van de geschiedenis? Ten tweede weegt het de belangrijkheid: hoe cruciaal is deze functie voor de veiligheid en de werking van de machine? Ten derde meet het de kosten: hoeveel tijd en rekenkracht kost het om deze specifie specifieke test uit te voeren? Door deze drie elementen te combineren, genereert het model één enkel getal dat de algehele waarde vertegenwoordigt van het uitvoeren van die test op dit moment.

De onderzoekers pasten dit model toe op een industrieel mens-machine-interface systeem en ontdekten dat het de benodigde tijd voor testen drastisch kon inkorten zonder de veiligheid op te offeren. In hun experimenten duurde het uitvoeren van de volledige set tests 425,9 seconden. Door hun nieuwe scoresysteem te gebruiken om alleen de meest waardevolle tests te selecteren, verkortten ze de totale tijd naar 174,9 seconden, een reductie van bijna 59 procent. Cruciaal was dat deze snelheid niet ten koste ging van het missen van fouten. Het systeem detecteerde 100 procent van de kritieke fouten die de volledige testsuite ook zou hebben gevonden. Dit bereikte het door een kleine groep tests met een hoge prioriteit te identificeren die verplicht waren voor de veiligheid, en vervolgens een slimme bemonsteringsmethode te gebruiken voor de rest, waardoor de meest waarschijnlijke fouten vroeg in het proces werden opgevangen.

Het hart van het systeem is het vermogen om te leren en zich aan te passen. De scores zijn niet statisch; ze worden bijgewerkt na elke ronde van testen. Als een testcase in het verleden vele malen succesvol is geslaagd, daalt de risicoscore van die test, en kan het systeem besluiten deze met een lagere waarschijnlijkheid uit te voeren. Omgekeerd, als een testcase een geschiedenis van falen heeft, stijgt de risicoscore, en geeft het systeem de voorkeur aan deze test om ervoor te zorgen dat het probleem wordt opgemerkt. Voor gevallen met een score boven een vooraf bepaalde drempelwaarde, neemt het systeem deze deterministisch op als verplichte tests, terwijl de rest wordt toegelaten via probabilistische bemonstering evenredig aan hun scores. Dit creëert een feedbackloop waarbij de teststrategie evolueert met het product. De onderzoekers valideerden deze aanpak door vijf verschillende senior engineers onafhankelijk de belangrijkheid en het risico van de tests te laten beoordelen. Ze ontdekten dat hoewel de individuele meningen van de ingenieurs licht varieerden, de uiteindelijke resultaten van het systeem stabiel en consistent bleven over verschillende groepen data. Dit bewijst dat de methode niet afhankelijk is van het specifieke oordeel van één persoon, maar een betrouwbare uitkomst produceert ongeacht wie de scoring uitvoert.

Een van de meest significante bevindingen is dat het systeem niet alleen de goedkoopste tests kiest of de tests met de meeste historische fouten. Het balanceert alle drie de factoren tegelijkertijd. Wanneer de onderzoekers het systeem testten door slechts naar één factor te kijken tegelijk—zoals het kiezen van tests enkel op basis van kosten of enkel op basis van risico—waren de resultaten veel slechter. Het systeem dat alle drie de factoren samen overwegde, was in staat om fouten veel sneller en met minder tests te vinden dan enige methode gebaseerd op een enkele factor. In hun proeven had de nieuwe methode slechts ongeveer 23 specifieke testcases nodig om een detectiegraad van 100 procent van de fouten te bereiken binnen de specifieke experimentele groep van 1.200 executies, terwijl andere methoden aanzienlijk meer tests vereisten om hetzelfde niveau van vertrouwen te bereiken. Deze efficiëntie betekent dat fabrieken de veiligheid van hun producten in minder dan de helft van de tijd kunnen verifiëren, waardoor middelen vrijkomen voor productie terwijl een zero-tolerance standaard voor kritieke defecten wordt gehandhaafd.

De studie toont aan dat het vervangen van ad-hoc, op ervaring gebaseerde beslissingen door een gedocumenteerde, op scores gebaseerde procedure niet alleen mogelijk, maar ook superieur is voor veiligheidskritische industriële software. De onderzoekers lieten zien dat door testselectie te behandelen als een kwaliteitsrisico-beslissing in plaats van een eenvoudige efficiëntieoverweging, zij de verificatie van kritieke functies konden garanderen terwijl ze het aantal gevonden fouten per tijdseenheid maximaliseerden. De resultaten waren consistent over meerdere onafhankelijke groepen data, wat suggereert dat de methode robuust en reproduceerbaar is. Door het chaotische proces van testselectie om te zetten in een systematisch, op middelen gericht plan, biedt deze aanpak een nieuwe standaard voor de acceptatietests in fabrieken, waardoor wordt gewaarborgd dat de machines die onze wereld aandrijven veilig, betrouwbaar en klaar voor de markt zijn zonder kostbare tijd te verspillen.