💻 computer science

STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation

Dit artikel introduceert STMutants, de eerste publiekelijk beschikbare dataset voor mutation testing voor IEC 61131-3 Structured Text-programma's in industriële automatisering, die 108 gescreende mutanten bevat om reproduceerbaar onderzoek naar de effectiviteit van testsuites en AI-ondersteunde kwaliteitsborging voor veiligheidskritische PLC-software mogelijk te maken.

Oorspronkelijke auteurs: Md Humaun Kabir, Md Rakibul Islam, Helen H. Lou

Gepubliceerd 2026-06-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Md Humaun Kabir, Md Rakibul Islam, Helen H. Lou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kwaliteitsinspecteur bent in een fabriek. De machines aan de assemblagelijn worden aangestuurd door speciale computers die PLC's (Programmable Logic Controllers) worden genoemd. Deze machines draaien op een specifieke programmeertaal genaamd Structured Text (ST). Als de code een piepkleine fout bevat, kan de hele fabriek stilvallen, of erger nog, een machine zou kapot kunnen gaan en iemand pijn kunnen doen.

Lange tijd hadden onderzoekers een geweldige manier om te testen of hun veiligheidscontroles goed genoeg waren voor reguliere computerprogramma's (zoals apps op je telefoon), maar ze hadden geen standaard "oefentoets" voor deze industriële machines in fabrieken. Het was alsof je probeerde een student te leren een vrachtwagen te besturen zonder hem ooit in een vrachtwagen te laten zitten.

Dit artikel introduceert STMutants, een nieuwe "oefentoets" die specifiek is ontworpen voor deze machines in fabrieken. Zo werkt het, eenvoudig uitgelegd:

1. Het "Spel met de Nepfouten" (Mutation Testing)

Om te zien of een veiligheidstest goed is, kijk je niet alleen naar de code; je probeert de boel kapot te maken.

De Analogie: Stel je voor dat een docent een wiskundetoets aan een student geeft. Om te zien of de student de antwoorden echt kent, verandert de docent stiekem één getal in de som (bijv. een "5" veranderen in een "6") en kijkt of de student nog steeds het juiste antwoord krijgt.
In het artikel: De onderzoekers namen 11 echte fabriekssoftwareprogramma's en maakten 110 "nepfouten" (genaamd mutanten). Ze veranderden kleine dingen, zoals een schakelaar van "Aan" naar "Uit" zetten, een "groter dan"-teken veranderen in een "kleiner dan"-teken, of een plusteken vervangen door een minteken.
Het Resultaat: Ze hebben de lijst opgeschoond tot 108 echte, lastige fouten die een computer daadwerkelijk zou kunnen uitvoeren. Dit is de STMutants-dataset. Het is de eerste keer dat iemand een publieke, gestandaardiseerde lijst van deze specifieke "nepfouten" voor fabriekssoftware heeft gemaakt.

2. Het "AI-Student" Examen

Zodra ze de lijst met nepfouten hadden, wilden de onderzoekers zien of moderne Artificiële Intelligentie (AI) als een veiligheidsinspecteur kon optreden. Ze vroegen drie verschillende AI-modellen (denk aan drie zeer slimme studenten: GPT-5.2, Gemini 2.5 en Claude Sonnet 4.5) om twee dingen te doen:

Een Test Schrijven: Een checklist maken van invoergegevens om te zien of de code werkt.
De Fouten Vinden: Die checklist gebruiken om te zien of ze de eerder geplante 108 nepfouten konden ontdekken.

3. De Resultaten: Wie is Geslaagd?

De AI-modellen deden verrassend goed hun best, maar waren niet perfect.

De Winnaar: Gemini 2.5 was de beste student en ontdekte 94,4% van de nepfouten.
De Runners-up: GPT-5.2 en Claude Sonnet 4.5 eindigden gelijk met het vangen van 86,1% van de fouten.
Makkelijk vs. Moeilijk:
- Makkelijk: De AI was erg goed in het opsporen van eenvoudige rekenfouten of verkeerde getallen (zoals een "5" veranderen in een "6").
- Moeilijk: De AI had moeite met tijdsgebonden puzzels. Eén specifiek programma, genaamd SEQUENCE 8, was als een complexe choreografie waarbij de stappen afhangen van wat er in de vorige stap is gebeurd. De AI raakte in de war omdat hij de volgorde van gebeurtenissen in de loop van de tijd niet kon "onthouden". De AI miste veel fouten in dit specifieke programma.

4. Waarom dit Belangrijk is

Vóór dit artikel hadden onderzoekers geen standaard manier om verschillende hulpmiddelen voor het testen van fabriekssoftware met elkaar te vergelijken. Het was alsof iedereen zijn eigen verschillende liniaal gebruikte om een tafel te meten.

STMutants is nu de standaard liniaal.
Het bewijst dat AI kan helpen bij het schrijven van veiligheidscontroles voor machines in fabrieken, maar het laat ook zien dat AI nog steeds hulp nodig heeft bij complexe, tijdgevoelige taken.
Het artikel beweert niet dat AI al klaar is om menselijke ingenieurs te vervangen, maar het biedt de eerste solide "scorekaart" om onderzoekers te helpen betere, veiligere tools voor de toekomst te bouren.

In een notendop: De auteurs bouwden een "oefenexamen" van nepfouten voor industriële machinecode en gebruikten dit om drie AI's te testen. De AI's waren goed in het vinden van eenvoudige fouten, maar liepen vast bij complexe, tijdsgebonden logica. Deze dataset is nu beschikbaar voor iedereen om betere veiligheidstools voor fabrieken te bouwen.

Technische Samenvatting: STMutants

Probleemstelling
Mutatietesten is een gevestigde techniek voor het evalueren van de effectiviteit van testsuites, gebaseerd op de Competent Programmer Hypothesis en het Coupling Effect. Hoewel het breed wordt toegepast op mainstream talen zoals C, Java en Python, is er een kritiek gat in het domein van industriële automatisering. Specifiek ontbreken voor IEC 61131-3 Structured Text (ST) programma's, die Programmable Logic Controllers (PLC's) aansturen in veiligheidskritische omgevingen, een publiekelijk beschikbare, reproduceerbare benchmarkdataset voor mutatiegebaseerd onderzoek. Het ontbreken van een dergelijke dataset belemmert de systematische beoordeling van geautomatiseerde testtools en de opkomende mogelijkheden van Large Language Models (LLM's) voor PLC-software, waarbij fouten kunnen leiden tot schade aan apparatuur, productieverlies of fysieke schade.

Methodologie
De auteurs presenteren STMutants, een gecureerde dataset die is samengesteld via een rigoureuze vierfasen-methodologie:

Fouttype-profilering en Operatorselectie: Elf ST-programma's werden geselecteerd uit de OSCAT basic library en academische bronnen (Koziolek et al.), variërend in diverse functionele categorieën (Logica, Controle, Signaal, etc.) en met een omvang van 38 tot 211 regels code. Zeven categorieën van mutatie-operators werden gedefinieerd en aangepast van klassieke taxonomieën om aan te sluiten bij het ST-domein:
- Waarde Vervanging (VRO): Het wijzigen van constanten (numeriek, boolean, tijd).
- Vergelijkings-/Relationele Operator (CRO): Het wijzigen van randvoorwaarden (bijv. < naar ≤).
- Rekenkundige Vervanging (ARO): Het veranderen van rekenkundige operatoren (bijv. + naar -).
- Negatie Invoeging/Weglating (NIO): Het inverteren van booleaanse logica.
- Logische Operator (LRO): Het verwisselen van booleaanse connectieven (bijv. AND naar OR).
- Rekenkundige Operatie Invoeging/Weglating (AOIO): Het toevoegen of verwijderen van rekenkundige stappen.
- Initialisatie (IO): Het wijzigen van de standaardwaarden van variabelen.
Syntactische Transformatie: In totaal werden 110 first-order mutanten (10 per programma) gegenereerd door het toepassen van enkelvoudige atomaire token-substituties.
Compilabiliteitsverificatie: Alle mutanten werden gecompileerd met behulp van MATIEC, een standaard IEC 61131-3 compatibele omgeving, om syntactische en type-niveau validiteit te garanderen.
Equivalentie-screening: Een tweestaps proces elimineerde equivalente mutanten (die het gedrag van het programma niet veranderen). Dit omvatte statische pre-screening op dead code en redundante toewijzingen, gevolgd door een onafhankelijke dubbele review door twee experts. De inter-rater overeenkomst was sterk ( $\kappa = 0,87$ ). Twee mutanten van het FLOW METER programma werden uitgesloten omdat ze niet-testbaar waren, wat resulteerde in een definitieve dataset van 108 behouden mutanten.

Belangrijkste Bijdragen

Eerste Publieke Benchmark: STMutants is de eerste publiek beschikbare mutatietesten-dataset specifiek voor IEC 61131-3 Structured Text programma's.
Gestructureerde Taxonomie: Het introduceert een domeinspecifieke set van zeven mutatie-operators die zijn afgestemd op de syntactische en semantische kenmerken van PLC-software.
Reproduceerbare Baseline: De dataset bevat de originele programma's, de gegenereerde mutanten en de mutatiebeschrijvingen, wat reproduceerbaar onderzoek in geautomatiseerde testgeneratie en foutanalyse mogelijk maakt.
Baseline Evaluatie: De auteurs bieden de eerste empirische baseline voor LLM-gebaseerde mutatieanalyse in dit domein, waarbij drie modellen (GPT-5.2, Gemini 2.5 en Claude Sonnet 4.5) worden geëvalueerd op een twee-fasen taak: het genereren van unit test suites en het voorspellen van de uitkomsten van het doden/overleven van mutaties.

Experimentele Resultaten
De studie evalueerde het vermogen van door LLM gegenereerde test suites om geïnjecteerde fouten te detecteren:

Algemene Prestaties: Over de 108 behouden mutanten behaalden de modellen mutatiedetectie-accuratessen van 86,1% (GPT-5.2), 94,4% (Gemini 2.5) en 86,1% (Claude Sonnet 4.5).
Statistische Significantie: De Cochran's Q-test bevestigde significante prestatieverschillen ( $p=0,017$ ). Post-hoc analyse toonde aan dat Gemini 2.5 de andere twee modellen significant overtrof, terwijl GPT-5.2 en Claude Sonnet 4.5 gelijkwaardig presteerden.
Operator-specifieke Bevindingen:
- Modellen behaalden perfecte of bijna perfecte kill rates op rekenkundige (ARO, AOIO) en initialisatie (IO) fouten.
- Waarde Vervanging (VRO) en Vergelijking (CRO) waren de meest voorkomende fouttypen (70% van de dataset) en werden over het algemeen goed afgehandeld, hoewel VRO de meest uitdagende categorie bleef.
- Beperkingen in Temporeel Redeneren: De prestaties verslechterden aanzienlijk op het SEQUENCE 8 programma (een complexe 8-bit sequencer met 211 LOC). Terwijl GPT-5.2 een kill rate van 50% bereikte, daalden Gemini 2.5 en Claude Sonnet 4.5 naar 10%. De auteurs schrijven dit toe aan de moeilijkheid van de modellen om multi-cycle state transities te simuleren die vereist zijn om fouten te propageren in diep geneste temporele logica.

Significantie en Claims
Het artikel beweert dat STMutants een cruciaal gat vult in onderzoek naar industriële automatisering door een gestandaardiseerde, reproduceerbare benchmark te bieden voor het evalueren van testadequatheid in PLC-software. De resultaten laten zien dat hoewel huidige LLM's effectief zijn in het genereren van test suites voor waarde-gebaseerde en relationele fouten in ST-programma's, ze momenteel de betrouwbaarheid missen die vereist is voor complexe, status-afhankelijke temporele redenering. De dataset dient als fundament voor toekomstig onderzoek in geautomatiseerde testgeneratie, mutatieanalyse, foutlokalisatie en de ontwikkeling van AI-ondersteunde kwaliteitsborgingssystemen voor veiligheidskritische industriële besturingssoftware. De auteurs benadrukken dat de dataset is ontworpen om een rigoureuze, vergelijkbare evaluatie te ondersteunen, in plaats van te beweren dat huidige AI-oplossingen volledig klaar zijn voor implementatie in alle veiligheidskritische scenario's.

1. Het "Spel met de Nepfouten" (Mutation Testing)

2. Het "AI-Student" Examen

3. De Resultaten: Wie is Geslaagd?

4. Waarom dit Belangrijk is

Meer zoals dit