💬 NLP

Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines

Dit artikel presenteert een geautomatiseerde pijplijn die gebruikmaakt van parafrase-robuste clustering en een XGBoost-classificator om refactoringskansen in Behaviour-Driven Development-testsets te identificeren, te rangschikken en te categoriseren, waarbij wordt aangetoond dat de classificator aanzienlijk beter presteert dan zowel regelgebaseerde als Large Language Model-baselines bij het detecteren van uittrekbare stapsubsequenties in een groot corpus van Gherkin-bestanden.

Oorspronkelijke auteurs: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

Gepubliceerd 2026-05-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliothecaris bent die probeert een enorme, chaotische bibliotheek te organiseren waar elk boek een softwaretest is, geschreven in een speciale taal genaamd Gherkin. Deze tests vertellen een verhaal: "Gegeven dit, Wanneer dat, Dan dit."

Na verloop van tijd hebben de bibliothecarissen (ontwikkelaars) duizenden van deze verhalen geschreven. Maar ze hebben een enorme fout gemaakt: ze blijven dezelfde alinea's keer op keer kopiëren en plakken. Soms veranderen ze hier en daar een woord ("klik op de knop" versus "druk op de knop"), maar de betekenis is precies hetzelfde. Dit maakt de bibliotheek opgeblazen, moeilijk leesbaar en een nachtmerrie om bij te werken. Als je moet wijzigen hoe een knop werkt, moet je het in honderden verschillende plaatsen vinden en repareren.

Dit artikel gaat over het bouwen van een slimme robot-bibliothecaris die deze herhalende alinea's kan vinden, kan bepalen welke de moeite waard zijn om op te schonen, en je precies vertelt hoe je ze moet repareren.

Hier is hoe het artikel is opgebouwd, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Kopieer-Plak" Chaos

In het verleden konden onderzoekers alleen detecteren of een heel verhaal (een volledig testscenario) een duplicaat was. Maar de echte chaos vindt plaats in het midden van de verhalen.

De Analogie: Stel je twee romans voor waarvan de eerste drie hoofdstukken identiek zijn, maar de rest anders. Een eenvoudige scanner zou dit kunnen missen omdat het hele boek geen kopie is.
De Oplossing van het Artikel: Ze keken naar kleine stukjes tekst die "slices" worden genoemd (groepen van 2 tot 18 stappen achter elkaar). Ze vonden meer dan 5 miljoen van deze slices in 339 verschillende softwareprojecten.

2. De "Parafraze"-Uitdaging

De robot-bibliothecaris kan niet alleen zoeken naar exacte tekstovereenkomsten. Ontwikkelaars herschrijven dingen vaak.

De Analogie: Als iemand schrijft "De gebruiker logt in" en een ander schrijft "De klant tekent in", ziet een eenvoudige zoekmachine twee verschillende dingen. Maar een mens weet dat ze hetzelfde bedoelen.
De Oplossing van het Artikel: Ze gebruikten een speciale AI (genaamd SBERT) die de betekenis achter de woorden begrijpt, niet alleen de spelling. Het groepeert slices die hetzelfde betekenen, zelfs als de woorden verschillend zijn. Dit is vergelijkbaar met het groeperen van alle synoniemen samen, zodat de bibliothecaris het patroon duidelijk ziet.

3. De Drie Manieren om de Chaos te Repareren

Zodra de robot een herhalende slice vindt, moet hij beslissen hoe hij deze moet repareren. Het artikel identificeert drie specifieke "gereedschappen" voor de klus, afhankelijk van waar de herhaling plaatsvindt:

Gereedschap A: De "Achtergrond" (Binnen één enkel bestand)
- Analogie: Als elk verhaal in een specifiek boek begint met dezelfde drie zinnen, herschrijf je ze niet in elk hoofdstuk. Je schrijft ze eenmaal helemaal bovenaan het boek als een "Achtergrond"-notitie.
- Wanneer te gebruiken: Wanneer dezelfde stappen zich herhalen binnen één enkel bestand.
Gereedschap B: De "Hergebruikbare Hoofdstuk" (Binnen één project)
- Analogie: Als een specifieke reeks gebeurtenissen voorkomt in 50 verschillende boeken in dezelfde bibliotheek, schrijf je die reeks eenmaal in een "Hergebruikbare Hoofdstuk"-boek. Vervolgens schrijf je in de andere 50 boeken gewoon "Zie Herbruikbaar Hoofdstuk 4".
- Wanneer te gebruiken: Wanneer dezelfde stappen zich herhalen over verschillende bestanden binnen hetzelfde softwareproject.
Gereedschap C: De "Universele Opdracht" (Over verschillende bedrijven heen)
- Analogie: Als je ontdekt dat bijna elke bibliotheek ter wereld precies dezelfde zin gebruikt voor "Inloggen", maak je een universeel woordenboekinvoer voor deze zin. Elke bibliotheek kan dan gewoon zeggen "Gebruik Universeel Inloggen".
- Wanneer te gebruiken: Wanneer dezelfde stappen zich herhalen over totaal verschillende softwareprojecten die eigendom zijn van verschillende personen of bedrijven.

4. De "Slimme Hersenen" (Machine Learning versus LLM's)

De auteurs moesten de robot leren welke herhalende slices eigenlijk de moeite waard zijn om te repareren. Niet elke herhaling is nuttig; sommige zijn gewoon saai, triviaal dingen (zoals "status 200", wat gewoon betekent "het werkte").

De Training: Ze huurden drie menselijke experts in om 200 willekeurige slices te bekijken en te beslissen: "Is dit de moeite waard om te repareren?" en "Welk gereedschap (A, B of C) moeten we gebruiken?"
De Wedstrijd: Ze trainden een slim computermodel (genaamd XGBoost) om van deze mensen te leren. Vervolgens daagden ze het uit tegen twee andere "AI-rechters" (Large Language Models, of LLM's).
Het Resultaat: Het XGBoost-model was de duidelijke winnaar.
- De Menselijke Expert (XGBoost): Had het 89% van de tijd goed.
- De AI-Rechters (LLM's): Hadden het slechts 73% en 59% van de tijd goed.
- Waarom? De LLM's waren te voorzichtig. Ze zeiden vaak "Nee, repareer dit niet" zelfs als het een goed idee was, terwijl het gespecialiseerde model precies leerde waar de mensen naar op zoek waren.

5. De Grote Bevindingen

Nadat ze deze robot hebben laten draaien op de enorme bibliotheek van 1,1 miljoen teststappen, vonden ze het volgende:

Herhaling is overal: Ongeveer 75% van de testbestanden heeft herhalende stukken die kunnen worden opgeschoond met Gereedschap A (Achtergrond).
Herhaling over bestanden heen is gebruikelijk: Ongeveer 60% van de projecten heeft stukken die kunnen worden opgeschoond met Gereedschap B (Hergebruikbare Hoofdstuk).
Herhaling over bedrijven heen is zeldzaam maar echt: Slechts ongeveer 12% van de projecten heeft stukken die zo universeel zijn dat ze kunnen worden gedeeld tussen verschillende bedrijven (Gereedschap C).
De "Zelfde Eigenaar" Valstrik: Ze merkten op dat veel "over bedrijven heen"-herhalingen eigenlijk slechts één bedrijf (zoals DataDog) waren dat vele verschillende versies van hun software in verschillende talen publiceerde. De robot leerde deze te negeren, omdat ze niet echt "gedeeld" zijn tussen verschillende organisaties.

6. De Kernboodschap

Dit artikel biedt een blauwdruk en een gereedschap om automatisch de "kopieer-plak" chaos in softwarerests te vinden.

Het zegt niet alleen "Hé, er is een duplicaat."
Het zegt: "Hier is het duplicaat, hier is waarom het de moeite waard is om te repareren, en hier is de exacte codewijziging die je moet maken om het te repareren."

De auteurs hebben al hun code, data en het "regelboek" dat ze voor de mensen gebruikten, vrijgegeven, zodat iedereen anders deze robot kan gebruiken om hun eigen softwarebibliotheken op te schonen. Ze bewezen dat een gespecialiseerd, getraind model beter is in deze specifieke taak dan de algemene AI-chatbots waar we tegenwoordig vaak over horen.

Technische Samenvatting: Het Ontdekken van Refactoringkansen in Subscenario's binnen Behaviour-Driven Software Test Suites

Probleemstelling
Behaviour-Driven Development (BDD) test suites, geschreven in Gherkin, accumuleren onderhoudsrisico's vergelijkbaar met unit-test corpora, waaronder copy-paste opzet, parameter-variërende bijna-duplicaten en stille drift. Hoewel eerdere werken duplicatie op het niveau van een enkele stap hebben geïdentificeerd of "smells" op het niveau van het hele scenario hebben gecatalogiseerd, blijft een kritieke kloof bestaan: de praktische eenheid voor refactoring is zelden een geïsoleerde stap, maar een aaneengesloten reeks van twee of meer stappen (een "slice"). Bestaande sequentie-mining-algoritmen (bijv. PrefixSpan, SPADE) werken op exacte symbolenreeksen en kunnen de oppervlakte-parafrasevariaties die vaak voorkomen in BDD-stappen niet aan. Bovendien, hoewel drie concrete refactormechanismen bestaan (within-file Background, within-repo herbruikbare scenario's en cross-organisational gedeelde hogere-niveau stappen), automatiseert geen enkel eerdere werk de identificatie van welke terugkerende subreeksen de moeite waard zijn om te extraheren of koppelt deze aan het juiste mechanisme.

Methodologie
De auteurs presenteren een statische, parafrase-robuste subsequence-miner toegepast op een corpus van 339 GitHub-repositories (276 verschillende upstream eigenaren) met 1,1 miljoen Gherkin-stappen. De pijplijn is georganiseerd in drie hoofdstadia:

Mining en Embedding (Fasen 0–4):
- Slice Extractie: Het systeem extrahert alle aaneengesloten $L$ -stapvensters ( $L \in [2, 18]$ ) uit scenario's, wat resulteert in 5.382.249 slices.
- Parafrase Robuustheid: In plaats van ruwe tekstmatching worden slices gekoppeld aan "hybride clusteridentificatoren" afgeleid van de cukereuse-pijplijn. Om parafrase-equivalente slices die gemist worden door exacte cluster-ID-matching te herstellen, passen de auteurs een Sentence-BERT (SBERT) embedding-pas toe, gereduceerd via UMAP en geclusterd met HDBSCAN. Dit levert 33.121 parafrase-equivalentieclusters op.
- Scope Definitie: Recurrentie wordt gemeten over drie geneste scopes:
  - Within-file (RQ1): Kandidaten voor een Background-blok.
  - Within-repo cross-file (RQ2): Kandidaten voor een herbruikbaar scenario aangeroepen via I call feature file.
  - Cross-organisational (RQ3): Kandidaten voor een aangepaste hogere-niveau stap, gedefinieerd door recurrentie over verschillende upstream eigenaren (niet alleen repositories, om opblazen van aantallen door enkele eigenaren met meertalige SDK's te voorkomen).
Menselijke Labeling (Fase 5):
- Een gestratificeerde pool van 200 slices werd gelabeld door drie auteurs volgens een schriftelijke rubric.
- De rubric definieert een vier-categorie label "extraction-worthy" (ja, nee, onzeker, flagged-spec) en een mechanismelabel.
- De inter-rater overeenstemming (Fleiss' $\kappa$ ) bedroeg 0,56 voor extraction-worthiness en 0,79 voor mechanismeselectie.
Modellering en Baselines (Fasen 6–8):
- Classificator: Een XGBoost binaire classificator werd getraind om "extraction-worthiness" te voorspellen met behulp van kenmerken zoals slice-lengte ( $L$ ), support-aantallen, outlier-fractionen en scope-signalen.
- Mechanisme Predictor: Een secundaire head voorspelt het specifieke refactormechanisme.
- Baselines: De classificator werd vergeleken met een afgestemde regelgebaseerde baseline en twee open-weight Large Language Model (LLM) beoordelaars (gpt-oss-120b en ling-2.6-1t).

Belangrijkste Resultaten

Corpus Schaal: De miner identificeerde 692.020 verschillende terugkerende patronen. Hiervan komen 30.955 voor bij $\ge 2$ verschillende upstream eigenaren.
Classificator Prestaties: De XGBoost-classificator behaalde een out-of-fold F1-score van 0,891 (95% CI [0,852, 0,927]). Dit presteerde significant beter dan de regelgebaseerde baseline (F1 = 0,836, $p=0,017$ ) en beide LLM-beoordelaars (beste LLM F1 = 0,728, $p < 10^{-4}$ ).
Prevalentie: Na toepassing van de classificator-gate:
- 75,0% van de scenario's bevat een within-file Background-kandidaat.
- 59,5% bevat een within-repo herbruikbaar-scenario-kandidaat.
- 11,7% bevat een cross-organisational gedeelde-stap-kandidaat.
LLM Beperkingen: Hoewel LLM's zeer precies waren op de "ja"-klasse, waren ze conservatief in recall en onderschatten ze extraction-worthiness. Hun prestaties op de taak van mechanismeselectie (conditieel op "ja") waren hoog ( $\ge 0,95$ nauwkeurigheid), maar ze konden de classificator niet evenaren bij de primaire extractiebeslissing.
Filtering: Een keten van zes verificatieregels (R1–R6) reduceerde de kandidaatset van 464.073 naar 84.564 patronen, voornamelijk door geneste representaties te collapse en triviaal inhoud te verwijderen.

Betekenis en Bijdragen
Het artikel claimt de eerste parafrase-robuste subsequence-miner voor BDD-specificaties te bieden die op corporaschaal werkt. De primaire bijdragen zijn:

Een Slice Inventaris: Een gerangschikte lijst van 5,4 miljoen aaneengesloten stapsubreeksen, samengevoegd tot 692.020 terugkerende patronen, gekoppeld aan drie specifieke herbruikmechanismen met gepubliceerde Cucumber-Java-implementaties.
Automatische Ontdekking: Een pijplijn die de identificatie automatiseert van welke slices de moeite waard zijn om te extraheren, waarmee de "beperkende kosten" van handmatige doelidentificatie bij grootschalige BDD-adoptie worden aangepakt.
Empirisch Bewijs: Een demonstratie dat een gespecialiseerde ML-classificator significant beter presteert dan zowel regelgebaseerde heuristieken als kant-en-klare LLM-beoordelaars bij het bepalen van de geschiktheid voor refactoring van BDD test suites.
Reproduceerbaarheid: Alle artefacten, inclusief de mining-scripts, de gelabelde pool, de rubric en de getrainde classificatoren, zijn vrijgegeven onder de Apache-2.0-licentie.

De auteurs positioneren dit werk als het "welk"-component in een driepapers-arc: Mughal (2024) leverde het "hoe" (mechanismen), Mughal et al. (2026) leverde het "hoeveel" (schaal van duplicatie op stapniveau), en dit artikel levert het "welk" (extractiebeslissingen per slice). Het artikel concludeert dat hoewel terugkerende structuur alomtegenwoordig is, het cross-organisational signaal wordt gedomineerd door infrastructurele duplicatie (bijv. HTTP request/response-idiomen) in plaats van complexe bedrijfslogica, wat suggereert dat de meest directe waarde ligt in korte, frequent herhaalde macro's.