Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark

Dit artikel behandelt de onderhoudskosten van dubbele Gherkin-stappen in Behaviour-Driven Development door het vrijgeven van een grootschalige, organisatieoverstijgende benchmark van meer dan 1,1 miljoen stappen en het introduceren van een parafrase-robuuste detector die exacte, lexicale en semantische methoden combineert om significante elimineerbare redundantie te identificeren en te kwantificeren.

De kern

Stel je voor dat je de redacteur bent van een enorme, collaboratieve kookbundel. Duizenden chefs uit verschillende keukens hebben recepten bijgedragen. Na verloop van tijd merk je een probleem op: dezelfde instructies verschijnen steeds opnieuw, maar dan net iets anders geschreven.

Eén chef schrijft: "Voeg twee koppen bloem toe."
Een ander schrijft: "Voeg 2 koppen bloem toe."
Een derde schrijft: "Doe 2 koppen bloem in de kom."

In de wereld van softwaretesten worden deze instructies Gherkin-stappen genoemd. Dit zijn de "recepten" die een computer vertellen hoe hij software moet testen. Het probleem is dat wanneer deze instructies worden gedupliceerd of licht worden geparafraseerd, het een nachtmerrie wordt om ze te onderhouden. Als je een stap wilt aanpassen (zoals "voeg bloem toe" veranderen in "voeg amandelbloem toe"), moet je misschien duizenden kopieën opsporen en bewerken in plaats van er slechts één.

Dit artikel, getiteld "Déjà Vu at Scale," gaat over het bouwen van een superintelligent hulpmiddel om deze duplicaten te vinden, zelfs wanneer ze op een iets andere manier zijn geschreven, en het creëren van een enorme bibliotheek met voorbeelden om te bewijzen dat het hulpmiddel werkt.

Hier is de onderverdeling van wat ze hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: Het "Déjà Vu"-effect

De auteurs ontdekten dat duplicatie overal voorkomt in de softwarewereld. Ze bekeken 347 verschillende softwareprojecten (zoals 347 verschillende kookboeken) en vonden meer dan 1,1 miljoen instructies.

• De Statistiek: Ze ontdekten dat 80% van deze instructies een exacte kopie is van iets anders.
• De Pijn: Als een bedrijf een typefout wil herstellen of een regel wil wijzigen, moeten ze misschien duizenden bestanden bewerken. Het is alsoals proberen een recept in een kookboek bij te werken waarbij dat recept op 1.000 verschillende pagina's in 1.000 verschillende boeken staat geschreven.

2. De Oplossing: Een "Slimme Bibliothecaris"

De auteurs bouwden een tool genaamd cukereuse. Zie dit hulpmiddel als een super-bibliothecaris die de instructies kan lezen en begrijpt dat "Voeg 2 koppen toe" en "Voeg twee koppen toe" hetzelfde zijn, zelfs als de spelling of de tussenruimte anders is.

Ze gebruikten niet slechts één trucje; ze gebruikten een vierlaags verdedigingssysteem om duplicaten te vangen:

1. De Exacte Match: Als twee instructies identiek zijn tot op de laatste letter (zoals twee fotokopieën), vangt het systeem deze direct op.
2. De "Bijna" Match: Als de instructies voor 90% hetzelfde zijn (zoals "Voeg 2 koppen toe" versus "Voeg twee koppen toe"), vangt het systeem ook die op.
3. De "Betekenis" Match: Dit is het slimme gedeelte. Het gebruikt AI (genaamd Sentence Transformers) om de betekenis te begrijpen. Het weet dat "De gebruiker klikt op de knop" en "Klikken op de knop door de gebruiker" hetzelfde betekenen, zelfs als de woorden totaal anders zijn.
4. De Hybride: Het combineert de "Bijna" en "Betekenis" controles om extra zeker te zijn.

3. Het Bewijs: De "Gouden Standaard" Test

Om te bewijzen dat hun bibliothecaris daadwerkelijk goed was, hebben ze niet gewoon geraden. Ze creëerden een enorme testset:

• Ze namen 1.020 paren instructies.
• Drie verschillende mensen (de auteurs) lazen ze handmatig en beslisten: "Zijn dit duplicaten of niet?"
• Ze zorgden ervoor dat iedereen het eens was over de antwoorden (een hoge score genaamd Fleiss' κ = 0.84, wat betekent dat een team van juryleden allemaal het eens is over wie een wedstrijd heeft gewonnen).
• Het Resultaat: Hun "Betekenis Match"-tool was erg goed, maar de "Bijna Match"-tool was de meest betrouwbare en eerlijke; deze identificeerde duplicaten ongeveer 82% van de tijd zonder in de war te raken door de testregels.

4. De Grote Ontdekking: De Besparingen door "Consolidatie"

Het meest opwindende deel van het artikel is de wiskunde die ze deden over de besparingen.

• Ze ontdekten dat je in een typisch softwareproject ongeveer 62,5% van de duplicaatinstructies kunt verwijderen en kunt vervangen door slechts één "meesterinstructie".
• De Analogie: Stel je voor dat je 100 pagina's van een kookboek hebt. Nadat je deze tool hebt gebruikt, besef je dat je slechts 37 unieke pagina's nodig hebt. De andere 63 pagina's zijn slechts kopieën. Je kunt ze weggooien, waardoor je boek veel dunner en makkelijker te beheren wordt.
• Ze koppelden dit aan ISO/IEC 25010, wat in feite een wereldwijde regelset is voor "goede software". Ze lieten zien dat het opruimen van deze duplicaten software makkelijker te wijzigen maakt (Onderhoudbaarheid) en minder snel kapot laat gaan (Betrouwbaarheid).

5. Wat Ze aan de Wereld Hebben Gegeven

De auteurs hebben hun bevindingen niet voor zichzelf gehouden. Ze hebben een "starterpack" uitgebracht voor iedereen die dit onderzoek wil doen:

• De Data: Een enorme collectie van 1,1 miljoen echte instructies uit publieke softwareprojecten.
• De Test: De 1.020 paren instructies met de "gouden standaard" antwoorden.
• De Tool: De eigenlijke softwarecode (cukereuse) die de duplicaten vindt.
• De Regels: Een handleiding over hoe zij hebben besloten wat een duplicaat is.

Samenvatting

Kortom, dit artikel zegt: "Instructies voor softwaretesten zitten vol met onnodige duplicaten, wat ze moeilijk te beheren maakt. We hebben een slimme tool gebouwd die deze duplicaten vindt (zelfs wanneer ze anders zijn geschreven), bewezen dat het werkt met een enorme, hoogwaardige test, en aangetoond dat het oplossen hiervan softwareteams een enorme hoeveelheid tijd en moeite kan besparen. We geven al onze tools en data gratis weg zodat anderen ze kunnen gebruiken."

Wat ze NIET hebben beweerd:

• Ze hebben niet precies gezegd hoeveel geld dit bespaart (omdat elk bedrijf zijn werknemers anders betaalt).
• Ze hebben niet gezegd dat dit alle softwarekwaliteitsproblemen oplost, alleen het specifieke probleem van duplicaatinstructies.
• Ze hebben niet beweerd dat hun tool werkt op private, geheime bedrijfsgegevens (aangezien ze alleen naar publieke data hebben gekeken).

Technische samenvatting

Technische Samenvatting: Déjà Vu op Schaal

Probleemstelling
Behaviour-Driven Development (BDD) suites, geschreven in de Gherkin-taal, vertonen frequent duplicatie van stap-teksten. Bestaand onderzoek stelt vast dat dergelijke duplicatie aanzienlijke onderhoudskosten met zich meebrengt, met name wanneer stapdefinities bij meerdere voorkomsten moeten worden hernoemd of gerefactord. Bestaande detectietechnieken lijden onder kritieke beperkingen: dynamische benaderingen (bijv. Binamungu et al., 2018–2023) vereisen uitvoerbare testsuites, wat onhaalbaar is op cross-repository schaal; statische benaderingen (bijv. Irshad et al., 2020–2022) zijn vaak beperkt tot enkele organisaties of missen granulariteit op stapniveau. Bijgevolg is er een gat voor een puur statische, parafrase-robuuste, stap-niveau detector die toepasbaar is op elke repository, vergezeld van een publieke benchmark voor kalibratie.

Methodologie
De auteurs presenteren cukereuse, een statische analyse-tool en de bijbehorende empirische studie. De methodologie is gestructureerd rond drie kerncomponenten:

1. Corpus Constructie:

   • Ontdekking: Met behulp van de GitHub REST Search API identificeerden de auteurs repositories die Gherkin-bestanden bevatten, waarbij gefilterd werd op repositories met $\ge$10 sterren en gearchiveerde projecten werden uitgesloten.
   • Materialisatie: 347 repositories werden via sparse-cloning verkregen, wat resulteerde in 23.667 geparseerde .feature bestanden en 1.113.616 Gherkin-stappen.
   • Identiteitsdefinitie: De identiteit van een stap wordt gedefinieerd als de BLAKE2b-hash van de witruimte-gecomprimeerde tekst, waarbij keywords (Given/When/Then) en bijbehorende argumenten (DocStrings/DataTables) worden uitgesloten, terwijl parameters en literals worden behouden. Dit weerspiegelt de resolutie-logica van de Cucumber runtime.

2. Detectiestrategieën:
   De tool bevat vier strategieën langs een precisie/rekenkosten-front:

   • Exact: BLAKE2b-hashing op genormaliseerde tekst.
   • Near-Exact: Genormaliseerde Levenshtein-ratio.
   • Semantisch: Sentence-BERT (SBERT) cosinus-gelijkenis.
   • Hybride: Een combinatie van SBERT cosinus-gelijkenis en een Levenshtein-band guard om ruis te filteren.

3. Evaluatie en Benchmarking:

   • Gelabelde Benchmark: Een dataset van 1.020 stepparen werd handmatig gelabeld door drie auteurs met behulp van een gedeelde rubric (Fleiss' $\kappa$ = 0,84 op een overlap van 60 paren).
   • Circulariteitscontrole: Om de dreiging van score-gebaseerde rubric-regels (R1–R3) die de detector zouden kunnen beïnvloeden aan te pakken, werd een "score-vrij" tweede-pass labelingsprotocol geïntroduceerd. Dit protocol gebruikt deterministische tekst-herschrijfregels (bijv. token-multiset identiteit, subsequence containment) zonder toegang te hebben tot gelijkenisscores.
   • Baselines: De studie vergelijkt de voorgestelde strategieën met twee klassieke lexicale baselines: Token-set Jaccard (in de stijl van SourcererCC) en TF-IDF karakter n-gram cosinus (in de stijl van NiCad).

Belangrijkste Bijdragen

1. Grootste Cross-Organisationale Corpus: Een dataset van 1,1 miljoen Gherkin-stappen over 347 repositories, vrijgegeven met SPDX licentie-tags en een Gebru-stijl datasheet.
2. Eerste Publieke BDD Benchmark: Een gelabelde benchmark van 1.020 paren met een hoge inter-annotator overeenstemming, specifiek ontworpen voor het kalibreren van duplicate-detectors.
3. Score-Vrij Relabelling Protocol: Een methodologische bijdrage om de circulariteit tussen score-gebaseerde detectoren en score-gebaseerde evaluatie-rubrics te begrenzen.
4. Consolidatie-Besparingsmodel: Een kwantitatief model dat gedetecteerde clusters koppelt aan ISO/IEC 25010 kwaliteitskenmerken (specifiek onderhoudbaarheidssubkenmerken zoals modificeerbaarheid en herbruikbaarheid).
5. Open Source Tooling: De cukereuse tool, de analyse-pipeline en alle artefacten zijn vrijgegeven onder permissieve licenties.

Resultaten

• Duplicatie Prevalentie: De stap-gewogen exacte duplicatiegraad is 80,2%. De mediane repository heeft een duplicatiegraad van 58,6%. De meest frequente hybride cluster ("the response status is 200 OK") verschijnt 20.737 keer in 2.245 bestanden.
• Detectieprestaties:
  • Onder de primaire rubric behaalde de semantische strategie een F1 van 0,906, maar dit werd geïdentificeerd als een stratificatie-artefact (recall = 1,000 door rubric-regels).
  • Onder de score-vrije relabelling (de "eerlijke" metriek) presteerde de near-exact (Levenshtein) strategie het best met een F1 van 0,822.
  • De semantische strategie daalde naar F1 = 0,772 onder score-vrije labels, terwijl lexicale baselines bereikten respectievelijk F1 = 0,761 (Jaccard) en 0,799 (TF-IDF).
• Consolidatiepotentieel: Het model schat dat 893.357 stap-tekst voorkomens (ongeveer 80% van het corpus) vatbaar zijn voor consolidatie onder exacte matching. Op een mediane repository zijn 62,5% van de stap-regels elimineerbaar.

Significantie en Claims
Het artikel claimt een specifieke, meetbare kloof in BDD-kwaliteitstools te dichten door de eerste statische, parafrase-robuuste, cross-organisationale duplicate-stap detector te bieden. De significantie ligt niet in de claim alle BDD-kwaliteitsproblemen op te lossen, maar in het leveren van de noodzakelijke empirische artefacten (corpus, benchmark en tool) om toekomstig onderzoek en praktische toepassing mogelijk te maken.

De auteurs stellen expliciet dat de gedetecteerde clusters mappen aan ISO/IEC 25010 onderhoudbaarheidssubkenmerken (modificeerbaarheid, modulariteit, herbruikbaarheid, analyseerbaarheid, testbaarheid) en indirect aan betrouwbaarheid via driftpreventie. De paper behoudt echter bescheidenheid met betrekking tot de economische impact: het kwantificeert het "elimineerbare oppervlak" (regels tekst), maar vertaalt deze cijfers niet naar monetaire besparingen of manuren, waarbij wordt opgemerkt dat een dergelijke vertaling organisatie-specifieke kostenkalibratie vereist die buiten de scope van de vrijgegeven data valt. Het werk dient als een fundamentele benchmark en toolset voor de gemeenschap om te repliceren, uit te breiden en toe te passen op hun eigen codebases.