Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark

Questo articolo affronta i costi di manutenzione dei passi Gherkin duplicati nel Behaviour-Driven Development rilasciando un benchmark su larga scala e interorganizzativo di oltre 1,1 milioni di passi e introducendo un rilevatore robusto alla parafrasi che combina metodi esatti, lessicali e semantici per identificare e quantificare la significativa ridondanza eliminabile.

L'essenziale

Immagina di essere l'editor di un enorme ricettario collaborativo. Migliaia di chef da diverse cucine hanno contribuito con le loro ricette. Con il tempo, noti un problema: le stesse istruzioni appaiono ripetutamente, anche se scritte in modo leggermente diverso.

• Uno chef scrive: "Aggiungi due tazze di farina."
• Un altro scrive: "Aggiungi 2 tazze di farina."
• Un terzo scrive: "Metti 2 tazze di farina."

Nel mondo del testing del software, queste istruzioni sono chiamate Gherkin steps. Sono le "ricette" che dicono a un computer come testare un software. Il problema è che, quando queste istruzioni sono duplicate o leggermente parafrasate, diventano un incubo da mantenere. Se devi cambiare un passaggio (come cambiare "Aggiungi farina" in "Aggiungi farina di mandorle"), potresti dover cercare ed editare migliaia di copie invece di una sola.

Questo articolo, intitolato "Déjà Vu at Scale," parla della creazione di uno strumento super intelligente per trovare questi duplicati, anche quando sono scritti in modi leggermente diversi, e della creazione di una gigantesca libreria di esempi per dimostrare che lo strumento funziona.

Ecco la suddivisione di ciò che hanno fatto, utilizzando analogie semplici:

1. Il Problema: L'effetto "Déjà Vu"

Gli autori hanno scoperto che nel mondo del software, la duplicazione è ovunque. Hanno esaminato 347 diversi progetti software (come 347 diversi ricettari) e hanno trovato oltre 1,1 milioni di istruzioni.

• Il Dato: Hanno scoperto che l'80% di queste istruzioni erano copie esatte di qualcos'altro.
• Il Problema: Se un'azienda vuole correggere un errore di battitura o cambiare una regola, potrebbe dover modificare migliaia di file. È come cercare di aggiornare una ricetta in un ricettario dove quella ricetta è scritta in 1.000 pagine diverse in 1.000 libri diversi.

2. La Soluzione: Un "Bibliotecario Intelligente"

Gli autori hanno costruito uno strumento chiamato cukereuse. Pensa a questo strumento come a un super-bibliotecario capace di leggere le istruzioni e capire che "Aggiungi 2 tazze" e "Aggiungi due tazze" sono la stessa cosa, anche se la grafia o la spaziatura sono diverse.

Non hanno usato un solo trucco, ma un sistema di difesa a quattro livelli per catturare i duplicati:

1. Il Match Esatto: Se due istruzioni sono identiche fino all'ultimo carattere (come due fotocopie), le cattura istantaneamente.
2. Il Match "Quasi Identico": Se le istruzioni sono uguali al 90% (come "Aggiungi 2 tazze" rispetto a "Aggiungi due tazze"), cattura anche quelle.
3. Il Match di "Significato": Questa è la parte intelligente. Utilizza l'IA (chiamata Sentence Transformers) per comprenderne il significato. Sa che "L'utente clicca sul pulsante" e "Il cliccare sul pulsante da parte dell'utente" significano la stessa cosa, anche se le parole sono totalmente diverse.
4. L'Ibrido: Combina i controlli "Quasi Identico" e di "Significato" per essere extra sicuro.

3. La Prova: Il Test dello "Standard d'Oro"

Per dimostrare che il loro bibliotecario fosse davvero bravo, non si sono limitati a indovinare. Hanno creato un enorme set di test:

• Hanno preso 1.020 coppie di istruzioni.
• Tre persone diverse (gli autori) le hanno lette manualmente e hanno deciso: "Sono duplicati o no?".
• Si sono assicurati che tutti concordassero sulle risposte (un punteggio alto chiamato Fleiss' κ = 0.84, che è come una squadra di giudici che concordano tutti su chi ha vinto un concorso).
• Il Risultato: Il loro strumento di "Match di Significato" era molto bravo, ma lo strumento di "Match Quasi Identico" era il più affidabile e onesto, identificando correttamente i duplicati circa l'82% delle volte senza confondersi con le regole del test.

4. La Grande Scoperta: Il Risparmio della "Consolidamento"

La parte più eccitante dell'articolo è la matematica che hanno fatto sui risparmi.

• Hanno scoperto che in un tipico progetto software, si potrebbero eliminare circa il 62,5% delle istruzioni duplicate e sostituirle con una singola istruzione "maestra".
• L'Analogia: Immagina di avere 100 pagine di un ricettario. Dopo aver usato questo strumento, ti rendi conto che hai bisogno solo di 37 pagine uniche. Le altre 63 pagine sono solo copie. Puoi buttarle via, rendendo il libro molto più sottile e facile da gestire.
• Hanno collegato questo dato allo ISO/IEC 25010, che è essenzialmente un regolamento globale per il "buon software". Hanno dimostrato che pulire questi duplicati rende il software più facile da modificare (Manutenibilità) e meno propenso a rompersi (Affidabilità).

5. Cosa hanno rilasciato al mondo

Gli autori non hanno tenuto per sé le loro scoperte. Hanno rilasciato un "kit di partenza" per chiunque voglia fare questa ricerca:

• I Dati: Una collezione massiccia di 1,1 milioni di istruzioni reali provenienti da progetti software pubblici.
• Il Test: Le 1.020 coppie di istruzioni con le risposte dello "standard d'oro".
• Lo Strumento: Il codice effettivo del software (cukereuse) che trova i duplicati.
• Le Regole: Una guida su come hanno deciso cosa conta come un duplicato.

Riassunto

In breve, questo articolo dice: "Le istruzioni per il testing del software sono piene di duplicati inutili, il che le rende difficili da gestire. Abbiamo costruito uno strumento intelligente che trova questi duplicati (anche quando sono scritti in modo diverso), abbiamo dimostrato che funziona con un test massiccio e di alta qualità, e abbiamo mostrato che risolvere questo problema potrebbe far risparmiare ai team di sviluppo una quantità enorme di tempo e sforzo. Stiamo regalando tutti i nostri strumenti e dati gratuitamente affinché altri possano usarli."

Cosa NON hanno affermato:

• Non hanno detto esattamente quanto denaro questo faccia risparmiare (perché ogni azienda paga i propri lavoratori in modo diverso).
• Non hanno detto che questo risolve tutti i problemi di qualità del software, ma solo il problema specifico dei duplicati nelle istruzioni.
• Non hanno affermato che il loro strumento funzioni su dati privati e segreti aziendali (poiché hanno guardato solo dati pubblici).

Sommario tecnico

Sintesi Tecnica: Déjà Vu su Scala

Definizione del Problema
Le suite di Behaviour-Driven Development (BDD), scritte nel linguaggio Gherkin, accumulano frequentemente duplicazioni del testo dei passi (step-text). Ricerche precedenti stabiliscono che tale duplicazione comporta costi di manutenzione significativi, in particolare quando i passaggi di definizione richiedono rinomina o refactoring in più occorrenze. Le tecniche di rilevamento esistenti soffrono di critiche limitazioni: gli approcci dinamici (es. Binamungu et al., 2018–2023) richiedono suite di test eseguibili, rendendoli impraticabili su scala cross-repository; gli approcci statici (es. Irshad et al., 2020–2022) sono spesso confinati a singole organizzazioni o mancano di granularità a livello di singolo passo. Di conseguenza, esiste una lacuna per un rilevatore di passi puramente statico, robusto rispetto alle parafrasi e applicabile a qualsiasi repository, accompagnato da un benchmark pubblico per la calibrazione.

Metodologia
Gli autori presentano cukereuse, uno strumento di analisi statica e il relativo studio empirico. La metodologia è strutturata attorno a tre componenti principali:

1. Costruzione del Corpus:

   • Scoperta: Utilizzando l'API GitHub REST Search, gli autori hanno identificato i repository contenenti file Gherkin, filtrando per quelli con $\ge$10 stelle ed escludendo i progetti archiviati.
   • Materializzazione: 347 repository sono stati sottoposti a sparse-clone, producendo 23.667 file .feature analizzati e 1.113.616 passi Gherkin.
   • Definizione di Identità: L'identità di un passo è definita come l'hash BLAKE2b del suo testo con spazi rimossi, escludendo le parole chiave (Given/When/Then) e gli argomenti allegati (DocStrings/DataTables), ma mantenendo parametri e letterali. Questo rispecchia la logica di risoluzione del runtime di Cucumber.

2. Strategie di Rilevamento:
   Lo strumento stratifica quattro strategie lungo una frontiera tra precisione e costo computazionale:

   • Esatta (Exact): Hashing BLAKE2b su testo normalizzato.
   • Quasi-Esatta (Near-Exact): Rapporto di Levenshtein normalizzato.
   • Semantica (Semantic): Similarità del coseno tramite Sentence-BERT (SBERT).
   • Ibrida (Hybrid): Una combinazione di similarità del coseno SBERT e una guardia a banda Levenshtein per filtrare il rumore.

3. Valutazione e Benchmarking:

   • Benchmark Etichettato: Un dataset di 1.020 coppie di passi è stato etichettato manualmente da tre autori utilizzando una rubrica condivisa (Fleiss' $\kappa$ = 0,84 su una sovrapposizione di 60 coppie).
   • Controllo della Circolarità: Per affrontare la minaccia che le regole della rubrica basate sul punteggio (R1–R3) possano influenzare il rilevatore, è stato introdotto un protocollo di ri-etichettatura a "secondo passaggio senza punteggio" (score-free). Questo protocollo utilizza regole deterministiche di riscrittura del testo (es. identità del multiset di token, contenimento di sottosequenze) senza accedere ai punteggi di similarità.
   • Baseline: Lo studio confronta le strategie proposte con due classiche baseline lessicali: Token-set Jaccard (stile SourcererCC) e TF-IDF character n-gram cosine (stile NiCad).

Contributi Chiave

1. Il più grande Corpus Cross-Organizzativo: Un dataset di 1,1 milioni di passi Gherkin attraverso 347 repository, rilasciato con tag di licenza SPDX e una scheda tecnica in stile Gebru.
2. Primo Benchmark Pubblico per BDD: Un benchmark etichettato di 1.020 coppie con alta concordanza tra gli annotatori, progettato specificamente per calibrare i rilevatori di duplicati.
3. Protocollo di Ri-etichettatura Score-Free: Un contributo metodologico per limitare la circolarità tra i rilevatori basati su punteggio e le rubriche di valutazione basate su punteggio.
4. Modello di Risparmio da Consolidamento: Un modello quantitativo che mappa i cluster rilevati sulle caratteristiche di qualità ISO/IEC 25010 (specificamente sotto-caratteristiche di manutenibilità come modificabilità e riutilizzabilità).
5. Strumentazione Open Source: Lo strumento cukereuse, la pipeline di analisi e tutti gli artefatti sono rilasciati sotto licenze permissive.

Risultati

• Prevalenza della Duplicazione: Il tasso di duplicazione esatta pesato sui passi è dell'80,2%. Il repository mediano ha un tasso di duplicazione del 58,6%. Il cluster ibrido più frequente ("the response status is 200 OK") appare 20.737 volte in 2.245 file.
• Prestazioni del Rilevamento:
  • Sotto la rubrica primaria, la strategia semantica ha ottenuto un F1 di 0,906, ma ciò è stato identificato come un artefatto di stratificazione (recall = 1,000 a causa delle regole della rubrica).
  • Sotto la ri-etichettatura score-free (la metrica "onesta"), la strategia quasi-esatta (Levenshtein) ha performato meglio con un F1 di 0,822.
  • La strategia semantica è scesa a F1 = 0,772 sotto le etichette score-free, mentre le baseline lessicali hanno raggiunto F1 = 0,761 (Jaccard) e 0,799 (TF-IDF).
• Potenziale di Consolidamento: Il modello stima che 893.357 occorrenze di testo dei passi (circa l'80% del corpus) siano suscettibili di consolidamento sotto il matching esatto. Su un repository mediano, il 62,5% delle righe dei passi è eliminabile.

Significatività e Rivendicazioni
Il documento sostiene di colmare una lacuna specifica e misurabile nel tooling della qualità BDD, fornendo il primo rilevatore di passi duplicati statico, robusto rispetto alle parafrasi e cross-organizzativo. La significatività non risiede nel rivendicare la risoluzione di tutti i problemi di qualità BDD, ma nel fornire gli artefatti empirici necessari (corpus, benchmark e strumento) per abilitare la ricerca futura e l'applicazione pratica.

Gli autori dichiarano esplicitamente che i cluster rilevati mappano sulle sotto-caratteristiche di manutenibilità ISO/IEC 25010 (modificabilità, modularità, riutilizzabilità, analizzabilità, testabilità) e indirettamente sulla affidabilità tramite la prevenzione del drift. Tuttavia, il documento mantiene la modestia riguardo l'impatto economico: quantifica la "superficie eliminabile" (righe di testo), ma non traduce queste cifre in risparmi monetari o ore uomo, osservando che tale traduzione richiede una calibrazione dei costi specifica per l'organizzazione, che è fuori dall'ambito dei dati rilasciati. Il lavoro funge da benchmark fondamentale e set di strumenti per la comunità per replicare, estendere e applicare i risultati ai propri codebase.