Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark
Cet article traite des coûts de maintenance des étapes Gherkin dupliquées dans le cadre du Développement Piloté par le Comportement (BDD) en publiant un benchmark à grande échelle et interorganisations de plus de 1,1 million d'étapes et en introduisant un détecteur robuste aux paraphrases qui combine des méthodes exactes, lexicales et sémantiques pour identifier et quantifier la redondance éliminable significative.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez l'éditeur d'un livre de cuisine collaboratif massif, où des milliers de chefs de différentes cuisines ont contribué avec leurs recettes. Avec le temps, vous remarquez un problème : les mêmes instructions apparaissent encore et encore, mais écrites de manières légèrement différentes.
- Un chef écrit : "Add two cups of flour."
- Un autre écrit : "Add 2 cups of flour."
- Un troisième écrit : "Put in 2 cups of flour."
Dans le monde des tests logiciels, ces instructions sont appelées étapes Gherkin. Ce sont les « recettes » qui disent à un ordinateur comment tester un logiciel. Le problème est que lorsque ces instructions sont dupliquées ou légèrement reformulées, cela devient un cauchemar à maintenir. Si vous devez modifier une étape (comme changer « Ajouter de la farine » par « Ajouter de la farine d'amande »), vous pourriez devoir traquer et modifier des milliers de copies au lieu d'une seule.
Ce document, intitulé « Déjà Vu at Scale », porte sur la création d'un outil ultra-intelligent pour trouver ces doublons, même lorsqu'ils sont écrits de manières légèrement différentes, et sur la création d'une immense bibliothèque d'exemples pour prouver que l'outil fonctionne.
Voici la décomposition de ce qu'ils ont fait, en utilisant des analogies simples :
1. Le Problème : L'effet « Déjà Vu »
Les auteurs ont découvert que dans le monde du logiciel, la duplication est partout. Ils ont examiné 347 différents projets logiciels (comme 347 livres de cuisine différents) et ont trouvé plus de 1,1 million d'instructions.
- La Statistique : Ils ont découvert que 80 % de ces instructions étaient des copies exactes de quelque chose d'autre.
- La Douleur : Si une entreprise veut corriger une faute de frappe ou changer une règle, elle pourrait devoir modifier des milliers de fichiers. C'est comme essayer de mettre à jour une recette dans un livre de cuisine où cette recette est écrite sur 1 000 pages différentes dans 1 000 livres différents.
2. La Solution : Un « Bibliothécaire Intelligent »
Les auteurs ont construit un outil appelé cukereuse. Voyez cet outil comme un super-bibliothécaire capable de lire les instructions et de comprendre que « Add 2 cups » et « Add two cups » sont la même chose, même si l'orthographe ou l'espacement est différent.
Ils n'ont pas utilisé qu'une seule astuce ; ils ont mis en place un système de défense à quatre couches pour attraper les doublons :
- La Correspondance Exacte : Si deux instructions sont identiques jusqu'à la dernière lettre (comme deux photocopies), il les attrape instantanément.
- La Correspondance « Presque » : Si les instructions sont identiques à 90 % (comme « Add 2 cups » vs « Add two cups »), il les attrape aussi.
- La Correspondance de « Sens » : C'est la partie ingénieuse. Cela utilise l'IA (appelée Sentence Transformers) pour comprendre le sens. L'outil sait que « The user clicks the button » et « Clicking the button by the user » signifient la même chose, même si les mots sont totalement différents.
- L'Hybride : Il combine les vérifications « Presque » et de « Sens » pour être extrêmement sûr.
3. La Preuve : Le Test du « Standard d'Or »
Pour prouver que leur bibliothécaire était réellement performant, ils ne se sont pas contentés de deviner. Ils ont créé un jeu de test gigantesque :
- Ils ont pris 1 020 paires d'instructions.
- Trois personnes différentes (les auteurs) ont lu manuellement ces paires et ont décidé : « S'agit-il de doublons ou non ? »
- Ils se sont assurés que tout le monde était d'accord sur les réponses (un score élevé appelé Fleiss' κ = 0,84, ce qui revient à une équipe de juges s'accordant tous sur le vainqueur d'un concours).
- Le Résultat : Leur outil de « Correspondance de Sens » était très bon, mais l'outil de « Correspondance Presque » était le plus fiable et le plus honnête, identifiant correctement les doublons environ 82 % du temps sans être confus par les règles du test.
4. La Grande Découverte : Les Économies de « Consolidation »
La partie la plus excitante du document est le calcul qu'ils ont fait sur les économies réalisées.
- Ils ont découvert que dans un projet logiciel typique, on pourrait supprimer environ 62,5 % des instructions dupliquées et les remplacer par une seule instruction « maîtresse ».
- L'Analogie : Imaginez que vous avez 100 pages de livre de cuisine. Après avoir utilisé cet outil, vous réalisez que vous n'avez besoin que de 37 pages uniques. Les 63 autres pages ne sont que des copies. Vous pouvez les jeter, rendant votre livre beaucoup plus fin et facile à gérer.
- Ils ont lié cela à l'ISO/IEC 25010, qui est essentiellement un guide mondial pour un « bon logiciel ». Ils ont montré que nettoyer ces doublons rend le logiciel plus facile à modifier (Maintenabilité) et moins susceptible de casser (Fiabilité).
5. Ce qu'ils ont mis à disposition du monde
Les auteurs n'ont pas gardé leurs découvertes pour eux. Ils ont publié un « kit de démarrage » pour que quiconque souhaite faire cette recherche puisse le faire :
- Les Données : Une collection massive de 1,1 million d'instructions réelles provenant de projets logiciels publics.
- Le Test : Les 1 020 paires d'instructions avec les réponses du « standard d'or ».
- L'Outil : Le code logiciel réel (cukereuse) qui trouve les doublons.
- Les Règles : Un guide expliquant comment ils ont décidé ce qui compte comme un doublon.
Résumé
En bref, ce document dit : « Les instructions de test logiciel sont remplies de doublons inutiles, ce qui les rend difficiles à gérer. Nous avons construit un outil intelligent qui trouve ces doublons (même lorsqu'ils sont écrits différemment), nous avons prouvé son efficacité avec un test massif et de haute qualité, et nous avons montré que résoudre ce problème pourrait faire gagner énormément de temps et d'efforts aux équipes de développement de logiciels. Nous donnons tous nos outils et nos données gratuitement pour que d'autres puissent les utiliser. »
Ce qu'ils n'ont PAS affirmé :
- Ils n'ont pas dit exactement combien d'argent cela fait économiser (car chaque entreprise paie ses employés différemment).
- Ils n'ont pas dit que cela résout tous les problèmes de qualité logicielle, seulement le problème spécifique des instructions dupliquées.
- Ils n'ont pas affirmé que leur outil fonctionne sur des données d'entreprises privées ou secrètes (puisqu'ils n'ont examiné que des données publiques).
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.