Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines

Imaginez que vous soyez un bibliothécaire essayant d'organiser une bibliothèque massive et chaotique où chaque livre est un test logiciel écrit dans un langage spécial appelé Gherkin. Ces tests racontent une histoire : « Étant donné ceci, Quand cela, Alors ceci. »

Au fil du temps, les bibliothécaires (les développeurs) ont écrit des milliers de ces histoires. Mais ils ont commis une énorme erreur : ils continuent de copier-coller les mêmes paragraphes encore et encore. Parfois, ils changent un mot ici ou là (« cliquer sur le bouton » contre « appuyer sur le bouton »), mais le sens est exactement le même. Cela rend la bibliothèque gonflée, difficile à lire et un cauchemar à mettre à jour. Si vous devez modifier le fonctionnement d'un bouton, vous devez le trouver et le corriger dans des centaines d'endroits différents.

Ce papier traite de la construction d'un bibliothécaire robot intelligent capable de repérer ces paragraphes répétitifs, de déterminer lesquels valent la peine d'être nettoyés, et de vous indiquer exactement comment les corriger.

Voici comment le papier se décompose, en utilisant des analogies simples :

1. Le Problème : Le Gâchis du « Copier-Coller »

Dans le passé, les chercheurs ne pouvaient repérer qu'une histoire entière (un scénario de test complet) était un doublon. Mais le vrai gâchis se produit au milieu des histoires.

• L'Analogie : Imaginez deux romans où les trois premiers chapitres sont identiques, mais le reste est différent. Un simple scanner pourrait manquer cela car le livre entier n'est pas une copie.
• La Solution du Papier : Ils ont examiné de petits morceaux de texte appelés « tranches » (groupes de 2 à 18 étapes consécutives). Ils ont trouvé plus de 5 millions de ces tranches dans 339 projets logiciels différents.

2. Le Défi de la « Reformulation »

Le bibliothécaire robot ne peut pas se contenter de chercher des correspondances de texte exactes. Les développeurs reformulent souvent les choses.

• L'Analogie : Si une personne écrit « L'utilisateur se connecte » et une autre écrit « Le client signe », un simple moteur de recherche voit deux choses différentes. Mais un humain sait qu'ils signifient la même chose.
• La Solution du Papier : Ils ont utilisé une IA spéciale (appelée SBERT) qui comprend le sens derrière les mots, et non seulement l'orthographe. Elle regroupe les tranches qui signifient la même chose, même si les mots sont différents. C'est comme regrouper tous les synonymes ensemble afin que le bibliothécaire voie clairement le motif.

3. Les Trois Façons de Réparer le Gâchis

Une fois que le robot trouve une tranche répétitive, il doit décider comment la corriger. Le papier identifie trois « outils » spécifiques pour le travail, selon l'endroit où la répétition se produit :

• Outil A : Le « Contexte » (Au sein d'un seul fichier)

  • Analogie : Si chaque histoire d'un livre spécifique commence par les mêmes trois phrases, vous ne les réécrivez pas dans chaque chapitre. Vous les écrivez une fois tout en haut du livre en tant que note de « Contexte ».
  • Quand l'utiliser : Lorsque les mêmes étapes se répètent à l'intérieur d'un seul fichier.

• Outil B : Le « Chapitre Réutilisable » (Au sein d'un seul projet)

  • Analogie : Si une séquence spécifique d'événements se produit dans 50 livres différents de la même bibliothèque, vous écrivez cette séquence une fois dans un livre de « Chapitre Réutilisable ». Ensuite, dans les 50 autres livres, vous écrivez simplement « Voir Chapitre Réutilisable 4 ».
  • Quand l'utiliser : Lorsque les mêmes étapes se répètent à travers différents fichiers au sein du même projet logiciel.

• Outil C : La « Commande Universelle » (À travers différentes entreprises)

  • Analogie : Si vous constatez que presque toutes les bibliothèques du monde utilisent exactement la même phrase pour « Se connecter », vous créez une entrée de dictionnaire universelle pour cela. N'importe quelle bibliothèque peut simplement dire « Utiliser Connexion Universelle ».
  • Quand l'utiliser : Lorsque les mêmes étapes se répètent à travers des projets logiciels totalement différents appartenant à différentes personnes ou entreprises.

4. Le « Cerveau Intelligent » (Apprentissage Automatique vs LLM)

Les auteurs ont dû apprendre au robot quelles tranches répétitives valent réellement la peine d'être corrigées. Toute répétition n'est pas utile ; certaines sont juste des choses ennuyeuses et triviales (comme « statut 200 » qui signifie simplement « ça a marché »).

• L'Entraînement : Ils ont engagé trois experts humains pour examiner 200 tranches aléatoires et décider : « Est-ce que cela vaut la peine d'être corrigé ? » et « Quel outil (A, B ou C) devrions-nous utiliser ? »
• Le Concours : Ils ont entraîné un modèle informatique intelligent (appelé XGBoost) à apprendre de ces humains. Ensuite, ils l'ont mis au défi contre deux autres « juges IA » (Grands Modèles de Langage, ou LLM).
• Le Résultat : Le modèle XGBoost était le gagnant clair.
  • L'Expert Humain (XGBoost) : A eu raison 89 % du temps.
  • Les Juges IA (LLM) : Ont eu raison seulement 73 % et 59 % du temps.
  • Pourquoi ? Les LLM étaient trop prudents. Ils disaient souvent « Non, ne corrigez pas cela » même lorsque c'était une bonne idée, tandis que le modèle spécialisé apprenait exactement ce que les humains recherchaient.

5. Les Grandes Découvertes

Après avoir fait fonctionner ce robot sur la bibliothèque massive de 1,1 million d'étapes de test, voici ce qu'ils ont trouvé :

• La répétition est partout : Environ 75 % des fichiers de test contiennent des morceaux répétitifs qui pourraient être nettoyés en utilisant l'Outil A (Contexte).
• La répétition inter-fichiers est courante : Environ 60 % des projets ont des morceaux qui pourraient être nettoyés en utilisant l'Outil B (Chapitre Réutilisable).
• La répétition inter-entreprises est rare mais réelle : Seulement environ 12 % des projets ont des morceaux si universels qu'ils pourraient être partagés entre différentes entreprises (Outil C).
• Le Piège du « Même Propriétaire » : Ils ont remarqué que de nombreuses répétitions « inter-entreprises » étaient en fait juste une entreprise (comme DataDog) publiant de nombreuses versions différentes de son logiciel dans différentes langues. Le robot a appris à ignorer celles-ci, car elles ne sont pas vraiment « partagées » entre différentes organisations.

6. La Conclusion

Ce papier fournit un plan et un outil pour trouver automatiquement le gâchis du « copier-coller » dans les tests logiciels.

• Il ne dit pas simplement « Hé, il y a un doublon. »
• Il dit : « Voici le doublon, voici pourquoi il vaut la peine d'être corrigé, et voici le changement de code exact que vous devez apporter pour le corriger. »

Les auteurs ont publié tout leur code, leurs données et le « manuel de règles » qu'ils ont utilisé pour les humains, afin que quiconque puisse utiliser ce robot pour nettoyer ses propres bibliothèques logicielles. Ils ont prouvé qu'un modèle spécialisé et entraîné est meilleur pour ce travail spécifique que les chatbots IA à usage général dont on entend souvent parler aujourd'hui.