Behaviour Driven Development Scenario Generation with Large Language Models

Cette étude évalue la capacité de GPT-4, Claude 3 et Gemini à générer des scénarios BDD automatisés, révélant que bien que GPT-4 excelle dans les métriques de similarité, Claude 3 produit les scénarios les plus pertinents selon les experts humains, avec des résultats optimaux obtenus via des techniques de prompt spécifiques à chaque modèle et des paramètres de température nulle.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si on en parlait autour d'un café.

🍳 Le Problème : La Cuisine Trop Lente

Imaginez que vous dirigez un grand restaurant (votre entreprise de logiciels). Vous avez des chefs (les développeurs) qui cuisinent des plats complexes, et des critiques gastronomes (les testeurs) qui doivent vérifier que chaque plat est parfait avant de le servir aux clients.

Dans la méthode traditionnelle, le critique doit écrire à la main une liste détaillée de tous les ingrédients, de toutes les étapes de cuisson et de tous les scénarios possibles (par exemple : "Que se passe-t-il si le four tombe en panne ?" ou "Si le client est allergique aux arachides ?"). C'est ce qu'on appelle le BDD (Développement Piloté par le Comportement).

Le problème ? C'est long, épuisant et parfois, le critique oublie des détails importants parce qu'il est fatigué. Cela ralentit tout le restaurant.

🤖 La Solution : Le Robot de Cuisine (les IA)

Les auteurs de cette étude se sont demandé : "Et si on utilisait un super robot de cuisine (une Intelligence Artificielle) pour écrire ces listes de contrôle à notre place ?"

Ils ont testé trois robots très célèbres : GPT-4, Claude 3 et Gemini. Leur but était de voir lequel d'entre eux pouvait écrire les meilleures listes de contrôle pour nos plats (les scénarios de test).

🔬 L'Expérience : Le Grand Concours

Pour savoir qui était le meilleur, ils ont organisé un concours avec 500 recettes réelles (des "user stories" et des descriptions de besoins) provenant de vrais logiciels d'entreprise.

Ils ont demandé aux robots de générer les listes de contrôle, puis ils ont noté le résultat de trois manières :

1. Le comparateur automatique : Un logiciel qui compte combien de mots sont identiques entre la liste du robot et la liste idéale.
2. Le juge IA : Une autre intelligence artificielle (DeepSeek) qui lit les listes et donne une note.
3. Les vrais experts : Six humains, des critiques gastronomes chevronnés, qui ont lu les listes et donné leur avis.

🏆 Les Résultats Surprenants

Voici ce qu'ils ont découvert, avec des analogies simples :

1. Qui est le meilleur chef ?

• GPT-4 est très fort pour copier le style et les mots exacts (comme un photocopieur parfait).
• Claude 3, par contre, est le vrai gagnant. Même si ses mots ne sont pas toujours identiques à la perfection, les humains et les autres IA trouvent que ses listes de contrôle sont plus intelligentes, plus complètes et plus utiles.
  • Analogie : GPT-4 est comme un étudiant qui a appris par cœur le manuel. Claude 3 est comme un chef qui comprend vraiment la cuisine et sait quoi faire même si le manuel change un peu.

2. Le secret du "Prompt" (La façon de demander)

On ne peut pas juste dire "Fais-moi une liste". Il faut savoir comment parler au robot. Chaque robot a besoin d'une approche différente :

• GPT-4 préfère qu'on lui donne juste l'ordre, sans exemple (comme demander à un expert de faire confiance à son instinct).
• Claude 3 fonctionne mieux si on lui demande de réfléchir étape par étape (comme lui dire : "D'abord, pense aux ingrédients, puis à la cuisson, puis au service").
• Gemini a besoin qu'on lui montre des exemples avant de lui demander de travailler (comme un apprenti qui a besoin de voir un plat fait une fois avant de le refaire).

3. La qualité des ingrédients (L'entrée)

C'est le point le plus important !

• Si vous donnez au robot une recette vague ("Je veux un gâteau"), il sortira un résultat médiocre.
• Si vous lui donnez une recette détaillée ("Je veux un gâteau au chocolat, sans gluten, avec une crème légère"), il sortira un chef-d'œuvre, même sans la phrase d'introduction.
• Leçon : La qualité de ce que vous donnez à l'IA détermine la qualité de ce qu'elle produit. Si vos demandes sont floues, l'IA sera floue.

4. Le réglage de la créativité

Les robots ont un bouton "Créativité" (appelé Temperature).

• Si on met le bouton sur "Créatif", le robot invente des choses bizarres.
• Pour faire des listes de contrôle précises, il faut éteindre la créativité (mettre le bouton à zéro). On veut de la rigueur, pas de l'imagination !

💡 En Résumé : Que faut-il retenir ?

Cette étude nous dit que l'IA est prête à nous aider à tester les logiciels, mais il faut savoir s'en servir :

1. Choisissez le bon robot : Pour la qualité pure, Claude 3 semble être le meilleur choix actuel.
2. Parlez-lui bien : Adaptez votre demande selon le robot (réfléchir étape par étape pour Claude, montrer des exemples pour Gemini).
3. Soignez vos ingrédients : Ne vous attendez pas à de la magie si vos demandes sont vagues. Plus vos descriptions sont précises, meilleur sera le résultat.
4. L'humain reste le chef : L'IA peut faire le gros du travail et proposer des ébauches, mais un humain doit toujours vérifier le résultat final, car l'IA peut parfois rater des détails subtils.

C'est comme si l'IA devenait un assistant de cuisine ultra-rapide qui prépare la liste des courses et les étapes, mais que le chef humain doit toujours goûter le plat avant de le servir !

Résumé technique

Voici un résumé technique détaillé de l'article de recherche « Behaviour Driven Development Scenario Generation with Large Language Models » en français.

1. Problématique et Contexte

Le développement logiciel moderne, caractérisé par des cycles agiles rapides et une complexité croissante, fait face à un défi majeur : l'échelle des tests. La méthode Behaviour-Driven Development (BDD) est cruciale pour combler le fossé entre les exigences métier et l'implémentation technique en utilisant des scénarios écrits en langage naturel (Gherkin : Given/When/Then). Cependant, la création manuelle de ces scénarios BDD présente plusieurs limites :

• Intensité de main-d'œuvre : La création de scénarios complets est chronophage et crée des goulots d'étranglement.
• Incohérence de la qualité : La qualité dépend fortement de l'expertise de l'auteur, entraînant des lacunes dans la couverture des cas limites (edge cases).
• Besoin d'automatisation : Les approches traditionnelles d'automatisation peinent à gérer la diversité des scénarios sans une expertise technique approfondie.

Bien que les Modèles de Langage (LLM) aient montré des capacités prometteuses dans la génération de code et de tests, il existe un manque d'évaluation systématique de leur efficacité pour générer des scénarios BDD réels, notamment en ce qui concerne la qualité sémantique, l'impact des techniques de prompt (invites) et la corrélation avec l'évaluation humaine.

2. Méthodologie

Les auteurs ont conçu une étude empirique rigoureuse pour évaluer trois LLMs majeurs : GPT-4 (OpenAI), Claude 3 (Anthropic) et Gemini (Google).

A. Construction du Dataset (Contribution Majeure)

Constatant l'absence de dataset public pour cette tâche, les chercheurs ont créé le premier dataset de référence contenant 500 histoires utilisateur (user stories), leurs descriptions de exigences détaillées et les scénarios BDD correspondants.

• Source : Données provenant de quatre produits logiciels propriétaires d'une entreprise (IntelligenceBank), couvrant des domaines comme la gestion d'actifs numériques et les opérations marketing.
• Extraction : Les données ont été nettoyées et normalisées à partir de Jira (histoires/descriptions) et Confluence (scénarios BDD).

B. Configuration Expérimentale

L'évaluation s'est déroulée selon quatre axes de recherche (RQ) :

1. Efficacité de base (RQ1) : Comparaison des modèles avec un prompting "Zero-Shot" (sans exemple).
2. Impact des techniques de Prompting (RQ2) : Comparaison de trois approches : Zero-Shot, Few-Shot (avec exemples) et Chain-of-Thought (CoT, raisonnement étape par étape).
3. Impact des types d'entrée (RQ3) : Évaluation avec trois configurations d'entrée : Histoires utilisateur + Descriptions, Descriptions seules, Histoires utilisateur seules.
4. Impact des paramètres du modèle (RQ4) : Analyse de l'influence de la température (0, 0.5, 1.0) et du top_p (0.5, 1.0).

C. Métriques d'Évaluation

Une approche multidimensionnelle a été utilisée :

• Similarité Textuelle : BLEU, METEOR, ROUGE-L.
• Similarité Sémantique : BERTScore, SBCS, SBED, USECS.
• Évaluation par LLM : Utilisation de DeepSeek, GPT-4 et Claude 3 comme évaluateurs automatiques.
• Évaluation Humaine : 6 experts QA seniors ont noté un sous-ensemble de 600 scénarios sur une échelle de 1 à 5.

3. Résultats Clés

A. Performance des Modèles (RQ1)

• GPT-4 obtient les meilleurs scores sur les métriques de similarité textuelle et sémantique (BLEU, METEOR, BERTScore).
• Cependant, Claude 3 est jugé supérieur par les évaluateurs humains et par les évaluateurs basés sur les LLM. Ses scénarios sont considérés comme plus pertinents et mieux structurés pour le contexte métier.
• Gemini a généralement obtenu les scores les plus faibles parmi les trois.

B. Corrélation avec l'Évaluation Humaine

• Les métriques traditionnelles de similarité textuelle (BLEU, ROUGE) montrent une faible corrélation avec l'évaluation humaine.
• DeepSeek, utilisé comme évaluateur LLM, présente la corrélation la plus forte avec le jugement humain (coefficient de Spearman jusqu'à 0.72), surpassant les métriques automatiques classiques. Cela suggère que DeepSeek est un substitut fiable pour l'évaluation à grande échelle.

C. Impact du Prompting (RQ2)

L'efficacité des techniques de prompt dépend du modèle :

• GPT-4 : Performe mieux en Zero-Shot (4.63/5). L'ajout d'exemples ou de raisonnement explicite n'améliore pas, voire dégrade, ses performances.
• Claude 3 : Bénéficie légèrement du Chain-of-Thought (CoT) (4.22/5), indiquant qu'il a besoin d'un guidage de raisonnement pour optimiser la génération.
• Gemini : Obtient ses meilleurs résultats avec le Few-Shot (4.34/5), montrant qu'il a besoin d'exemples concrets pour comprendre le format attendu.

D. Qualité des Entrées (RQ3)

C'est l'une des découvertes les plus critiques :

• Description seule ou Combinée : Les modèles génèrent des scénarios de haute qualité lorsqu'ils disposent de descriptions d'exigences détaillées, même sans l'histoire utilisateur.
• Histoire Utilisateur seule : La qualité chute drastiquement (baisse de ~25% à 28%). Les histoires utilisateur seules, souvent trop abstraites ("En tant que... je veux..."), ne fournissent pas assez de détails techniques et de critères d'acceptation pour une génération BDD précise.

E. Paramètres du Modèle (RQ4)

• La configuration optimale pour tous les modèles est Température = 0 et Top_p = 1.0.
• Cela indique que pour la génération de scénarios BDD, un comportement déterministe (reproductible et précis) est préférable à la créativité ou à l'aléatoire. L'augmentation de la température dégrade la qualité.

4. Contributions Principales

1. Dataset Public : Création et publication du premier dataset de 500 paires (Histoires utilisateur + Descriptions + Scénarios BDD) issues de produits industriels réels.
2. Évaluation Holistique : Première étude comparative approfondie de GPT-4, Claude 3 et Gemini pour la génération BDD, intégrant des métriques automatiques et une validation humaine.
3. Validation de l'Évaluateur LLM : Démonstration que DeepSeek est un évaluateur automatique fiable, fortement corrélé à l'expertise humaine, offrant une alternative scalable aux évaluations manuelles.
4. Recommandations Pratiques : Identification des meilleures pratiques (paramètres, types de prompts, qualité des entrées) pour l'adoption industrielle.

5. Signification et Implications

Cette recherche démontre que les LLMs sont prêts à être utilisés comme assistants pratiques pour l'automatisation du BDD, mais avec des conditions spécifiques :

• Adoption Industrielle : Les organisations doivent investir dans la rédaction de descriptions d'exigences détaillées plutôt que de compter uniquement sur des histoires utilisateur brèves.
• Stratégie d'Implémentation : Il n'existe pas de solution universelle ; les équipes doivent adapter le modèle et la technique de prompt à leurs besoins spécifiques (ex: GPT-4 en Zero-Shot pour la rapidité, Claude 3 avec CoT pour la complexité).
• Flux de Travail Hybride : Le modèle optimal consiste à utiliser les LLM pour générer des ébauches de scénarios (drafts) que les experts humains affinent, plutôt que de remplacer totalement l'humain.
• Évaluation de la Qualité : L'utilisation de LLMs spécialisés (comme DeepSeek) pour l'évaluation préliminaire permet de filtrer les mauvais résultats et de concentrer l'expertise humaine sur les cas limites.

En conclusion, l'article fournit une feuille de route technique pour intégrer les LLMs dans les pipelines de test BDD, en soulignant que la qualité de l'entrée (documentation) et le choix des paramètres sont aussi importants que le choix du modèle lui-même.