Behaviour Driven Development Scenario Generation with Large Language Models

Dit artikel presenteert een evaluatie van GPT-4, Claude 3 en Gemini voor het automatisch genereren van BDD-scenario's, waarbij wordt geconcludeerd dat Claude 3 de hoogste kwaliteit levert bij menselijke beoordeling, dat de effectiviteit van prompttechnieken modelafhankelijk is, en dat gedetailleerde requirements essentieel zijn voor succesvolle generatie.

De kern

Stel je voor dat je een groot, complex gebouw moet bouwen. In de wereld van software is dat een applicatie. Om ervoor te zorgen dat het gebouw veilig is en precies doet wat de bewoners willen, moet je eerst een gedetailleerde lijst met instructies maken: "Als de deur open gaat, moet het licht aangaan. Als het regent, moet het dak dichtgaan."

In de softwarewereld noemen we deze instructies BDD-scenario's (Behaviour-Driven Development). Het zijn de blauwdrukken voor testen. Het probleem is dat het handmatig schrijven van deze blauwdrukken enorm veel tijd kost, vaak fouten bevat en saai is voor de mensen die het moeten doen.

Deze paper onderzoekt of AI (specifiek grote taalmodellen zoals GPT-4, Claude 3 en Gemini) deze saaie, tijdrovende taak kan overnemen. De auteurs hebben gekeken of AI deze instructielijsten net zo goed (of beter) kan schrijven als een menselijke expert.

Hier is een uitleg van de belangrijkste bevindingen, vertaald naar alledaagse taal:

1. De Proef: Een nieuwe keuken

De onderzoekers (van de RMIT Universiteit in Australië) hebben een enorme "keukentest" opgezet. Ze hadden 500 echte recepten (gebruikersverhalen) en de bijbehorende gedetailleerde kookinstructies (vereisten) van vier verschillende softwarebedrijven.

Ze gaven deze recepten aan drie verschillende "AI-koks":

• GPT-4 (van OpenAI)
• Claude 3 (van Anthropic)
• Gemini (van Google)

De taak van deze koks? Schrijf een perfect testscenario op basis van het recept.

2. Wie is de beste kok? (De verrassende uitslag)

Je zou denken dat de bekendste AI (GPT-4) de beste zou zijn. En inderdaad, als je kijkt naar hoe veel woorden de AI precies hetzelfde schrijft als de menselijke voorbeeldtekst (letterlijke overeenkomst), wint GPT-4.

Maar hier komt de verrassing:
Wanneer echte menselijke experts (ervaren testers) de teksten beoordelen op kwaliteit, logische flow en of ze echt bruikbaar zijn, wint Claude 3.

• GPT-4 schrijft woorden die lijken op het origineel, maar mist soms de diepgang.
• Claude 3 schrijft teksten die menselijker en logischer aanvoelen. Het is alsof GPT-4 een perfecte vertaling maakt, maar Claude 3 de bedoeling begrijpt.

3. De "Chef-kok" die niet proeft (AI als beoordelaar)

Omdat het veel tijd kost om 1500 teksten door mensen te laten beoordelen, dachten de onderzoekers: "Laten we een andere AI vragen om de teksten te beoordelen." Ze gebruikten een model genaamd DeepSeek.
Het resultaat? Deze AI-beoordelaar gaf bijna exact dezelfde oordelen als de menselijke experts. Het is alsof je een zeer ervaren sous-chef hebt die net zo goed kan proeven als de hoofdkok, maar dat in een seconde kan doen voor duizenden borden.

4. Hoe moet je de AI instrueren? (De Prompt-methode)

Niet alle AI's reageren hetzelfde op instructies. Het is net als met kinderen of dieren: sommigen doen het beste als je kort en krachtig zegt wat je wilt, anderen hebben een voorbeeld nodig, en weer anderen moeten stap-voor-stap worden uitgelegd waarom ze iets moeten doen.

• GPT-4 is de "snelle leerling": Hij doet het het beste als je hem gewoon de opdracht geeft zonder voorbeelden (Zero-Shot).
• Claude 3 is de "denker": Hij doet het iets beter als je hem vraagt om eerst na te denken over de stappen voordat hij schrijft (Chain-of-Thought).
• Gemini is de "imitator": Hij doet het het beste als je hem eerst een paar voorbeelden laat zien van hoe het moet (Few-Shot).

5. De kwaliteit van de ingrediënten (Input)

Dit is misschien wel het belangrijkste advies voor bedrijven: Je krijgt er niet meer uit dan je erin stopt.

• Als je de AI alleen een korte zin geeft ("Ik wil een knop"), schrijft hij een slecht scenario.
• Als je de AI een gedetailleerde beschrijving geeft ("De knop moet blauw zijn, alleen werken als de gebruiker ingelogd is, en een melding tonen als hij faalt"), schrijft hij een uitstekend scenario.
• Conclusie: Je kunt de AI niet gebruiken om slechte documentatie te repareren. Je moet eerst zelf de details uitschrijven.

6. De thermostaat (Instellingen)

AI-modellen hebben een "creativiteitsknop" (temperatuur).

• Zet je de knop hoog? Dan is de AI creatief, maar ook onvoorspelbaar en soms onzin.
• Zet je de knop op 0? Dan is de AI saai, maar perfect consistent.
  Voor het schrijven van testinstructies wil je geen creativiteit, je wilt precisie. De onderzoekers ontdekten dat het instellen van de creativiteit op 0 de beste resultaten gaf.

Samenvatting voor de praktijk

Stel je voor dat je een fabriek hebt die auto's bouwt.

1. De AI is een nieuwe machine die de instructiekaarten voor de monteurs kan schrijven.
2. Claude 3 schrijft de beste kaarten, maar GPT-4 is ook goed.
3. Je moet de machine wel goede instructies geven (gedetailleerde eisen), anders maakt hij rommel.
4. Je moet de machine niet te creatief maken (zet de creativiteit op 0), want je wilt dat elke auto op dezelfde manier wordt gecontroleerd.
5. Je kunt een andere AI gebruiken om te controleren of de kaarten goed zijn, zodat je niet zelf uren hoeft te lezen.

Het grote nieuws: AI kan nu helpen om het saaie werk van het schrijven van tests te automatiseren, maar het is geen magische knop. Je moet nog steeds weten wat je bouwt en de details goed uitschrijven. Als je dat doet, bespaar je enorm veel tijd en krijg je betere software.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Behaviour Driven Development Scenario Generation with Large Language Models" in het Nederlands.

Probleemstelling

In de moderne softwareontwikkeling, gekenmerkt door complexe systemen en snelle iteratiecycli (Agile/DevOps), vormt het handmatig creëren van uitgebreide Behaviour-Driven Development (BDD) scenario's een significant knelpunt. Hoewel BDD de communicatie tussen technische en zakelijke stakeholders verbetert door gebruik te maken van een gedeelde taal (Gherkin: Given/When/Then), is het proces van het schrijven van deze scenario's tijdrovend, arbeidsintensief en afhankelijk van de expertise van de auteur. Dit leidt tot inconsistentie, gebrek aan dekking van randgevallen (edge cases) en vertragingen in de testcyclus.

Hoewel Large Language Models (LLMs) succesvol zijn toegepast voor code-generatie en testcases, is er tot nu toe onvoldoende systematisch onderzoek gedaan naar hun effectiviteit bij het genereren van BDD-scenario's. Bestaande studies missen vaak een uitgebreide dataset, een multidimensionale evaluatie (niet alleen syntaxis, maar ook semantiek en kwaliteit) en inzicht in hoe verschillende inputtypes en prompt-technieken de output beïnvloeden.

Methodologie

De auteurs hebben een uitgebreid experimenteel framework ontworpen om drie representatieve LLMs te evalueren: GPT-4 (gpt-4o), Claude 3 (claude-3-opus) en Gemini (gemini-1.5-flash).

1. Dataset Curation (Eerste Bijdrage):

   • Er is een nieuw, publiek beschikbaar dataset samengesteld bestaande uit 500 user stories, bijbehorende vereistenbeschrijvingen en de corresponderende menselijk gegenereerde BDD-scenario's.
   • De data is afkomstig van vier verschillende softwareproducten van een industrieel bedrijf (IntelligenceBank), wat zorgt voor real-world relevantie.
   • De data is gestructureerd en opgeschoond (verwijdering van metadata, conversie naar genormaliseerde lijsten) om consistentie te garanderen.

2. Experimenteel Ontwerp:
   De studie beantwoordt vier onderzoeksvragen (RQ) door variatie in vier dimensies:

   • RQ1 (Effectiviteit): Vergelijking van de drie modellen met een zero-shot prompt.
   • RQ2 (Prompting Technieken): Evaluatie van drie strategieën: Zero-shot, Few-shot (met voorbeelden) en Chain-of-Thought (CoT, stap-voor-stap redenering).
   • RQ3 (Input Kwaliteit): Vergelijking van inputtypes: alleen User Story, alleen Vereistenbeschrijving, of een combinatie van beide.
   • RQ4 (Model Parameters): Analyse van de invloed van temperature (0, 0.5, 1.0) en top_p (0.5, 1.0) op de kwaliteit.

3. Evaluatiemethoden:
   Een multidimensionaal evaluatiekader werd gebruikt:

   • Automatische Metrieken: Tekstgelijkenis (BLEU, METEOR, ROUGE-L) en Semantische gelijkenis (BERTScore, SBCS, SBED, USECS).
   • LLM-gebaseerde Evaluatie: Gebruik van LLMs (DeepSeek, GPT-4, Claude) als beoordelaars om de kwaliteit op een schaal van 1-5 te scoren.
   • Menselijke Evaluatie: 6 senior QA-experts hebben 600 gegenereerde scenario's (200 per model) onafhankelijk beoordeeld op kwaliteit, volledigheid en precisie.

Belangrijkste Resultaten

• Modelprestaties (RQ1):

  • Hoewel GPT-4 de hoogste scores behaalde op tekst- en semantische gelijkenismetrieken (dichtere match met de referentie), werd Claude 3 door zowel menselijke experts als LLM-beoordelaars (met name DeepSeek) beoordeeld als het model dat de hoogste kwaliteit BDD-scenario's produceerde.
  • DeepSeek als evaluator toonde de sterkste correlatie met menselijke oordelen (Spearman's ρ tot 0.72), wat aangeeft dat LLMs betrouwbaarder zijn dan traditionele tekstmetrieken voor kwaliteitsbeoordeling van BDD.

• Prompting Technieken (RQ2):

  • De effectiviteit van prompting is model-specifiek:
    • GPT-4: Presteerde het beste met Zero-shot prompts (geen voorbeelden nodig).
    • Claude 3: Profiteerde lichtjes van Chain-of-Thought redenering.
    • Gemini: Bereikte de beste resultaten met Few-shot prompts (voorbeelden waren essentieel).

• Input Kwaliteit (RQ3):

  • De kwaliteit van de input is bepalend. Een combinatie van User Story en gedetailleerde Vereistenbeschrijving leverde de beste resultaten.
  • Cruciaal inzicht: Alleen een gedetailleerde vereistenbeschrijving (zonder user story) leverde nog steeds hoge kwaliteit scenario's op. Alleen een User Story leverde echter significante kwaliteitsdalingen op (score daalde met ~25%), omdat user stories vaak te vaag zijn voor het definiëren van specifieke acceptatiecriteria en randgevallen.

• Model Parameters (RQ4):

  • De optimale configuratie voor alle modellen bleek Temperature = 0 en Top_p = 1.0.
  • Deterministische output (geen willekeur) resulteerde in de hoogste kwaliteit en consistentie. Hogere temperaturen (meer creativiteit/variatie) verlaagden de kwaliteit van de BDD-scenario's, wat aangeeft dat voor deze taak precisie belangrijker is dan creativiteit.

Belangrijkste Bijdragen

1. Dataset: De creatie en publicatie van het eerste dataset van 500 real-world user stories en BDD-scenario's uit industriële softwareproducten.
2. Omvattende Evaluatie: De eerste studie die LLMs voor BDD-evaluatie beoordeelt vanuit meerdere perspectieven (syntaxis, semantiek, menselijke expertisatie en LLM-evaluatie).
3. Praktische Richtlijnen: Concrete aanbevelingen voor organisaties over hoe ze LLMs moeten configureren (modelkeuze, prompt-strategie, input-kwaliteit en parameters) om de efficiëntie en kwaliteit van BDD te maximaliseren.
4. Open Science: Publicatie van de dataset en broncode om reproduceerbaarheid en toekomstig onderzoek te faciliteren.

Betekenis en Implicaties

De studie toont aan dat LLMs een volwassen en praktisch hulpmiddel zijn voor het automatiseren van BDD-scenario-generatie, mits correct geconfigureerd. De bevindingen hebben directe implicaties voor de softwareindustrie:

• Versnelling van Testprocessen: Organisaties kunnen de tijd voor het schrijven van testscenario's drastisch verkorten.
• Kwaliteitsverbetering: LLMs kunnen consistentie bieden en helpen bij het identificeren van randgevallen die mensen soms over het hoofd zien.
• Verandering in Documentatie: Teams moeten investeren in het schrijven van gedetailleerde technische vereistenbeschrijvingen, aangezien alleen "User Stories" onvoldoende zijn voor hoogwaardige automatische generatie.
• Hybride Werkstromen: De beste aanpak is een hybride model waarbij LLMs de eerste versie genereren (met menselijke review), in plaats van menselijke samenwerking volledig te vervangen.

Kortom, dit onderzoek biedt een blauwdruk voor het succesvol integreren van LLMs in de BDD-workflow, waarbij de nadruk ligt op de kwaliteit van de input en de juiste afstemming van modelparameters.