Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study

Dit onderzoek toont aan dat ChatGPT, ondanks beperkingen zoals hallucinaties, in staat is om realistische synthetische systeemvereistenspecificaties te genereren, hoewel grondige expertevaluatie onvermijdelijk blijft.

De kern

De "Fictieve Architect": Kunnen AI's echte bouwplannen maken zonder een echt huis te zien?

Stel je voor dat je een groep architecten wilt trainen om nieuwe gebouwen te ontwerpen. Normaal gesproken zouden ze kijken naar bestaande, echte blauwdrukken van ziekenhuizen, scholen of fabrieken om te leren hoe die eruitzien. Maar er is een groot probleem: die echte blauwdrukken zijn geheim. Ze liggen opgesloten in kluisjes van bedrijven vanwege privacy of handelsgeheimen.

De onderzoekers van dit papier (Alex, Florian en Horst) dachten: "Wat als we een slimme AI, zoals ChatGPT, vragen om die blauwdrukken zelf te verzinnen?"

Ze noemen deze verzonnen blauwdrukken SSyRS (Synthetische Systeem Specificaties). De grote vraag was: Kan een AI, zonder ooit een echt document te hebben gezien, een nep-document maken dat zo goed is dat zelfs een echte expert er niet doorheen prikt?

Hier is hoe ze dit hebben onderzocht, vertaald naar alledaags taal:

1. De Opdracht: De "Geheime Architect"

De onderzoekers gaven ChatGPT een taak. Ze zeiden: "Maak een bouwplan voor een systeem in de logistiek, een in de gezondheidszorg, een in het onderwijs, enzovoort."
Ze gaven de AI een sjabloon (een soort invulformulier) en zeiden: "Vul dit in alsof je een ervaren ingenieur bent, maar gebruik geen echte data."

Het was als het geven van een opdracht aan een schrijver: "Schrijf een verhaal over een ruimtevaartuig, maar je mag geen bestaande boeken lezen." De AI moest alles uit zijn eigen "hoofd" (of beter: zijn trainingsdata van internet) halen.

2. Het Probleem: De "Zekerheidsval"

AI's hebben een rare eigenschap: ze zijn overmoedig. Zelfs als ze iets verzonnen (wat ze "hallucineren" noemen), zeggen ze het met een strakke, zelfverzekerde stem.

• Het gevaar: De AI zegt: "Het systeem moet 10.000 gebruikers per seconde aankunnen!" terwijl dat in de echte wereld onmogelijk is. Maar omdat de zin zo goed klinkt en de AI zo zeker klinkt, denk je: "Oh, dat moet wel waar zijn."
• De onderzoekers wilden weten of ze deze valstrik konden omzeilen door slimme vragen (prompten) te stellen.

3. De Methode: De "Drie-Check"

Ze lieten de AI 300 van deze "nep-ontwerpen" maken. Om te controleren of ze goed waren, gebruikten ze drie stappen:

1. De Checklist: Kijk of alle vakjes in het formulier zijn ingevuld. (Dit ging goed).
2. De "Niet-Te-Vergelijkbaar"-Check: Zorg dat de 300 ontwerpen niet allemaal exact hetzelfde zijn. Ze moesten divers zijn, zoals 300 verschillende auto's, niet 300 exacte kopieën van dezelfde Ford.
3. De "Realiteits-Check": De AI mocht zichzelf beoordelen: "Hoe realistisch is dit?"

Het verrassende resultaat: De AI's oordeelden over zichzelf als "zeer realistisch" (ongeveer 80-90% goed). Maar...

4. De Menselijke Test: De "Echte Expert"

De onderzoekers stuurden 87 echte experts (mensen die jarenlang werken in software en engineering) naar de "tentoonstelling" van deze 300 ontwerpen. Ze vroegen: "Ziet dit eruit als een echt document?"

• Het oordeel: 62% van de experts zei: "Ja, dit ziet er best realistisch uit."
• Maar... toen de experts dieper keken (zoals een bouwkundige die de fundering controleert), zagen ze de gaten.
  • Sommige eisen waren te vaag ("Het moet snel zijn" – hoe snel precies?).
  • Sommige dingen waren logisch onmogelijk (een systeem dat in de EU werkt, maar met regels die alleen in Amerika gelden).
  • Sommige eisen waren te ambitieus ("We hebben 15.000 gebruikers nodig voor de allereerste versie" – dat is onrealistisch voor een start-up).

5. De Grote Les: De "Gouden Kooi" van de AI

De onderzoekers ontdekten iets belangrijks:

• De AI is een goede "schrijver", maar een slechte "controleur". Als je de AI vraagt: "Is dit document goed?", zegt hij "Ja" met een glimlach, ook als het vol fouten zit. Hij is te zelfverzekerd.
• Mensen zijn nodig. Alleen een mens kan zien of een zinnetje "klinkt" als een echte engineer, maar ook of de inhoud echt klopt.
• De "Zekerheidsval" werkt. De manier waarop AI's schrijven (strak, zelfverzekerd, vol vakjargon) maakt dat we geneigd zijn om ze te geloven, zelfs als ze onzin praten.

Conclusie in één zin

Je kunt ChatGPT gebruiken om een ruwe schets van een systeem te maken die er heel professioneel uitziet (zoals een prachtig geschilderd schilderij van een huis), maar je kunt die schets niet gebruiken om een echt huis te bouwen zonder dat een echte mens (de expert) eerst de fundering en de muren heeft gecontroleerd.

De AI is een geweldige ideeën-generator, maar nog geen verantwoordelijke architect.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study" in het Nederlands.

Probleemstelling

Systeemvereistenspecificaties (SyRS) zijn centrale, in natuurlijke taal (NL) opgestelde artefacten binnen Requirements Engineering (RE). Voor onderzoeksvakgebieden zoals het ontwikkelen van validatiemethoden, geautomatiseerd testen en tool-benchmarking is toegang tot echte SyRS-documenten van groot belang. Echter, deze toegang is sterk beperkt door eigendomsrechten, vertrouwelijkheidsklausules en het gebrek aan openbare datasets.

Een mogelijke oplossing is het genereren van realistische synthetische SyRS (SSyRS). Hoewel Large Language Models (LLM's) zoals ChatGPT veelbelovend zijn voor het genereren van natuurlijke taal zonder toegang tot echte data, kampen ze met twee kritieke uitdagingen:

1. Hallucinaties: Het genereren van nonsensische of onnauwkeurige informatie.
2. Oververzekerdheid: Het presenteren van foutieve informatie met een hoge mate van zekerheid, wat gebruikers kan misleiden.
   Daarnaast zijn zwarte-doos LLM's voornamelijk getraind op internetdata, wat leidt tot een tekort aan diepgaande, gespecialiseerde domeinkennis en een verhoogd risico op hallucinaties in expertdomeinen.

Methodologie

De auteurs hebben een verkennende studie ontworpen volgens het Design Science Research (DSR)-paradigma om te onderzoeken of ChatGPT realistische SSyRS kan genereren zonder toegang tot echte SyRS of domeinexperts.

Onderzoeksvragen:

• RQ1: Kan ChatGPT realistische SSyRS genereren en garanderen zonder echte data of experts?
• RQ2: Welke kwaliteitskenmerken beschrijven de geschiktheid van SSyRS als vervanging voor echte SyRS?
• RQ3: Stemmen beoordelingen door menselijke experts overeen met ChatGPT-gebaseerde kwaliteitsbeoordelingen?

Het Generatie- en Beoordelingsproces:
Het proces omvatte tien iteraties en bestond uit drie fasen:

1. Voorbereiding: Definities van 10 industriële domeinen (bijv. e-commerce, zorg, logistiek) en een SSyRS-template gebaseerd op de ISO/IEC/IEEE 29148:2018 standaard.
2. Generatie en Beoordeling:
   • Prompt Engineering: Gebruik van patronen zoals Zero-shot prompting, Template pattern, Persona pattern (ervaren requirements engineer) en Chain-of-thought.
   • Generatie (PGen): Generatie van 3 SSyRS per domein per iteratie.
   • Beoordeling: Twee prompts voor kwaliteitsmeting:
     • PComp: Controleert volledigheid (boolean) tegen de template.
     • PDoR (Degree of Realism): Een hybride meting (kwantitatief [0-1] en kwalitatief) voor realisme.
   • Diversiteit: Gebruik van SBERT (Sentence Transformers) om de semantische gelijkenis tussen gegenereerde documenten te meten en redundantie te voorkomen.
3. Analyse en Refinement: Subjectieve evaluatie door de auteurs en statistische analyse van scores om prompt-verbeteringen door te voeren.

Validatie:
Na 10 iteraties (waarbij 300 SSyRS werden gegenereerd) werd een expertstudie uitgevoerd met een steekproef van 33% van de dataset (30 documenten, 1 per domein). Er waren 87 ingevulde vragenlijsten van 83 professionals (met gemiddeld >7 jaar ervaring).

Belangrijkste Bijdragen

1. Methodologie voor Generatie: Een gestructureerde, iteratieve aanpak voor het genereren van SSyRS in 10 verschillende domeinen zonder gebruik van echte data of RAG (Retrieval-Augmented Generation).
2. Kwaliteitsmetingen: Definities van drie kernkwaliteiten: Degree of Realism (DoR), Volledigheid en Semantische Gelijkenis.
3. Open Data: Publicatie van de volledige dataset van 300 SSyRS, alle prompts en beoordelingsresultaten in een openbaar repository.
4. Empirische Validatie: Een uitgebreide expertstudie die de perceptie van synthetische vereisten door professionals in kaart brengt.

Resultaten

• Dataset: Er werden 300 SSyRS gegenereerd met een gemiddelde lengte van 716 woorden. De dataset is homogeen qua grootte maar divers qua semantische inhoud (gemiddelde semantische gelijkenis van 0,66).
• Kwaliteitsbeoordeling door LLM: De DoR-scores varieerden sterk afhankelijk van het gebruikte model.
  • GPT-4o gaf hoge scores (0,86 - 0,90).
  • Sonnet 4.5 gaf aanzienlijk lagere en onbetrouwbaardere scores (gemiddeld 0,64), met een grote variantie bij herhaalde metingen van hetzelfde document (range 0,48 - 0,73).
  • Conclusie: Kwantitatieve DoR-scores zijn zeer onbetrouwbaar en model-afhankelijk.
• Expertstudie:
  • Positief: 61,4% van de experts beoordeelde de SSyRS als "redelijk" tot "zeer realistisch".
  • Negatief: Diepgaande analyse van commentaren onthulde ernstige tekortkomingen:
    • Oververeenvoudiging en "buzzwords".
    • Gebrek aan detail en ambiguïteit.
    • Logische inconsistenties (bijv. tegenstrijdige eisen binnen hetzelfde document).
    • Onrealistisch ambitieuze eisen (bijv. verkeerde schaal van gebruikersaantallen).
  • Experts vonden de documenten vaak realistisch door de gestructureerde en zelfverzekerde presentatie (het "overconfidence" effect van LLM's), maar vonden bij nadere inspectie inhoudelijke fouten.

Betekenis en Conclusie

Het artikel concludeert dat ChatGPT een krachtig hulpmiddel is om kandidaat-SSyRS te genereren die qua structuur en inhoud sterk op echte documenten lijken. Dit maakt ze waardevol als startpunt voor onderzoek of als basis voor verdere verfijning.

Echter, de studie waarschuwt dat:

1. Volledige automatisering niet mogelijk is: LLM-based kwaliteitsbeoordelingen (zoals DoR-scores) zijn te onbetrouwbaar om menselijke experts te vervangen.
2. Menselijke expertise essentieel is: Een grondige, kritische review door experts is noodzakelijk om hallucinaties, logische fouten en ontbrekende details op te sporen.
3. Het "Illusie van Realisme": De overtuiging van LLM's kan onderzoekers en gebruikers misleiden; wat er realistisch uitziet, is niet per se technisch correct of compleet.

De auteurs bevelen aan om SSyRS te gebruiken als een basis voor verdere menselijke validatie en refinement, in plaats van als een directe, foutloze vervanging voor echte vereistendocumenten.