From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations

Dit quasi-experiment toont aan dat grote taalmodellen effectief kunnen helpen bij het vertalen van voedselveiligheidsregels naar Gherkin-specificaties, maar dat menselijke controle essentieel blijft om fouten en hallucinaties op te vangen.

De kern

Stel je voor dat je een recept moet maken voor een gigantische, wereldwijde keuken. Maar in plaats van dat de chef-kok je een duidelijk recept geeft, krijg je een wettelijk boek vol met ingewikkelde zinnen over hoe voedsel veilig moet zijn. Die wettelijke zinnen zijn vaak vaag, technisch neutraal en niet bedoeld voor koks of softwareontwikkelaars.

Het probleem? Als je die wettelijke regels niet precies vertaalt naar een duidelijk kookrecept (in dit geval: een softwareprogramma), kan het eten ziek maken, of kan je bedrijf een enorme boete krijgen. Het handmatig vertalen van die wettelijke taal naar een werkend recept is echter extreem tijdrovend en vol fouten.

Hier komt AI (specifiek "Large Language Models" of LLMs) om de hoek kijken. De onderzoekers van deze studie wilden weten: Kan een slimme computer die wettelijke regels automatisch omzetten in een perfect, duidelijk kookrecept voor software?

Het Experiment: De "Gherkin"-Keuken

In de wereld van software heet zo'n duidelijk recept Gherkin. Het is een taal die werkt met een simpel patroon:

• Gegeven (Given): De situatie (bijv. "We hebben een ei").
• Wanneer (When): De actie (bijv. "We wegen het ei").
• Dan (Then): Het resultaat (bijv. "Het ei moet zwaar genoeg zijn").

De onderzoekers gaven twee super-slimme AI's (genaamd Claude en Llama) een lijst met 30 wettelijke regels over voedselveiligheid (bijvoorbeeld regels over eieren) en vroegen hen om deze om te zetten in Gherkin-recepten.

Vervolgens lieten ze 10 mensen (studenten en experts in software) deze AI-recepten beoordelen. Ze keken naar vijf dingen:

1. Is het relevant? (Klopt het met de wet?)
2. Is het duidelijk? (Begrijp je het?)
3. Is het compleet? (Ontbreken er stappen?)
4. Is het één doel? (Is het recept niet een rommelige mix van verschillende taken?)
5. Tijdwinst: (Bespaart het tijd om dit te schrijven?)

Wat vonden ze? (De Resultaten)

De resultaten waren verrassend goed, maar niet perfect.

• De AI's zijn geweldige "eerste schrijvers": De meeste recepten die de AI's maakten waren uitstekend. Ze waren duidelijk, relevant en bespaarden de mensen enorm veel tijd. Het was alsof de AI's je een perfect uitgeschreven recept gaven dat je alleen nog maar hoeft te controleren, in plaats van dat je het zelf vanaf nul moet bedenken.
• Geen grote winnaar: De twee AI's (Claude en Llama) waren ongeveer even goed. Geen van beiden was duidelijk de beste; ze maakten allebei goede, maar ook soms foutieve recepten.
• De valkuilen (De "Gevaarlijke" Fouten):
  • Hallucinaties: Soms verzon de AI dingen die er niet in de wet stonden. Analogie: De wet zegt "meet de temperatuur", maar de AI schrijft: "als de temperatuur te hoog is, laat het systeem een rode waarschuwing zien." De wet zegt niets over een rode waarschuwing! Dat is een uitvinding van de AI.
  • Ontbrekende stukjes: Soms vergat de AI een belangrijke regel. Analogie: De wet zegt "controleer de temperatuur én de hygiëne", maar de AI schrijft alleen over de temperatuur. In de echte wereld kan dat leiden tot ziek voedsel.
  • Gemengde doelen: Soms probeerde de AI twee verschillende regels in één zin te proppen, waardoor het verwarrend werd.

De Conclusie: AI als Chef-kok-assistent, niet als Hoofdchef

De boodschap van dit onderzoek is heel duidelijk:

Gebruik AI, maar laat de mens het laatste woord hebben.

Je kunt de AI zien als een super-snelle stagiair die een recept voor je opschrijft. De stagiair is razendsnel en schrijft 95% van de dingen perfect. Maar omdat de stagiair soms dingen uit zijn duim zuigt (hallucinaties) of een stap vergeet, moet je altijd als ervaren chef-kok (de mens) het recept controleren voordat je het aan de klant geeft.

In de wereld van voedselveiligheid (en andere strenge regels) is dit cruciaal. Als je de AI blindelings vertrouwt, kan een klein foutje leiden tot grote problemen. Maar als je de AI gebruikt om het zware, saaie werk van het eerste opschrijven te doen, en daarna zelf de controle houdt, bespaar je enorme hoeveelheden tijd en krijg je betere resultaten.

Kortom: De AI is een fantastisch hulpmiddel om de brug te slaan tussen saaie wettelijke taal en werkende software, maar de mens moet altijd de "veiligheidscontrole" uitvoeren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations", vertaald en samengevat in het Nederlands.

1. Probleemstelling

In gereguleerde domeinen, zoals voedselveiligheid, beïnvloeden wetten en regelgevingen softwareontwerp en -kwaliteit steeds meer. Het vertalen van juridische teksten naar concrete software-specificaties (zoals acceptatiecriteria) is echter complex vanwege de technologieneutrale formulering van juridische bepalingen.

• Huidige uitdaging: Het handmatig vertalen van deze teksten is arbeidsintensief, foutgevoelig en inconsistent.
• Tekortkoming in bestaand onderzoek: Hoewel er veel onderzoek is naar het extraheren van requirements uit juridische teksten, is er weinig aandacht voor het systematisch omzetten van deze teksten in gestructureerde, machine-leesbare softwareartefacten.
• Doel: Onderzoeken of Large Language Models (LLMs) kunnen worden ingezet om automatisch gedragspecificaties in het formaat Gherkin (een domeinspecifieke taal voor Behavior-Driven Development) te genereren op basis van voedselveiligheidsregels.

2. Methodologie

De auteurs voerden een quasi-experiment uit met menselijke proefpersonen om de kwaliteit van door LLMs gegenereerde specificaties te evalueren.

• Onderzoeksvragen (RQs):
  • RQ1: Hoe goed presteren LLMs bij het genereren van Gherkin-specificaties uit voedselveiligheidsregels?
  • RQ2: Hoe vergelijken de modellen Claude (3.7 Sonnet) en Llama (3.3 70B Instruct) zich met elkaar?
• Data en Stimuli:
  • Er werden 30 juridische bepalingen geselecteerd uit de Safe Food for Canadians Regulations (SFCR) en gerelateerde documenten.
  • Twee LLMs genereerden elk 30 Gherkin-specificaties (totaal 60 specificaties).
  • De prompts waren gestructureerd met een domein-specifieke glossary en duidelijke instructies voor het "Given-When-Then" formaat.
• Deelnemers:
  • 10 deelnemers (software-engineering studenten van de Universiteit van Ottawa, variërend van senior bachelor tot PhD-studenten).
  • Elke deelnemer beoordeelde 12 specificaties (6 van elk model) onafhankelijk.
  • Elke specificatie werd dus door twee verschillende deelnemers beoordeeld (totaal 120 beoordelingen).
• Evaluatiecriteria:
  De specificaties werden beoordeeld op vijf kwaliteitscriteria (op een schaal van 1 tot 5):
  1. Relevantie: Hoe goed de specificatie overeenkomt met de bedoeling van de juridische tekst.
  2. Volledigheid: Of alle impliciete functies en kenmerken zijn opgenomen zonder weglatingen.
  3. Duidelijkheid: Of de specificatie eenduidig en niet ambigu is.
  4. Singulariteit: Of elk scenario zich richt op één enkel doel (vermijden van "mixed-purpose" scenario's).
  5. Tijdbesparing: De subjectieve inschatting van hoeveel tijd het bespaart ten opzichte van handmatig schrijven.
• Statistische Analyse: Er werden niet-parametrische tests gebruikt (Wilcoxon signed-rank test voor gepaarde ratings, Mann-Whitney U-test voor modelvergelijkingen) met correctie voor meervoudige vergelijkingen (Benjamini-Hochberg).

3. Belangrijkste Resultaten

De resultaten waren over het algemeen zeer positief, maar met belangrijke nuanceringen.

• Algemene Kwaliteit: De ratings waren uniform hoog. De meeste scores vielen in de top-twee categorieën:
  • Relevantie: 95% (hoog/zeer hoog).
  • Duidelijkheid: 100% (hoog/zeer hoog).
  • Volledigheid: 94,2%.
  • Singulariteit: 93,4%.
  • Tijdbesparing: 91,7%.
• Vergelijking Llama vs. Claude: Er waren geen statistisch significante verschillen tussen de twee modellen op enig kwaliteitscriterium.
  • Descriptief: Llama scoerde iets hoger op duidelijkheid, volledigheid en tijdbesparing. Claude hield zich iets consequenter aan het principe van singulariteit (minder scenario's met gemengde doelen).
• Kwalitatieve Feedback en Foutpatronen: Ondanks de hoge scores identificeerden deelnemers kritieke problemen:
  • Omissies: Het missen van hele clausules of specifieke voorwaarden (bijv. bilinguale labels of specifieke temperatuuraannames).
  • Hallucinaties: Het genereren van inhoud die niet in de brontekst staat (bijv. het aannemen van een visuele waarschuwing die niet vereist is).
  • Gemengde intenties: Het samenvoegen van meerdere onafhankelijke vereisten in één scenario, wat de leesbaarheid en testbaarheid vermindert.
  • Haalbaarheid: Drie unieke specificaties werden als "onwaarschijnlijk" (implausible) beoordeeld omdat ze fysieke wetten of realistische praktijken schonden.

4. Kernbijdragen

1. Eerste menselijke evaluatie: Dit is het eerste systematische menselijke onderzoek naar het vermogen van LLMs om gedragspecificaties (Gherkin) direct uit juridische teksten te genereren.
2. Validatie van LLM-toepassing: Het bewijst dat LLMs effectief kunnen fungeren als "eerste opzet" co-auteurs voor juridische requirements in gereguleerde domeinen.
3. Methodologisch raamwerk: Het biedt een blauwdruk voor het evalueren van door AI gegenereerde artefacten met behulp van menselijke oordelen en gestructureerde kwaliteitscriteria.
4. Inzicht in risico's: Het identificeert specifiek dat omissies en hallucinaties de grootste risico's zijn in veiligheidskritieke domeinen, wat de noodzaak van menselijke toezicht benadrukt.

5. Betekenis en Conclusie

De studie concludeert dat LLMs een waardevolle rol kunnen spelen in het automatiseren van de vertaling van wetgeving naar software-specificaties, vooral om de initiële schrijftijd te verkorten. Echter, vanwege de waargenomen fouten (vooral het missen van cruciale regels en het hallucineren van niet-bestaande eisen), kan volledige automatisering niet worden aanbevolen, vooral niet in veiligheidskritieke contexten zoals voedselveiligheid.

De aanbevolen aanpak is een "Human-in-the-Loop" workflow:

1. Gebruik LLMs om een eerste concept (draft) te genereren.
2. Pas een gestructureerde menselijke review toe op relevantie, volledigheid, singulariteit en haalbaarheid.
3. Behoud juridische input en prompts onder configuratiebeheer voor traceerbaarheid.

De auteurs benadrukken dat de echte waarde ligt in het versnellen van het schrijfproces, niet in het vervangen van de menselijke expert die verantwoordelijk is voor de naleving en veiligheid.