From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations

Die Studie zeigt, dass große Sprachmodelle zwar effektiv dabei helfen können, aus Lebensmittelsicherheitsvorschriften Gherkin-Spezifikationen abzuleiten, jedoch aufgrund von Auslassungen und Halluzinationen eine systematische menschliche Überprüfung in sicherheitskritischen Bereichen unerlässlich bleibt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Koch, der ein neues Restaurant eröffnen will. Aber bevor Sie auch nur einen Topf aufsetzen dürfen, müssen Sie sich an ein riesiges, 100-seitiges Regelwerk halten, das von strengen Lebensmittelbehörden geschrieben wurde. Diese Regeln sind wichtig, damit niemand krank wird, aber sie sind oft in einer sehr trockenen, juristischen Sprache verfasst, die für einen Software-Entwickler (der die Küche automatisieren soll) wie Kauderwelsch klingt.

Die Forscher in diesem Papier haben sich eine spannende Frage gestellt: Können diese modernen KI-Chatbots (die sogenannten "Large Language Models" oder LLMs) diese trockenen Gesetze in klare, handlungsanweisende Rezepte übersetzen?

Hier ist die Geschichte ihrer Entdeckungen, einfach erklärt:

1. Das Problem: Die Übersetzungs-Hürde

Gesetze sind wie ein riesiger, unübersichtlicher Berg aus Papier. Ein Software-Entwickler muss daraus aber konkrete Anweisungen machen, wie ein Computerprogramm sich verhalten soll. Wenn man das von Hand macht, ist das extrem mühsam, teuer und fehleranfällig. Ein kleiner Fehler in der Übersetzung könnte bedeuten, dass das Programm Eier falsch wiegt oder die Temperatur nicht prüft – und das könnte im schlimmsten Fall zu vergifteten Lebensmitteln führen.

2. Die Lösung: Der KI-Assistent

Die Forscher haben zwei sehr bekannte KI-Modelle getestet: Claude und Llama. Ihre Aufgabe war es, diese KI-Modelle zu bitten, die Gesetze in eine spezielle Sprache namens Gherkin zu übersetzen.

• Was ist Gherkin? Stellen Sie sich Gherkin wie ein sehr einfaches Kochrezept vor, das jeder versteht. Es folgt immer dem Schema:
  • Gegeben (Given): Hier ist der Zustand (z. B. "Der Kühlschrank ist auf 4 Grad").
  • Wenn (When): Dann passiert etwas (z. B. "Ein Kunde bestellt ein Ei").
  • Dann (Then): Das ist das Ergebnis (z. B. "Das Ei muss mindestens 23,5 % Eiweiß enthalten").

Das Tolle an Gherkin ist, dass es nicht nur Menschen verstehen, sondern auch von Computern automatisch geprüft werden kann.

3. Das Experiment: Der Blindtest

Die Forscher haben 10 Experten (Studenten und Doktoranden, die sich mit Software auskennen) gebeten, die von den KI-Modellen erstellten "Rezepte" zu bewerten.

• Sie bekamen 60 verschiedene "Rezepte" (Spezifikationen).
• Jedes Rezept wurde von zwei verschiedenen Personen geprüft.
• Die Bewertungskriterien waren: Ist das Rezept relevant? Ist es klar verständlich? Ist alles drin, was im Gesetz steht? Und spart es Zeit?

4. Die Ergebnisse: Ein großer Erfolg mit kleinen Macken

Das Ergebnis war überraschend positiv, aber mit einem wichtigen "Aber".

Die guten Nachrichten:
Die KI-Modelle waren hervorragend.

• Die "Rezepte" waren zu 95–100 % relevant und klar verständlich.
• Die Teilnehmer waren sich einig: Die KI hat die Gesetze fast perfekt verstanden und in eine Form gebracht, die man sofort nutzen kann.
• Es hat den Experten viel Zeit gespart. Statt stundenlang zu grübeln, hatten sie einen fast fertigen Entwurf, den sie nur noch prüfen mussten.

Die schlechten Nachrichten (Die "Halluzinationen" und Lücken):
Aber die KI ist nicht perfekt, genau wie ein sehr schneller, aber manchmal etwas abwesender Koch-Assistent.

• Lücken (Omissions): Manchmal hat die KI wichtige Details übersehen. Zum Beispiel hat sie vergessen zu erwähnen, dass ein Etikett auf Deutsch und Französisch sein muss. In der echten Welt wäre das ein Problem.
• Halluzinationen: Manchmal hat die KI Dinge erfunden, die im Gesetz gar nicht stehen. Ein Beispiel: Das Gesetz sagt nichts davon, dass das Programm eine Warnung auf einem Bildschirm anzeigen soll. Aber die KI hat trotzdem einen Schritt eingebaut: "Wenn das Ei zu kalt ist, zeige eine rote Warnung." Das Gesetz verlangt das gar nicht!
• Gemischte Aufgaben: Manchmal hat die KI zwei verschiedene Aufgaben in einem einzigen "Rezept" vermischt, was verwirrend ist.

5. Die Lektion: Der KI-Assistent, aber mit Aufsicht

Die wichtigste Erkenntnis dieser Studie ist: Verlassen Sie sich nicht blind auf die KI, aber nutzen Sie sie als Starthilfe.

Stellen Sie sich die KI wie einen sehr talentierten, aber noch unerfahrenen Lehrling vor.

• Wenn Sie dem Lehrling die Aufgabe geben, ein Rezept zu schreiben, macht er das extrem schnell und die Grundstruktur ist perfekt.
• Aber Sie müssen als erfahrener Küchenchef (der menschliche Experte) danach kommen und das Rezept genau durchlesen. Sie müssen prüfen: "Hat er etwas Wichtiges vergessen?" und "Hat er sich etwas ausgedacht, das nicht dazugehört?"

Fazit für den Alltag

In Bereichen, die mit Sicherheit zu tun haben (wie Lebensmittel, Medizin oder autonomes Fahren), ist diese Methode vielversprechend. Die KI kann den schweren Teil der Arbeit (das Schreiben des ersten Entwurfs) übernehmen und so viel Zeit sparen. Aber der menschliche Blick ist unverzichtbar, um sicherzustellen, dass am Ende niemand durch einen kleinen Fehler der KI zu Schaden kommt.

Die KI ist also kein Ersatz für den Menschen, sondern ein Super-Verstärker, der uns hilft, Gesetze schneller in funktionierende Software zu verwandeln – solange wir den Hut aufbehalten und genau hinschauen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations" auf Deutsch:

1. Problemstellung

In regulierten Domänen (wie der Lebensmittelsicherheit) beeinflussen Gesetze und Vorschriften zunehmend Softwaredesign, -entwicklung und Qualitätssicherung. Die Übersetzung dieser rechtlichen Texte in konkrete Software-Anforderungen und Akzeptanzkriterien ist jedoch eine große Herausforderung:

• Sprachliche Hürden: Rechtliche Bestimmungen sind oft technologie-neutral und allgemein formuliert, was die Ableitung spezifischer technischer Spezifikationen erschwert.
• Manuelle Arbeit: Die manuelle Erstellung dieser Artefakte ist zeitaufwendig, fehleranfällig und inkonsistent, was das Risiko von Compliance-Verstößen erhöht.
• Forschungslücke: Während frühere Arbeiten sich auf die Extraktion oder Klassifizierung von Anforderungen aus Rechtstexten konzentrierten, gibt es kaum Forschung zur systematischen Transformation in strukturierte, maschinenlesbare Software-Artefakte wie Verhaltensspezifikationen.

Das Ziel der Studie war es zu untersuchen, ob Large Language Models (LLMs) in der Lage sind, automatisch hochwertige Verhaltensspezifikationen im Gherkin-Format (Given-When-Then) aus Lebensmittelsicherheitsvorschriften abzuleiten.

2. Methodik

Die Autoren führten ein quasi-experimentelles Design durch, da eine vollständig kontrollierte Randomisierung aufgrund realer Einschränkungen (z. B. unterschiedliche Teilnehmerzeitpläne, Diversität des Teilnehmerpools) nicht möglich war.

• Teilnehmer: 10 Teilnehmer mit technischem Hintergrund (Software-Engineering-Studierende von Bachelor bis PhD), die in BDD (Behavior-Driven Development) und Gherkin bewandert waren.
• LLMs: Zwei State-of-the-Art-Modelle wurden verglichen: Claude (3.7 Sonnet) und Llama (3.3 70B Instruct).
• Datensatz: 30 rechtliche Bestimmungen aus kanadischen Lebensmittelsicherheitsvorschriften (Safe Food for Canadians Regulations).
• Generierung: Jedes Modell generierte Gherkin-Spezifikationen für die 30 Bestimmungen (insgesamt 60 Spezifikationen).
• Evaluierung: Jeder Teilnehmer bewertete 12 Spezifikationen (je 6 pro Modell) unabhängig voneinander. Jede Spezifikation wurde somit von zwei Teilnehmern bewertet (insgesamt 120 Bewertungen).
• Bewertungskriterien: Die Spezifikationen wurden nach fünf Kriterien auf einer ordinalen Skala bewertet:
  1. Relevanz: Übereinstimmung mit dem intendierten Systemverhalten im Rechtstext.
  2. Klarheit: Eindeutigkeit und Verständlichkeit.
  3. Vollständigkeit: Fehlen von Auslassungen wesentlicher Funktionen.
  4. Einzigartigkeit (Singularity): Fokussierung eines Szenarios auf ein einziges Ziel (Vermeidung von „Mixed-Purpose"-Szenarien).
  5. Zeiteinsparung: Potenzielle Reduktion des manuellen Aufwands.
• Statistik: Es wurden nicht-parametrische Tests (Wilcoxon-Vorzeichen-Rang-Test für gepaarte Daten, Mann-Whitney-U-Test für Modellvergleiche) sowie die Benjamini-Hochberg-Korrektur für multiple Vergleiche angewendet.

3. Wichtige Beiträge

• Erste systematische Human-Studie: Dies ist die erste Studie, die die Fähigkeit von LLMs zur automatischen Ableitung von Gherkin-Spezifikationen aus rechtlichen Texten unter Einbeziehung menschlicher Teilnehmer evaluiert.
• Domänenspezifischer Fokus: Die Arbeit adressiert die Lücke zwischen technologie-neutralen Gesetzen und implementierbaren Software-Spezifikationen im kritischen Bereich der Lebensmittelsicherheit.
• Qualitätsrahmen: Einführung und Anwendung eines evaluierten Kriterienkatalogs (Relevanz, Klarheit, Vollständigkeit, Einzigartigkeit, Zeiteinsparung) speziell für LLM-generierte Compliance-Spezifikationen.
• Qualitative Analyse: Detaillierte Untersuchung von Fehlermustern (Halluzinationen, Auslassungen, gemischte Intentionen) mit konkreten Beispielen und Vorschlägen für Überarbeitungen.

4. Ergebnisse

Die quantitativen Ergebnisse waren durchweg positiv, zeigten jedoch wichtige qualitative Nuancen:

• Hohe Gesamtbewertung: Die Spezifikationen erhielten in allen Kategorien sehr hohe Bewertungen (Top-Kategorien):
  • Relevanz: 95 %
  • Klarheit: 100 %
  • Vollständigkeit: 94,2 %
  • Einzigartigkeit: 93,4 %
  • Zeiteinsparung: 91,7 %
• Modellvergleich (RQ2): Es gab keine statistisch signifikanten Unterschiede zwischen Claude und Llama in Bezug auf die fünf Qualitätskriterien. Deskriptiv tendierte Llama zu etwas besserer Klarheit und Vollständigkeit, während Claude konsistenter bei der Einzigartigkeit der Szenarien war (weniger gemischte Ziele).
• Qualitative Mängel: Trotz hoher Scores identifizierten die Teilnehmer kritische Fehler:
  • Auslassungen: Wichtige Klauseln oder Details wurden manchmal ignoriert.
  • Halluzinationen: Das Modell fügte Informationen hinzu, die nicht im Gesetzestext standen (z. B. nicht existierende Warnhinweise oder unrealistische physikalische Annahmen).
  • Gemischte Intentionen: Szenarien kombinierten oft mehrere unabhängige Anforderungen, was die Testbarkeit und Klarheit beeinträchtigte.
• Plausibilität: Nur 3 von 60 Spezifikationen wurden als unplausibel eingestuft, was auf eine gute Grundlogik der Modelle hindeutet, aber die Notwendigkeit menschlicher Prüfung unterstreicht.

5. Bedeutung und Schlussfolgerung

Die Studie kommt zu dem Schluss, dass LLMs (Claude und Llama) als effektive „Co-Autoren für den ersten Entwurf" (first-draft co-authors) für die Ableitung von Verhaltensspezifikationen aus Gesetzen dienen können. Sie können den manuellen Aufwand erheblich reduzieren und liefern Spezifikationen, die in Bezug auf Relevanz und Klarheit meist sehr gut sind.

Kritische Implikationen:

• Keine vollautomatische Lösung: Aufgrund von Auslassungen und Halluzinationen, die in sicherheitskritischen Domänen (wie der Lebensmittelsicherheit) zu schwerwiegenden Folgen führen können, ist eine systematische menschliche Überprüfung (Human-in-the-Loop) unerlässlich.
• Workflow-Empfehlung: Die Autoren schlagen einen Workflow vor, bei dem LLMs zur Generierung von Entwurfsspezifikationen genutzt werden, gefolgt von einer strengen Prüfung durch Experten, die auf Vollständigkeit, Einzigartigkeit und Plausibilität achten.
• Zukunftsausblick: Die Forschung sollte sich auf andere Rechtsdomänen (z. B. Datenschutz), die Integration von Organisationsartefakten zur Reduzierung von Auslassungen und interaktive Feedback-Schleifen konzentrieren.

Zusammenfassend zeigt das Paper, dass die Technologie bereit ist, den Prozess der Compliance-Implementierung zu beschleunigen, aber das menschliche Urteil weiterhin der entscheidende Faktor für Sicherheit und Korrektheit bleibt.