From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations

Cette étude quasi-expérimentale démontre que les modèles de langage peuvent générer avec une grande pertinence des spécifications comportementales Gherkin à partir de réglementations sur la sécurité alimentaire, tout en soulignant la nécessité d'une supervision humaine pour corriger les omissions et les hallucinations.

L'essentiel

Imaginez que vous êtes un chef cuisinier très exigeant. Vous avez un livre de règles très strict (la loi) qui dit exactement comment préparer vos plats pour qu'ils soient sûrs à manger. Mais ce livre est écrit dans un langage très officiel, rempli de termes juridiques complexes, comme si on vous parlait en latin.

D'un autre côté, vous avez une équipe de robots (les intelligences artificielles, ou LLM) qui sont très forts pour écrire des recettes. Votre but est de leur demander de transformer ces règles juridiques ennuyeuses en une liste d'instructions claires et simples pour vos robots de cuisine, afin qu'ils sachent exactement quoi faire.

C'est exactement ce que cette étude a essayé de faire, mais avec des logiciels au lieu de la cuisine !

Voici l'histoire de cette recherche, expliquée simplement :

1. Le Problème : La Traduction Impossible

Les lois sur la sécurité alimentaire (comme au Canada) sont écrites pour durer des siècles et s'appliquer à toutes les technologies. C'est très bien pour les juristes, mais terrible pour les développeurs de logiciels.

• L'analogie : C'est comme si on vous donnait une carte au trésor dessinée en hiéroglyphes égyptiens et qu'on vous demandait de construire un robot pour trouver le trésor. Si vous faites une erreur de traduction, le robot pourrait manger des œufs avariés ou, pire, ne pas respecter la loi, ce qui coûte cher et met les gens en danger.

2. La Solution Testée : Les Robots "Traducteurs"

Les chercheurs ont demandé à deux super-robots intelligents (appelés Claude et Llama) de faire ce travail de traduction.

• La tâche : Ils devaient prendre un paragraphe de loi sur les œufs (par exemple : "Les œufs doivent contenir moins de 5% d'eau") et le transformer en un scénario de test appelé Gherkin.
• Qu'est-ce que le Gherkin ? Imaginez que c'est une recette de cuisine très structurée qui dit :
  • Étant donné (Given) : J'ai un œuf.
  • Quand (When) : Je le pèse.
  • Alors (Then) : Il doit peser moins de 5% d'eau.
    C'est un langage que les humains et les ordinateurs peuvent tous deux comprendre facilement.

3. L'Expérience : Le Concours de Traduction

Pour voir si ces robots étaient bons, les chercheurs ont recruté 10 humains (des étudiants en informatique) pour jouer au rôle de gourmets critiques.

• Ils ont donné aux robots 30 règles de sécurité alimentaire.
• Les robots ont généré 60 recettes (30 par robot).
• Les humains ont goûté chaque recette et ont noté 5 critères :
  1. Pertinence : Est-ce que la recette parle vraiment de la loi ?
  2. Clarté : Est-ce qu'on comprend bien ?
  3. Complétude : Est-ce qu'il manque des ingrédients (des détails de la loi) ?
  4. Singularité : Est-ce que chaque recette ne fait qu'une seule chose, ou est-ce qu'elle essaie de tout faire en même temps (ce qui est confus) ?
  5. Gain de temps : Est-ce que ça m'évite d'écrire la recette moi-même ?

4. Les Résultats : Les Robots sont de Bons Assistants, mais pas des Maîtres

Les résultats ont été surprenants et encourageants, mais avec une petite réserve importante.

• Le verdict général : Les robots ont été excellents ! Plus de 90% des recettes étaient claires, pertinentes et complètes. Les humains ont trouvé que cela leur faisait gagner beaucoup de temps. C'était comme si les robots avaient écrit 95% du travail, et les humains n'avaient plus qu'à faire la finition.
• La bataille des robots : Claude et Llama étaient presque à égalité. Aucun n'était clairement meilleur que l'autre. C'était un match nul très serré.
• Le petit problème (Le "Hallucination") : Parfois, les robots inventaient des choses.
  • Exemple : La loi disait "vérifier la température". Le robot a écrit : "Si la température est mauvaise, afficher un message d'erreur rouge sur l'écran".
  • Le problème : La loi ne parlait pas d'écran ! Le robot a "halluciné" un détail qui n'existait pas. C'est comme si le robot ajoutait du sel dans la soupe alors que la loi ne le demandait pas.
• Le gros problème (Les oublis) : Parfois, le robot oubliait une partie importante de la loi. C'est le plus dangereux. Si un robot oublie de dire "ne pas manger d'œufs pourris", le robot de cuisine va quand même les manger.

5. La Conclusion : L'Humain reste le Chef

L'étude conclut que les intelligences artificielles sont des super-assistants pour écrire les premières ébauches de règles logicielles. Elles font le gros du travail rapidement.

Cependant, on ne peut jamais leur faire confiance à 100%, surtout quand il s'agit de sécurité (nourriture, santé, argent).

• La métaphore finale : Imaginez que l'IA est un apprenti cuisinier très rapide et talentueux. Il prépare 90% du plat parfaitement. Mais vous, le chef humain, devez absolument goûter le plat avant de le servir. Si vous ne le faites pas, l'apprenti pourrait mettre un poison par erreur ou oublier un ingrédient vital.

En résumé : Les robots peuvent transformer des lois compliquées en instructions simples très efficacement, mais un humain doit toujours vérifier le travail pour s'assurer qu'il n'y a pas d'erreurs dangereuses. C'est un travail d'équipe : la machine écrit, l'humain valide.

Résumé technique

Voici un résumé technique détaillé de l'article « From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations », rédigé en français.

1. Problématique et Contexte

Dans les domaines réglementés (comme la sécurité alimentaire), les lois et règlements influencent de plus en plus la conception et la qualité des logiciels. Cependant, la formulation techniquement neutre des textes juridiques rend difficile l'extraction de spécifications concrètes, de exigences et de critères d'acceptation nécessaires pour vérifier la conformité du logiciel.

• Défi actuel : La traduction manuelle de ces textes juridiques en artefacts d'ingénierie logicielle est laborieuse, sujette aux erreurs et incohérente.
• Opportunité : Les modèles de langage (LLM) offrent un potentiel pour automatiser cette dérivation.
• Objectif spécifique : L'étude vise à évaluer systématiquement la capacité des LLM à transformer des textes juridiques (règlements sur la sécurité alimentaire) en spécifications comportementales structurées au format Gherkin (langage spécifique au développement piloté par le comportement, ou BDD, utilisant le format Given-When-Then).

2. Méthodologie

L'étude adopte une conception quasi-expérimentale avec des sujets humains, car un contrôle expérimental strict était impossible dans un contexte réel avec des participants aux horaires variés.

• Participants : 10 participants (étudiants en génie logiciel, de niveau licence avancée à doctorat) possédant une expertise en BDD, en écriture de tests et en analyse des exigences.
• Modèles évalués : Deux LLM de pointe : Claude (3.7 Sonnet) et Llama (3.3 70B Instruct).
• Données : 30 dispositions juridiques tirées des Safe Food for Canadians Regulations (SFCR) et des documents connexes.
• Processus :
  1. Génération : Chaque disposition juridique a été transformée en spécifications Gherkin par les deux LLM (totalisant 60 spécifications).
  2. Évaluation : Chaque spécification a été évaluée par deux participants distincts (120 évaluations au total).
  3. Critères de qualité : Les participants ont noté les spécifications sur une échelle de 5 points selon cinq critères :
     • Pertinence : Adéquation avec le texte juridique.
     • Clarté : Absence d'ambiguïté.
     • Exhaustivité : Inclusion de toutes les fonctions et caractéristiques implicites.
     • Singularité : Chaque scénario doit avoir un seul objectif (pas de mélange de buts).
     • Gain de temps : Potentiel de réutilisation et réduction de l'effort manuel.
  4. Analyse : Utilisation de tests statistiques non paramétriques (Mann-Whitney U, Wilcoxon) pour comparer les modèles et les participants, ainsi qu'une analyse qualitative des commentaires textuels.

3. Contributions Clés

• Première étude systématique : Il s'agit de la première évaluation humaine centrée sur la capacité des LLM à générer des spécifications Gherkin à partir de textes juridiques.
• Cadre d'évaluation : Définition et application d'une métrique de qualité adaptée au BDD pour le contexte de conformité légale (pertinence, singularité, etc.).
• Analyse des risques : Identification des schémas d'échec spécifiques (omissions, hallucinations, intentions mélangées) dans un domaine critique pour la sécurité.
• Ressources ouvertes : Mise à disposition d'un package de réplication incluant le jeu de données, les résultats statistiques et les scripts d'évaluation.

4. Résultats Principaux

A. Performance Quantitative

Les résultats sont globalement très positifs, avec des notes uniformément élevées (catégories supérieures) :

• Pertinence : 95 % des notes sont "très pertinentes" ou "parfaitement pertinentes".
• Clarté : 100 % des notes sont "très claires" ou "parfaitement claires".
• Exhaustivité : 94,2 % sont considérées comme complètes.
• Singularité : 93,4 % respectent le principe de scénario unique.
• Gain de temps : 91,7 % jugent que le temps est significativement ou massivement économisé.

Comparaison des modèles : Aucune différence statistiquement significative n'a été observée entre Claude et Llama sur aucun des cinq critères.

• Nuance descriptive : Llama semble légèrement supérieur en clarté, exhaustivité et gain de temps. Claude montre une meilleure cohérence dans la singularité des scénarios (moins de scénarios à buts multiples).

B. Analyse Qualitative et Limites

Malgré les scores élevés, l'analyse qualitative a révélé des problèmes critiques nécessitant une supervision humaine :

1. Omissions : Des clauses entières ou des détails spécifiques (ex: conditions d'étiquetage bilingue) ont été ignorés par les LLM.
2. Hallucinations : Les modèles ont parfois inventé des comportements système non mentionnés dans la loi (ex: afficher un avertissement visuel alors que la loi ne le prescrit pas).
3. Intentions mélangées : Certains scénarios combinent plusieurs objectifs indépendants, violant le principe de singularité du BDD.
4. Faisabilité : Quelques spécifications ont été jugées "non plausibles" d'un point de vue physique ou pratique (ex: supposer que tous les liquides peuvent être maintenus exactement à 20°C pour une mesure).

5. Signification et Implications

• Rôle des LLM : Les LLM ne doivent pas être considérés comme des solutions d'automatisation "sans intervention humaine" (hands-off), surtout dans les domaines critiques comme la sécurité alimentaire. Ils sont excellents pour agir comme des co-auteurs de premier jet, accélérant considérablement la rédaction initiale.
• Nécessité de la boucle humaine : La valeur réelle réside dans un flux de travail Human-in-the-Loop :
  1. Décomposer les provisions juridiques.
  2. Générer des spécifications candidates via LLM.
  3. Révision humaine rigoureuse pour corriger les omissions, les hallucinations et valider la plausibilité.
• Impact sur la recherche : L'étude ouvre la voie à l'utilisation des textes juridiques comme sources directes pour des artefacts logiciels structurés, au-delà de la simple extraction ou classification. Elle souligne la nécessité de développer des techniques pour assurer la fidélité à la source et la décomposition systématique des clauses complexes.

Conclusion : Les LLM peuvent transformer efficacement les règlements de sécurité alimentaire en spécifications Gherkin, mais leur utilisation dans des contextes à risque élevé exige une validation humaine systématique pour mitiger les risques d'omission et d'erreur.