From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations

Questo studio presenta la prima valutazione sistematica su soggetti umani che dimostra come i modelli linguistici di grandi dimensioni (LLM) possano assistere efficacemente nella derivazione di specifiche comportamentali Gherkin da normative sulla sicurezza alimentare, pur richiedendo una revisione umana sistematica per correggere omissioni e allucinazioni.

L'essenziale

Immagina di dover tradurre un libro di regole molto noioso e complicato (come le leggi sulla sicurezza alimentare) in un manuale di istruzioni pratico e facile da seguire per un robot o un software. È un compito difficile, perché le leggi sono scritte in un linguaggio astratto, mentre i computer hanno bisogno di istruzioni precise.

Ecco di cosa parla questo studio, spiegato come se stessimo chiacchierando al bar:

🍳 Il Problema: La Cucina e il Libretto di Ricette

Immagina che le leggi sulla sicurezza alimentare siano un enorme libretto di ricette scritte in un linguaggio antico e complicato. Dicono cose come: "Le uova devono avere un certo contenuto di proteine e non troppi batteri".
Ora, immagina che tu debba insegnare a un cuoco robot (il software) come cucinare queste uova in modo sicuro. Se il robot non capisce bene la ricetta, potrebbe servire uova marce o avvelenare i clienti. Tradurre queste leggi in istruzioni per il robot è un lavoro noioso, lento e pieno di errori se fatto a mano.

🤖 La Soluzione: I "Cucinatori AI" (LLM)

Gli autori dello studio hanno provato a usare due "cucinatori AI" molto famosi e potenti (chiamati Claude e Llama) per leggere quelle leggi complicate e scrivere automaticamente le istruzioni per il robot.
Hanno usato un linguaggio speciale chiamato Gherkin. Pensa al Gherkin come a un linguaggio "ponte": è scritto in modo che anche un umano lo capisca (tipo: "Dato che ho le uova, Quando le peso, Allora devono pesare almeno X"), ma è anche così strutturato che il computer può eseguirlo automaticamente.

🧪 L'Esperimento: La Degustazione

Per vedere se questi "cucinatori AI" erano bravi, hanno organizzato una degustazione:

1. Hanno dato alle AI 30 leggi diverse sulla sicurezza alimentare.
2. Le AI hanno scritto 60 ricette (specifiche Gherkin) per il robot.
3. Hanno invitato 10 esperti (studenti universitari esperti di software) a "assaggiare" queste ricette.
4. Ogni esperto ha controllato 12 ricette, valutandole su 5 punti:
   • Pertinenza: La ricetta parla davvero di quello che dice la legge?
   • Chiarezza: È scritta in modo che non ci siano dubbi?
   • Completezza: Manca qualche ingrediente o passaggio?
   • Singolarità: Ogni ricetta fa una sola cosa alla volta, o ne mescola troppe insieme?
   • Risparmio di tempo: Quanto tempo mi fa risparmiare rispetto a scriverla da zero?

🏆 I Risultati: Bravi, ma non perfetti

Ecco cosa è emerso dalla degustazione:

• Il punteggio è stato altissimo: In generale, le ricette scritte dalle AI erano eccellenti. Il 95% era pertinente, il 100% chiaro. Sembrava che le AI avessero fatto un ottimo lavoro.
• Nessuna differenza tra i cuochi: Non c'era una differenza significativa tra Claude e Llama. Entrambi erano bravi quasi allo stesso modo.
• Il risparmio di tempo: Gli esperti hanno detto che usare queste ricette AI avrebbe fatto risparmiare molto tempo rispetto a scriverle da zero.

⚠️ Il Rovescio della Medaglia: Le "Allucinazioni"

Tuttavia, c'è un "ma" importante. Anche se le ricette sembravano perfette, gli esperti hanno notato alcuni errori pericolosi:

1. Cose inventate (Allucinazioni): A volte l'AI aggiungeva passaggi che non c'erano nella legge. Esempio: La legge dice solo di pesare le uova, ma l'AI ha scritto: "Quando il sistema vede che le uova sono pesanti, deve mostrare un avviso rosso". Ma la legge non parlava di avvisi rossi! È come se il cuoco inventasse un ingrediente che non esiste.
2. Cose dimenticate (Omissioni): A volte l'AI saltava passaggi cruciali. Se la legge dice "controlla le uova E il latte", l'AI a volte controllava solo le uova. In un campo dove la sicurezza è vitale (come il cibo), dimenticare un passaggio può essere pericoloso.
3. Mescolanza confusa: A volte l'AI metteva troppe cose in un'unica ricetta, rendendo difficile capire cosa controllare esattamente.

💡 La Conclusione: L'AI è un Aiuto, non un Capo

La lezione principale di questo studio è questa: L'AI è un fantastico "primo assistente".
Può scrivere la bozza della ricetta in pochi secondi, facendoti risparmiare ore di lavoro. Ma non puoi fidarti ciecamente di lei, specialmente quando si tratta di sicurezza alimentare o leggi importanti.

Devi sempre avere un chef umano (un revisore) che controlla la ricetta finale, cancella le cose inventate, aggiunge quelle dimenticate e si assicura che tutto sia corretto prima di servire il piatto al cliente.

In sintesi: L'AI è come un assistente di cucina velocissimo che sa leggere le ricette antiche, ma ha bisogno di un supervisore umano per assicurarsi che non inventi ingredienti magici o dimentichi il sale.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations", tradotto e adattato in italiano.

1. Il Problema

In settori regolamentati (come la sicurezza alimentare, la sanità o la finanza), le leggi e i regolamenti impongono vincoli critici su sicurezza, privacy e conformità. Tuttavia, la formulazione tecnologicamente neutra dei testi legali rende difficile derivare specifiche concrete, requisiti e criteri di accettazione necessari per verificare la conformità del software.

• Sfida attuale: La traduzione manuale di testi legali in artefatti ingegneristici (come specifiche comportamentali) è laboriosa, soggetta a errori e incoerente.
• Gap di ricerca: Sebbene esistano ricerche sull'estrazione di requisiti da testi legali, c'è poca attenzione alla trasformazione sistematica di questi testi in specifiche strutturate e analizzabili automaticamente (come quelle per il Behavior-Driven Development - BDD).
• Obiettivo: Valutare se i Modelli Linguistici su Grande Scala (LLM) possano automatizzare la derivazione di specifiche comportamentali in formato Gherkin (uno standard BDD nel formato Given-When-Then) partendo da regolamenti sulla sicurezza alimentare.

2. Metodologia

Lo studio ha adottato un disegno quasi-sperimentale con soggetti umani, poiché un esperimento completamente controllato era impraticabile data la variabilità dei partecipanti e delle condizioni ambientali.

• Partecipanti: 10 partecipanti (studenti universitari avanzati e dottorandi in Ingegneria del Software) con competenze in BDD, Gherkin e scrittura di casi di test.
• Modelli LLM testati: Due modelli all'avanguardia: Claude 3.7 Sonnet e Llama 3.3 70B Instruct.
• Dataset: 30 disposizioni legali estratte dai regolamenti canadesi sulla sicurezza alimentare (Safe Food for Canadians Regulations - SFCR).
• Generazione: Ogni disposizione legale è stata elaborata da entrambi i modelli, generando un totale di 60 specifiche Gherkin.
• Valutazione: Ogni specifica è stata valutata da due partecipanti indipendenti (120 valutazioni totali) su cinque criteri di qualità:
  1. Rilevanza: Quanto la specifica corrisponde al comportamento descritto nel testo legale.
  2. Completezza: Assenza di omissioni di funzioni o caratteristiche implicite.
  3. Chiarezza: Assenza di ambiguità e interpretazione univoca.
  4. Singolarità: Ogni scenario deve avere un unico scopo (evitando scenari "misti" con obiettivi multipli).
  5. Risparmio di tempo: Percezione dell'efficienza nel riutilizzo della specifica generata.
• Strumenti: Utilizzo di prompt ingegnerizzati con un glossario di dominio specifico per garantire coerenza. Analisi statistica tramite test non parametrici (Mann-Whitney U, Wilcoxon signed-rank) e correzione di Benjamini-Hochberg.

3. Risultati Chiave

Risultati Quantitativi

Le valutazioni sono state uniformemente alte (categorie superiori):

• Rilevanza: 95% (molto/totalmente rilevante).

• Chiarezza: 100% (molto/totalmente chiara).

• Completezza: 94,2%.

• Singolarità: 93,4%.

• Risparmio di tempo: 91,7% (risparmio significativo/massimo).

• Confronto tra Modelli: Non sono state osservate differenze statisticamente significative tra Claude e Llama su nessuno dei criteri di qualità. Entrambi i modelli hanno dimostrato capacità comparabili.

• Plausibilità: Solo 3 specifiche su 60 sono state giudicate "non plausibili" (violazioni di leggi fisiche o logica di base).

Risultati Qualitativi (Feedback Umano)

Nonostante i punteggi alti, l'analisi qualitativa ha rivelato pattern di errore critici:

1. Omissioni: Mancanza di clausole specifiche o dettagli necessari (es. condizioni di etichettatura bilingue o parametri specifici).
2. Allucinazioni: Generazione di contenuti non presenti nel testo legale (es. assumere che il sistema debba mostrare un avviso visivo quando la legge non lo richiede).
3. Intenti Misti: Alcuni scenari combinavano obiettivi indipendenti (es. verificare composizione fisica e limiti microbiologici nello stesso scenario), violando il principio di singolarità.

4. Contributi Principali

1. Primo Studio Sistematico: Questo è il primo studio che valuta empiricamente la capacità degli LLM di derivare specifiche Gherkin da testi legali, focalizzandosi su un dominio ad alto rischio (sicurezza alimentare).
2. Framework di Valutazione: Introduzione di un protocollo di valutazione basato su criteri BDD (rilevanza, completezza, chiarezza, singolarità) applicati a contesti legali.
3. Evidenza Empirica: Dimostrazione che gli LLM attuali possono agire come efficaci "co-autori" per la stesura di bozze iniziali, riducendo drasticamente lo sforzo manuale, ma non come sostituti autonomi della revisione umana.
4. Analisi dei Rischi: Identificazione specifica dei rischi legati alle omissioni in contesti safety-critical, dove un errore di omissione può portare a conseguenze gravi non rilevate dai test.

5. Significato e Implicazioni

• Per la Pratica: Gli ingegneri del software nei settori regolamentati possono utilizzare gli LLM per accelerare la fase di creazione delle specifiche (drafting), ma devono adottare un approccio "Human-in-the-Loop". La revisione umana sistematica è obbligatoria per catturare omissioni e allucinazioni, specialmente in domini critici.
• Per la Ricerca: Lo studio evidenzia la necessità di sviluppare tecniche per garantire la fedeltà alla fonte (faithfulness) e per la decomposizione sistematica di clausole legali complesse. Suggerisce che la ricerca futura deve concentrarsi su protocolli di revisione critico-affinamento (critique-refine loops) e sull'uso di glossari di dominio per ridurre le allucinazioni.
• Limiti: I risultati sono specifici per il dominio della sicurezza alimentare e per i modelli testati. La generalizzazione ad altri domini legali (es. privacy, diritti civili) o a modelli con capacità di ragionamento diverse richiede ulteriori studi.

Conclusione: Gli LLM hanno un potenziale significativo per automatizzare la traduzione da "Legge a Gherkin", offrendo un risparmio di tempo sostanziale e specifiche di alta qualità. Tuttavia, a causa dei rischi di omissione e allucinazione, il loro utilizzo deve essere limitato a un ruolo di supporto alla stesura, con una supervisione umana rigorosa per garantire la conformità normativa e la sicurezza.