Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study

Questo studio dimostra che, sebbene ChatGPT possa generare specifiche di requisiti di sistema sintetiche realistiche fino al 62% secondo gli esperti, l'uso esclusivo di valutazioni basate su modelli linguistici non può sostituire le revisioni approfondite degli esperti a causa di allucinazioni e contraddizioni intrinseche.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque, anche senza conoscenze tecniche.

Immagina di voler costruire una casa, ma non hai mai visto una vera casa e non puoi chiedere ai proprietari di mostrartene una perché sono troppo riservati o perché le case sono "segrete". Cosa fai? Costruisci una casa di carta che sembri reale, così puoi studiare come funzionano le fondamenta, le tubature e i muri senza violare la privacy di nessuno.

Questo è esattamente ciò che hanno fatto gli autori di questo studio, ma invece di case, hanno creato specifiche di requisiti per sistemi software (documenti che spiegano cosa un programma deve fare).

Ecco la storia del loro esperimento, raccontata passo dopo passo:

1. Il Problema: La "Caccia al Tesoro" dei Documenti Segreti

Nel mondo del software, per fare ricerche o creare nuovi strumenti, gli scienziati hanno bisogno di vedere documenti reali scritti da esperti. Ma questi documenti sono spesso segreti (come le ricette di una famosa azienda di cola) o protetti da copyright. È come cercare di imparare a cucinare guardando solo piatti vuoti e chiusi a chiave.

2. La Soluzione: Il "Cucina-Magico" (ChatGPT)

Gli autori hanno pensato: "E se chiedessimo a un'intelligenza artificiale (ChatGPT) di inventare questi documenti da zero?".
Hanno usato ChatGPT come un cuoco robot. Gli hanno detto: "Fammi un menu per un ristorante di logistica, uno per una scuola, uno per una banca...".
Il robot ha iniziato a scrivere 300 "menu" (documenti di requisiti) in 10 settori diversi.

Il rischio? I cuochi robot a volte sono troppo sicuri di sé. Se non sanno la ricetta vera, inventano qualcosa che sembra buonissimo ma è fatto di aria (questo si chiama "allucinazione" o "fantasia"). Potrebbero dirti che la pasta va cotta a 500 gradi perché "sembra logico", anche se è impossibile.

3. Il Metodo: La Ricetta per Non Ingannarsi

Per evitare che il robot inventasse cose assurde, gli autori hanno usato una strategia intelligente, come se stessero allenando un allievo:

• La Struttura (Il Template): Hanno dato al robot un "modello" rigido, come un modulo da compilare. Non poteva scrivere a caso; doveva seguire le regole.
• Il Controllore (Prompt di Valutazione): Dopo ogni documento, hanno chiesto al robot stesso: "Quanto è realistico questo documento? Dai un voto da 0 a 1".
• La Ripetizione: Hanno fatto questo esercizio 10 volte, correggendo le istruzioni al robot ogni volta per renderlo più preciso.

4. L'Esperimento: Il Test degli Esperti Reali

Alla fine, avevano 300 documenti generati dall'IA. Ma erano davvero buoni?
Hanno invitato 87 esperti umani (ingegneri software, manager, esperti di settore) a fare da "giudici". Gli hanno detto: "Leggete questi documenti e ditemi: sembrano veri o sembrano finti?".

Il Risultato Sorprendente:

• La Superficie: Il 62% degli esperti ha detto: "Sì, sembrano abbastanza reali!". Hanno guardato la copertina e la struttura e hanno annuito.
• La Profondità: Ma quando gli esperti hanno letto le righe piccole (come i dettagli tecnici o i vincoli di budget), hanno trovato buchi.
  • Esempio: Un documento parlava di un sistema che doveva funzionare in un paese europeo, ma citava leggi americane.
  • Esempio: Un altro chiedeva di gestire 15.000 utenti per un progetto che costava solo 100 euro.

5. La Morale della Favola: L'Illusione della Competenza

Cosa abbiamo imparato da questa storia?

1. L'IA è un bravo "imitatore": ChatGPT è bravissimo a copiare la forma e lo stile di un documento reale. Se lo guardi di sfuggita, sembra perfetto. È come un attore che recita la parte di un medico: indossa il camice e parla con termini tecnici, ma se gli chiedi come si cura una malattia rara, potrebbe inventare una cura che non esiste.
2. L'IA non è un "giudice" affidabile: Quando il robot si valuta da solo, è spesso troppo ottimista o troppo pessimista a seconda del modello che usa. Non puoi fidarti ciecamente del suo voto.
3. L'Uomo è ancora necessario: L'IA può creare una "bozza" o un "scheletro" molto utile, ma serve sempre un esperto umano per controllare che non ci siano errori logici o allucinazioni. È come avere un assistente che scrive la bozza di un contratto: tu devi rileggerlo per assicurarti che non abbia scritto che devi pagare il doppio del dovuto.

In Sintesi

Questo studio ci dice che sì, ChatGPT può scrivere documenti che sembrano veri, ed è utile per creare materiale di ricerca quando non abbiamo dati reali. Ma non possiamo fidarci ciecamente di ciò che scrive. È come avere un assistente molto veloce e colto, ma che a volte confonde la fantasia con la realtà. Per questo, la supervisione umana rimane fondamentale: l'IA è il pennello, ma l'umano è il pittore che deve assicurarsi che il quadro abbia senso.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Può ChatGPT generare specifiche di requisiti di sistema sintetiche realistiche? Risultati di uno studio di caso.

1. Problema e Motivazione

Le Specifiche dei Requisiti di Sistema (SyRS) sono artefatti centrali nell'Ingegneria dei Requisiti (RE), solitamente documentati in linguaggio naturale (NL). Sono fondamentali per la ricerca in ingegneria del software (sviluppo di strumenti, test automatizzati, benchmarking). Tuttavia, l'accesso a SyRS reali è fortemente limitato da restrizioni proprietarie, preoccupazioni sulla riservatezza o semplice indisponibilità.
Una soluzione proposta è la generazione di SyRS sintetiche (SSyRS) realistiche. I Modelli Linguistici su Larga Scala (LLM) "black-box" come ChatGPT offrono capacità di generazione del linguaggio naturale senza richiedere dati reali o training iniziale. Tuttavia, il loro utilizzo è ostacolato da due fenomeni critici:

• Allucinazioni: Generazione di dati nonsensi, non fedeli alla fonte o non verificabili.
• Sovraconfidenza: Tendenza a presentare informazioni errate con un alto grado di certezza, ingannando l'utente.
  Inoltre, la conoscenza di dominio esperto è scarsa nei dati di addestramento pubblici su cui si basano questi LLM, aumentando il rischio di errori in contesti tecnici specifici.

2. Metodologia

Lo studio ha adottato un approccio di Design Science Research (DSR) per sviluppare e valutare un metodo di generazione di SSyRS.

• Obiettivo: Investigare se ChatGPT possa generare SSyRS realistiche per 10 diversi settori industriali (E-commerce, Educazione, Finanza, ecc.) senza accesso a SyRS reali e senza coinvolgimento di esperti di dominio durante la fase di generazione.

• Processo Iterativo: È stato implementato un ciclo di generazione e valutazione in 10 iterazioni, basato su:

  1. Prompting Strutturato: Utilizzo di pattern specifici (Zero-shot, Template, Persona, Chain-of-Thought) per generare le SSyRS secondo un modello semplificato basato sullo standard ISO/IEC/IEEE 29148.
  2. Valutazione LLM-based: Due prompt di valutazione (PComp e PDoR) per misurare:
     • Completezza: Presenza di tutti gli elementi richiesti dal template.
     • Grado di Realismo (DoR): Una metrica ibrida (quantitativa e qualitativa) per stimare quanto l'artefatto assomigli a un requisito reale.
  3. Diversità Semantica: Utilizzo di Sentence Transformers (SBERT) per calcolare la similarità semantica tra le SSyRS generate, assicurando che non fossero ridondanti.
  4. Raffinamento: Analisi statistica e soggettiva dei risultati per affinare i prompt nelle iterazioni successive.

• Studio di Validazione Esperta: Per rispondere alla domanda di ricerca principale, è stato condotto un sondaggio con n=87 questionari compilati da 83 esperti (sviluppatori, analisti, esperti di dominio). Gli esperti hanno valutato un campione del 33% delle SSyRS generate (30 documenti totali, 3 per dominio), chiedendo loro di giudicare la realisticità dei requisiti.

3. Contributi Chiave

1. Dataset Pubblico: Creazione e pubblicazione di un dataset di 300 SSyRS coprenti 10 settori industriali diversi, disponibili pubblicamente su GitLab.
2. Metodologia di Generazione: Un approccio sistematico che combina prompt engineering avanzato, valutazioni LLM e metriche di similarità semantica per generare requisiti senza dati reali.
3. Analisi Critica delle Valutazioni LLM: Dimostrazione empirica che le valutazioni quantitative di "realismo" effettuate dagli stessi LLM sono inaffidabili a causa di bias specifici del modello, mentre le valutazioni qualitative (spiegazioni testuali) sono più utili per identificare errori.
4. Insight sugli Esperti: Evidenza che gli esperti tendono a percepire le SSyRS come realistiche (oltre il 60%), ma solo a una prima lettura superficiale; un'analisi approfondita rivela contraddizioni e mancanze.

4. Risultati

• Generazione: Sono stati generati 300 documenti con una lunghezza media di circa 716 parole. La completezza strutturale è stata garantita con successo dal prompt di validazione.
• Valutazione Quantitativa (LLM): Le valutazioni del "Grado di Realismo" (DoR) effettuate dagli LLM hanno mostrato un'alta variabilità e inaffidabilità. Modelli diversi (es. GPT-4o vs Sonnet 4.5) hanno prodotto punteggi medi molto diversi (da 0.90 a 0.64) per lo stesso documento, indicando che la valutazione quantitativa automatica non è una misura affidabile della qualità.
• Valutazione Qualitativa (Esperti):
  • Percezione Generale: Il 61,4% degli esperti ha classificato le SSyRS come "abbastanza realistiche" o "molto realistiche".
  • Analisi Approfondita: L'analisi dei commenti ha rivelato problemi significativi: semplificazioni eccessive, mancanza di dettagli specifici, incoerenze logiche (es. contraddizioni tra requisiti funzionali e non funzionali) e requisiti troppo ambiziosi.
  • Conclusione: Gli esperti sono stati ingannati dalla presentazione strutturata e sicura (overconfidence) dell'LLM, ma hanno individuato errori sostanziali quando hanno analizzato i contenuti in profondità.

5. Significato e Implicazioni

• Utilizzabilità delle SSyRS: ChatGPT è uno strumento potente per generare candidati di requisiti sintetici che possono servire come base di partenza per la ricerca, specialmente quando i dati reali non sono disponibili. Tuttavia, non possono sostituire i requisiti reali senza una revisione umana approfondita.
• Limiti dell'Automazione: Le valutazioni di qualità basate esclusivamente su LLM (specialmente quelle quantitative) sono sconsigliate per artefatti complessi di ingegneria dei requisiti a causa dei bias del modello e dell'incapacità di rilevare incoerenze sottili.
• Raccomandazione: L'approccio proposto è valido per la creazione di dataset di ricerca, ma richiede necessariamente un passaggio di validazione e raffinamento da parte di esperti umani per garantire l'assenza di errori logici e di dominio.
• Futuro: Il dataset generato può essere utilizzato come alternativa al dataset PROMISE per la ricerca, a condizione che venga sottoposto a un'ulteriore validazione esperta.

In sintesi, lo studio dimostra che è possibile generare SyRS sintetiche realistiche a livello superficiale e strutturale utilizzando LLM black-box, ma la loro affidabilità intrinseca rimane insufficiente per l'uso diretto senza supervisione umana, evidenziando il pericolo dell'illusione di realismo creata dalla sovraconfidenza degli LLM.