💻 computer science

ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents

Questo articolo introduce ReqGenX, uno studio empirico che dimostra come la scomposizione dei documenti legacy di Software Requirements Specification (SRS) in affermazioni atomiche e tracciabili e la loro successiva rigenerazione come artefatti sintetici pre-SRS permetta una valutazione granulare della generazione di SRS basata su LLM, rivelando al contempo i critici compromessi tra fedeltà, ritenzione delle informazioni e completezza dell'artefatto.

Autori originali: Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

Pubblicato 2026-07-21

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot brillante e iper-veloce come scrivere un manuale di regole per un nuovo videogioco. Consegni al robot un quaderno disordinato, scritto a mano negli anni '90, pieno di idee vaghe, appunti scarabocchiati e pensieri a metà. Il tuo obiettivo è far sì che il robot trasformi quel quaderno disordinato in un manuale di regole perfetto e professionale. Ma c'è un problema: il robot è così desideroso di essere d'aiuto che potrebbe accidentalmente inventare nuove regole, dimenticare quelle vecchie o mescolare due idee diverse in una frase confusa. Questo è il mondo della generazione di Specifiche dei Requisiti Software (SRS). Nel mondo tecnologico, una SRS è il "progetto maestro" che dice esattamente agli ingegneri cosa deve fare un software. Sebbene i Large Language Models (LLM) — lo stesso tipo di IA che scrive poesie e risponde a domande — stiano diventando sempre più bravi a scrivere questi progetti, è incredibilmente difficile verificare se stiano effettivamente dicendo la verità o se stiano solo inventando cose. Abbiamo bisogno di un modo per tracciare ogni singola frase che il robot scrive fino al quaderno originale e disordinato, per vedere se è fedele o se sta allucinando.

Questo è esattamente ciò che i ricercatori dietro ReqGenX hanno cercato di risolvere. Non si sono limitati a chiedere all'IA di scrivere un nuovo manuale; hanno costruito una "fabbrica" intelligente e a tappe per testare quanto l'IA sia capace di scomporre vecchi documenti disordinati in fatti minuscoli e innegabili, trasformare quei fatti in tipi specifici di note (come "User Stories" o "Controlli di Qualità") e poi vedere se quelle note possono essere utilizzate per ricostruire l'idea originale senza perdere nulla. Immaginalo come prendere un complesso castello Lego, smontare con cura ogni singolo mattoncino per etichettarli, smistarli in scatole specifiche e poi provare a ricostruire il castello usando solo quelle scatole smistate. I ricercatori volevano sapere: l'IA può farlo senza perdere un singolo mattoncino o inventare un nuovo colore che non esisteva?

La Fabbrica: ReqGenX

Il team ha creato una pipeline chiamata ReqGenX per fungere da laboratorio controllato per questo esperimento. Invece di lasciare che l'IA si limiti a "scrivere" un nuovo documento, l'hanno costretta a passare attraverso tre fasi rigorose, agendo come un ispettore del controllo qualità ad ogni passaggio.

Fase 1: La Scomposizione Atomica
Per prima cosa, l'IA prende un frammento di testo da un vecchio documento e cerca di scomporlo in "atomi". Immagina una frase come: "Il prodotto utilizza la libreria Qt e deve funzionare su tutti i sistemi operativi supportati". Per un essere umano, questa è una sola frase. Per l'IA, sono in realtà due idee diverse fuse insieme. L'obiettivo è dividere queste idee in "dichiarazioni atomiche": verità minuscole e autosufficienti che non possono essere ulteriormente scomposte. Un atomo diventa "Il prodotto utilizza la libreria Qt" e l'altro diventa "Il prodotto deve funzionare su tutti i sistemi operativi supportati". I ricercatori hanno scoperto che l'IA è in realtà piuttosto brava in questo. Quando hanno controllato se questi piccoli atomi fossero fedeli al testo originale, i punteggi sono stati incredibilmente alti, solitamente tra 0,96 e 0,99 su una scala dove 1,0 è la perfezione. Tuttavia, hanno anche notato che a volte l'IA è un po' troppo impetuosa e scarta un pezzo di informazione o, viceversa, mantiene un pezzo che è troppo vago per essere utile.

Fase l'Hat (Il Cappello Smistatore)
Una volta che il testo è stato scomposto in atomi, l'IA deve decidere a che tipo di nota appartiene ogni atomo. È come il cappello smistatore di una scuola di magia. Questa verità appartiene a una "User Story" (una nota su ciò che una persona vuole fare)? Appartiene a una "Nota di Qualità" (una regola su quanto debba essere veloce o sicuro il sistema)? O è solo una nota di "Contesto di Sistema" (informazioni di background)? I ricercatori hanno utilizzato un team di diversi modelli di IA per votare su queste categorie. Hanno scoperto che, sebbene l'IA sia brava a smistare idee generali, a volte fatica con etichette tecniche molto specifiche. Ad esempio, nel cercare di decidere se una frase fosse un "requisito funzionale" o un "requisito di qualità", i modelli di IA erano molto in disaccordo tra loro, con punteggi di accordo che scendevano fino a 0,31 in alcuni casi. Ciò suggerisce che, sebbene l'IA riesca a vedere la foresta, a volte si confonde riguardo ai singoli tipi di alberi.

Fase 3: La Ricostruzione
Infine, l'IA prende questi atomi smistati e etichettati e cerca di scriverli in un nuovo documento dall'aspetto professionale. Questo è il momento della verità: l'IA riesce a trasformare questi piccoli fatti smistati in una storia coerente? I ricercatori hanno testato questo aspetto prendendo le note generate dall'IA e chiedendo a un'altra IA di ricostruire il documento originale partendo da esse. Hanno scoperto che l'IA poteva effettivamente ricostruire il documento, ma non era una copia perfetta. La "somiglianza semantica" (quanto il significato corrispondesse all'originale) era discreta, compresa tra 0,69 e 0,75, ma il "supporto fattuale" (ovvero, se il nuovo testo dimostrasse effettivamente i vecchi fatti) era un po' più variabile.

Il Verdetto: Fedele ma Imperfetta

Quindi, cosa hanno scoperto realmente i ricercatori?

In primo luogo, hanno confermato che l'IA può essere un ottimo bibliotecario. Può prendere un documento vecchio e disordinato e scomporlo in fatti minuscoli e veritieri con un tasso di successo molto alto. La maggior parte delle volte, gli atomi che crea sono fedeli alla fonte al 96% - 99%. Questo significa che l'IA non sta inventando cose dal nulla; di solito segue il copione.

Tuttamente, hanno però riscontrato alcuni importanti "ma".

Il problema del "Mattoncino Mancante": Anche se l'IA è fedele, non è perfetta nel mantenere tutto. A seconda del documento e del modello di IA utilizzato, la quantità di informazione originale salvata con successo (copertura) variava ampiamente, da 35,6% a 93,5%. Questo non significa che l'IA abbia mentito; significa che, per alcuni documenti, l'IA ha deciso che una grande parte del testo originale era troppo vaga, ridondante o strutturale per essere mantenuta come un "atomo" autonomo, mentre per altri ha preservato quasi tutto.
La trappola del "Template Perfetto": Quando l'IA cercava di trasformare questi atomi in tipi specifici di documenti (come una "Nota di Qualità"), a volte faticava a riempire tutti i vuoti senza aggiungere dettagli falsi. Sebbene l'IA superasse un test di giudizio di base quasi il 100% delle volte, un test più severo e critico (chiamato Prometheus) ha mostrato che solo il 54,8% - 97,1% degli artefatti erano veramente completi e di alta qualità. Questo suggerisce che l'IA può far sembrare le cose corrette, ma a volte mancano dei dettagli profondi necessari per essere davvero utili.
Il divario di ricostruzione: Quando hanno provato a ricostruire il documento originale dalle note dell'IA, la nuova versione era una "bozza tracciabile", non una replica perfetta. Catturava le idee principali, ma alcune sfumature andavano perse nella traduzione.

Cosa significa per il futuro

I ricercatori non stanno dicendo che l'IA ha risolto il problema della scrittura di manuali software. Stanno invece dicendo che l'IA è uno strumento potente per controllare e organizzare le informazioni, ma ha bisogno di una guida umana.

Hanno scoperto che il collo di bottiglia principale non è la capacità di scrittura dell'IA, ma la granularità delle prove. Se il documento originale è vago o mescola troppe idee insieme, l'IA fatica a trasformarlo in un formato pulito e utilizzabile. L'IA non può inventare magicamente il contesto mancante; può solo lavorare con ciò che le viene fornito.

In definitiva, questo studio suggerisce che possiamo usare l'IA per creare "artefatti sintetici tracciabili": note digitali che si collegano alla fonte originale in modo da poter vedere esattamente da dove proviene ogni idea. Questo è un grande passo avanti per verificare se l'IA sta dicendo la verità. Ma funge anche da promemoria: il fatto che l'IA produca un documento pulito e professionale non significa che abbia catturato ogni singolo dettaglio dell'originale. L'IA è un assistente fantastico, ma ha ancora bisogno di un essere umano che tenga la mappa e si assicuri che non vengano lasciati indietro mattoni.

Sintesi Tecnica: ReqGenX – Uno Studio Empirico sulla Decomposizione Atomica, la Rigenerazione degli Artefatti e la Ricostruzione per Documenti SRS Legacy

1. Definizione del Problema

Valutare la generazione di Specifiche dei Requisiti Software (SRS) basata su Large Language Models (LLM) è complesso a causa della mancanza di dataset che forniscano una tracciabilità fine tra i requisiti sorgente, gli artefatti intermedi di elicitazione e le specifiche generate. Le risorse esistenti spesso non riescono a collegare congiuntamente l'evidenza eterogenea delle SRS, gli artefatti intermedi di ingegneria dei requisiti (RE) e le relazioni di tracciabilità. Di conseguenza, la valutazione delle SRS generate spesso si affida alla fluidità a livello di documento, il che può mascherare l'omissione di informazioni sorgente, la fusione di preoccupazioni distinte o l'introduzione di requisiti non supportati.

Il documento affronta la necessità di un meccanismo per trasformare i documenti SRS legacy in artefatti pre-SRS sintetici e tracciabili. L'obiettivo è creare un substrato che supporti una valutazione granulare della compilazione di SRS basata su LLM, esaminando specificamente se il contenuto legacy possa essere decomposto in dichiarazioni atomiche e fondate sulla sorgente e instradato verso tipi di artefatti standard senza perdere informazioni critiche o introdurre allucinazioni.

2. Metodologia: La Pipeline ReqGenX

Gli autori introducono ReqGenX, una pipeline controllata e riproducibile progettata per operazionalizzare la trasformazione delle SRS legacy in artefatti sintetici. La pipeline opera in tre fasi principali:

Fase 1: Decomposizione dei Requisiti

Normalizzazione: I documenti SRS legacy (tipicamente PDF) vengono convertiti in testo (Markdown), con la rimozione del materiale non relativo ai requisiti (copertine, intestazioni, piè di pagina) e la riparazione degli errori strutturali.
Frammentazione (Chunking): I documenti vengono segmentati in chunk a livello di sezione basandosi sulla gerarchia ripristinata.
Atomizzazione: Un "atomizzatore" basato su LLM decompone i chunk in dichiarazioni atomiche. Un atomo è definito come una proposizione minima, supportata dalla sorgente, che sia fedele alla sorgente, atomica (che esprima un'idea coerente) e utile per la generazione di artefatti a valle.
Giudizio: Un secondo LLM "giudice" valuta gli atomi rispetto a una rubrica per fedeltà, atomicità e utilità, proponendo azioni (mantieni, riscrivi, dividi, unisci, rimuovi, aggiungi) per raffinare l'insieme.

Fase 2: Instradamento Semantico (Semantic Routing)

Tagging: Agli atomi vengono assegnati tag semantici basati su uno schema ispirato allo standard IEEE 29148 (es. Scopo, Ambito, Funzionali, Attributi di Qualità).
Votazione Multi-LLM: Per garantire l'affidabilità, tre agenti LLM indipendenti propongono tag per ogni atomo. Il tag finale viene selezionato tramite voto di maggioranza. I casi non risolti sono sottoposti a revisione Human-in-the-Loop (HITL).
Classificazione Granulare: Gli atomi taggati come "Requisiti" sono sottoposti a una classificazione secondaria (Funzionali vs Qualità) e, se di Qualità, a una classificazione di sottotipo (es. Portabilità, Sicurezza) per guidare la generazione degli artefatti.

Fase 3: Generazione e Revisione degli Artefatti

Generazione: Gli atomi validati vengono convertiti in artefatti pre-SRS tipizzati (es. Note di Ricerca Utente, Note sul Contesto di Sistema, Vincoli di Attributi di Qualità) utilizzando template specifici. Il testo dell'atomo funge da principale fonte di verità; non è consentito alcun arricchimento non supportato.
Raffinamento Iterativo: Un LLM giudice valuta gli artefatti generati su cinque dimensioni: fedeltà, supporto, contestualità, allineamento strutturale e sparsità. Gli artefatti che non superano la soglia vengono revisionati iterativamente.
Tracciabilità: La pipeline mantiene i metadati di provenienza, collegando ogni artefatto generato al suo atomo sorgente, al chunk e alla sezione originale della SRS.

3. Disegno Sperimentale

Dataset: Sette documenti SRS dal dataset PURE (Get Real, Library, Puget Sound, QHeadache, VUB, Libra, Home), per un totale di 31.454 parole e 1.408 frasi.
Modelli: Gli esperimenti hanno utilizzato un mix di modelli closed-source (Claude Sonnet 4.6, GPT-4o) e open-source (GPT-OSS, Gemma 3, Phi-4, Mistral, Llama 3, Qwen3).
Metriche di Valutazione:
- AlignScore: Misura il supporto semantico tra la sorgente e il contenuto generato.
- Judge/Prometheus Scores: Valutazione della qualità basata su rubrica (scala 1–5) per fedeltà, atomicità e allineamento strutturale.
- Similarità di Embedding (SBERT): Utilizzata per misurare la ritenzione delle informazioni e la recuperabilità a valle.
- Analisi della Copertura: Misurata come percentuale di unità di informazione sorgente mantenute attraverso la pipeline.

4. Risultati Chiave

RQ1: Affidabilità delle Decisioni RE basate su LLM

Instradamento Semantico: Gli LLM possono supportare l'instradamento semantico, ma l'affidabilità varia. Claude Sonnet 4.6 ha ottenuto l'accordo più alto con le etichette umane ( $\kappa = 0.83$ per i tag, $\kappa = 0.80$ per i requisiti). La classificazione dei requisiti più granulare ha mostrato un accordo inferiore tra i modelli (es. GPT-4o vs GPT-OSS $\kappa = 0.31$ ).
Giudizio sulla Qualità: Gemma 3 è stato identificato come il miglior modello giudice, offrendo un forte compromesso tra punteggio F1 e bassi tassi di falsi positivi sia per gli atomi che per gli artefatti.

RQ2: Qualità degli Atomi Generati

Fedeltà: Gli atomi generati sono generalmente fedeli ai chunk sorgente, con valori mediani di AlignScore compresi tra 0.96 e 0.99. I tassi di contenuti non supportati sono tipicamente inferiori al 3%.
Copertura vs Fedeltà: Sebbene gli atomi siano fedeli, la copertura della sorgente varia significamente (dal 35.6% al 93.5%). Parte delle informazioni viene persa non a causa di allucinazioni, ma perché il processo di decomposizione scarta contenuti impliciti, ridondanti o debolmente azionabili per garantire l'atomicità.
Qualità: Gli atomi post-revisione hanno raggiunto alti tassi di successo (76%–100% per l'atomicità; 70%–97% per l'usabilità) con punteggi medi Prometheus compresi tra 4.34 e 4.85.

RQ3: Qualità degli Artefatti Generati

Fondatezza (Grounding): Gli artefatti generati rimangono fortemente ancorati agli atomi sorgente, con valori medi di AlignScore tipicamente compresi tra 0.80 e 0.94.
Raffinamento: I tassi di passaggio del Giudice si sono avvicinati al 100% dopo il raffinamento iterativo. Tuttavia, una valutazione Prometheus più rigorosa ha rivelato una maggiore variazione (tassi di successo dal 54.8% al 97.1%), indicando che la fondatezza non garantisce la completezza strutturale o la sparsità.

RQ4: Ricostruzione SRS a Valle

Recuperabilità: In un caso di studio sulla ricostruzione di SRS partendo dagli artefatti generati, gli atomi sorgente erano semanticamente recuperabili (medie SBERT: 0.69–0.75).
Supporto Fattuale: Le mediane di AlignScore per la ricostruzione variavano da 0.76 a 0.84. Tuttavia, medie inferiori e intervalli interquartili più ampi suggeriscono che il supporto fattuale è più variabile rispetto alla similarità semantica, spesso a causa dell'astrazione o della riformulazione durante la compilazione.

RQ5: Perdita di Informazioni e Pattern di Fallimento

Problemi di Granularità: La perdita di informazioni è guidata principalmente dalla granularità dell'evidenza piuttosto che da fallimenti nella generazione.
- SRS $\to$ Atomi: La perdita avviene quando le dichiarazioni sono implicite, raggruppate o dipendenti dal contesto.
- Atomi $\to$ Artefatti: La perdita avviene quando gli atomi validi sono troppo stretti per riempire i template degli artefatti senza aggiungere contenuti non supportati.
Pattern di Revisione: Le azioni di revisione più frequenti sono state "Riscrivi" (Rewrite) e "Rimuovi" (Remove) (per affrontare raggruppamenti o formulazioni deboli), mentre "Dividi" (Split) è stato comune per le sezioni dense. "Unisci" (Merge) e "Aggiungi" (Add) sono stati rari.

5. Contributi Chiave

Caratterizzazione Empirica: Lo studio caratterizza l'atomizzazione basata su LLM di SRS legacy, dimostrando che un'alta fedeltà a livello di atomo può coesistere con una significativa variazione nella copertura della sorgente.
Analisi per Fasi: Fornisce un'analisi granulare della perdita di informazioni attraverso la trasformazione da SRS ad Atomi e da Atomi ad Artefatti, distinguendo tra problemi di granularità dell'evidenza e allucinazioni.
Affidabilità dell'Instradamento: Dimostra che l'instradamento semantico tramite LLM (specificamente per i tag di alto livello) è più affidabile della classificazione granulare dei requisiti, con Claude che raggiunge un alto accordo con l'umano.
Calibrazione del Giudice: Presenta una procedura calibrata dall'uomo per la selezione di giudici LLM per la valutazione degli artefatti RE, basata su 291 triple annotate.
Pacchetto di Replicazione: Gli autori rilasciano un pacchetto di replicazione tracciabile contenente SRS elaborate, atomi/artefatti generati, prompt, codebook e metadati di tracciabilità.

6. Significato e Rivendicazioni

Il documento afferma che gli artefatti pre-SRS sintetici e tracciabili possono supportare una valutazione più granulare della generazione di SRS basata su LLM. Decomponendo i documenti legacy in unità atomiche collegate alla provenienza, lo studio espone i critici trade-off tra:

Fedeltà: Quanto l'output corrisponde alla sorgente.
Ritenzione delle Informazioni: Quanta parte del contenuto sorgente viene preservata.
Completezza dell'Artefatto: Se l'output soddisfa i requisiti strutturali senza allucinazioni.

Gli autori concludono che, sebbene gli LLM possano produrre atomi fedeli e utilizzabili e artefatti fondati, queste trasformazioni non sono prive di perdite. Lo studio evidenzia che il collo di bottiglia principale è la granularità dell'evidenza: le SRS legacy contengono spesso informazioni implicite o raggruppate che resistono a una pulita decomposizione in template standard di artefatti. Gli autori posizionano modestamente il loro lavoro non come uno strumento di generazione SRS pronto per la produzione, ma come uno strumento sperimentale per osservare e valutare come l'informazione cambia attraverso le fasi di decomposizione, instradamento e ricostruzione. Suggeriscono che i sistemi futuri debbano tenere conto di questi trade-off, potenzialmente permettendo artefatti parzialmente specificati o raggruppando atomi correlati invece di forzare ogni dichiarazione sorgente in un template rigido.