Automating the Detection of Requirement Dependencies Using Large Language Models

1. Il Problema

I sistemi software moderni sono caratterizzati da un'elevata complessità e da un gran numero di requisiti, spesso scritti in linguaggio naturale (NL). Questi requisiti non sono entità isolate, ma sono intrinsecamente interconnessi da dipendenze (es. un requisito che ne richiede un altro, conflitti, dettagli, ecc.).
Identificare e gestire queste dipendenze è cruciale per:

• L'analisi dell'impatto durante i cambiamenti del sistema.
• L'individuazione di requisiti conflittuali.
• La garanzia della qualità del prodotto finale.

Tuttavia, il rilevamento manuale di queste dipendenze è erroro-prone, costoso e cognitivamente impegnativo, specialmente a causa dell'ambiguità del linguaggio naturale e dei continui cambiamenti dei requisiti. Gli approcci esistenti (basati su recupero dell'informazione, conoscenza o Machine Learning classico) presentano limiti significativi:

• IR (Information Retrieval): Si basano su rappresentazioni vettoriali fisse che ignorano il contesto specifico del dominio.
• Knowledge-based: Richiedono ontologie complesse, costose da costruire e mantenere.
• ML classico: Soffrono di sbilanciamento delle classi (i requisiti indipendenti sono molto più numerosi di quelli dipendenti) e necessitano di grandi dataset annotati.

2. Metodologia: LEREDD

Gli autori propongono LEREDD (LLM-Enabled REquirement Dependency Detection), un approccio automatizzato basato sui Large Language Models (LLM) che combina due tecniche avanzate: Retrieval-Augmented Generation (RAG) e In-Context Learning (ICL).

Architettura del Framework

Il processo si articola in due fasi principali:

1. Fase di Recupero della Conoscenza (Knowledge Retrieval):

   • Recupero Contestuale (RAG): Estrae informazioni specifiche dal dominio direttamente dal documento delle Specifiche dei Requisiti Software (SRS). Utilizza un approccio di chunking (suddivisione in blocchi) per recuperare i segmenti più semanticamente rilevanti (es. descrizioni del sistema, architetture) per fornire contesto all'LLM.
   • Recupero Dinamico di Esempi (ICL): Seleziona dinamicamente esempi pertinenti da un dataset annotato. Utilizza modelli di embedding (SBERT) per calcolare la similarità semantica tra la coppia di requisiti da analizzare e le coppie di esempio, selezionando i migliori esempi per ogni tipo di dipendenza e per il caso "nessuna dipendenza".

2. Fase di Inferenza delle Dipendenze:

   • Un LLM (in questo studio, GPT-4.1 è stato identificato come il migliore) riceve un prompt arricchito che include:
     • La coppia di requisiti da analizzare.
     • Le definizioni formali dei tipi di dipendenza (es. Requires, Implements, Conflicts, Contradicts, Details, Is similar, Is a variant).
     • Il contesto recuperato dal documento SRS.
     • Gli esempi pertinenti recuperati.
   • Il modello deve produrre tre output:
     1. La classificazione della dipendenza (o "No_dependency").
     2. Una rationale (spiegazione del ragionamento) per giustificare la previsione.
     3. Un punteggio di confidenza (scala Likert da 0 a 5).

3. Contributi Chiave

• Framework Ibrido: Introduzione di LEREDD, che integra RAG e ICL per guidare l'LLM con contesto di dominio ed esempi specifici, superando i limiti del prompting zero-shot.
• Dataset Annotato: Creazione e rilascio di un nuovo dataset pubblico contenente 813 coppie di requisiti annotati manualmente su tre sistemi automobilistici reali (Traffic Jam Assist, Automated Parking Assist, Adaptive Driving Beam), coprendo 7 tipi di dipendenze.
• Analisi Comparativa: Valutazione estensiva contro due baseline state-of-the-art (TF-IDF & LSA e BERT fine-tuned) e contro diversi modelli LLM (GPT-4.1, Llama 3.1, Gemma, Mistral) in scenari intra-dataset e cross-dataset.

4. Risultati Sperimentali

Lo studio ha valutato le prestazioni su tre sistemi reali, confrontando LEREDD con le baseline e diverse strategie di prompting.

• Prestazioni Generali:

  • LEREDD ha raggiunto un'accuratezza media del 92,66% e un F1-score medio dell'84,33% su tutti i tipi di dipendenze.
  • Ha ottenuto un F1-score eccezionale del 96% per la classe "No Dependency" (nessuna dipendenza), che rappresenta la maggior parte delle coppie nei documenti reali. Questo permette di filtrare automaticamente la stragrande maggioranza dei casi, riducendo drasticamente lo sforzo manuale.

• Confronto con le Baseline:

  • LEREDD supera significativamente sia TF-IDF/LSA che BERT fine-tuned.
  • Per la dipendenza critica "Requires", LEREDD ha mostrato guadagni relativi nell'F1-score del 94,87% e 105,41% rispetto alle baseline.
  • Le baseline ML (BERT) hanno mostrato instabilità e un calo drastico delle prestazioni in scenari cross-dataset (addestramento su un sistema, test su un altro), mentre LEREDD ha mantenuto prestazioni robuste grazie alla capacità di inferenza e al recupero dinamico.

• Configurazione Ottimale:

  • La configurazione migliore ha utilizzato SBERT per gli embedding, la distanza Euclidea, la strategia di aggregazione Max (massima similarità) e 4 esempi per tipo di dipendenza, combinati con 10 chunk di contesto (500 caratteri ciascuno) recuperati via RAG.

5. Significato e Implicazioni

• Riduzione del Carico di Lavoro: La capacità di identificare con alta precisione (F1 ~0.96) le coppie di requisiti non dipendenti permette agli ingegneri di concentrarsi solo sulle relazioni potenziali, riducendo enormemente il tempo di analisi.
• Robustezza Industriale: A differenza dei modelli ML tradizionali che richiedono ri-addestramento costoso per ogni nuovo sistema, LEREDD dimostra una forte generalizzazione cross-sistema, rendendolo adatto ad ambienti industriali dove i dati annotati sono scarsi o assenti per nuovi progetti.
• Trasparenza: L'obbligo per l'LLM di fornire una rationale e un punteggio di confidenza aumenta la fiducia nell'output e facilita la revisione umana, riducendo il rischio di "allucinazioni".
• Superamento dei Limiti Zero-Shot: Lo studio dimostra che l'uso di LLM senza contesto o esempi (zero-shot) è insufficiente per compiti di ragionamento strutturato come il rilevamento delle dipendenze; l'integrazione di contesto e esempi è fondamentale.

In conclusione, LEREDD rappresenta un avanzamento significativo nell'Ingegneria dei Requisiti (RE), offrendo una soluzione scalabile, precisa e robusta per automatizzare un compito tradizionalmente manuale e critico per il successo dei progetti software complessi.