Towards Energy-aware Requirements Dependency Classification: Knowledge-Graph vs. Vector-Retrieval Augmented Inference with SLMs

1. Il Problema

L'evoluzione continua delle specifiche di sistema richiede una valutazione frequente di requisiti conflittuali, un processo tradizionalmente laborioso. Sebbene i Large Language Models (LLM) abbiano dimostrato un potenziale significativo nell'automatizzare il rilevamento di conflitti, il loro elevato costo computazionale comporta un enorme spreco energetico e un'impronta di carbonio eccessiva.
Esiste quindi un bisogno urgente di transizione verso Small Language Models (SLM) (nella fascia 7B-8B parametri) e architetture consapevoli dell'energia per un'Ingegneria dei Requisiti (RE) sostenibile. Tuttavia, gli SLM, pur essendo più efficienti, necessitano di un'arricchimento contestuale robusto per gestire repository software complessi. Il problema centrale è identificare come bilanciare l'accuratezza nella rilevazione delle dipendenze (in particolare i conflitti) con la sostenibilità ambientale, confrontando diverse strategie di recupero delle informazioni (Retrieval).

2. Metodologia

Lo studio propone e valuta empiricamente un framework che confronta due paradigmi di recupero assistito per l'inferenza basata su SLM:

• Recupero basato su Grafo di Conoscenza (KGR): Utilizza un pipeline linguistica (spaCy) per estrarre entità strutturate (attori, azioni, oggetti, condizioni) dai requisiti. Questi vengono mappati in un Knowledge Graph (Neo4j). Il recupero avviene tramite la traversa del grafo basata su entità condivise, calcolando un punteggio di similarità strutturale che considera:
  1. Sovrapposizione delle entità.
  2. Coerenza dei ruoli relazionali.
  3. Prossimità nel grafo (distanza del percorso più breve).
• Recupero Semantico basato su Vettori (VSR): Utilizza rappresentazioni vettoriali dense (embedding 768-dimensionali tramite all-mpnet-base-v2) e un database vettoriale (Milvus) per trovare i requisiti semanticamente più simili tramite similarità del coseno.

Configurazione Sperimentale:

• Modelli: Sono stati utilizzati tre SLM open-source (DeepSeek-Coder-7B, Meta-Llama-3-8B, Mistral-7B).
• Strategie di Prompting: Zero-Shot, Few-Shot e Chain-of-Thought (CoT).
• Dataset: Cinque dataset eterogenei (OpenCOSS, WorldVista, UAV, PURE, IBM-UAV) che coprono domini critici per la sicurezza, sanità e aerospaziale.
• Metriche di Valutazione:
  • Efficienza di recupero: Recall@K.
  • Performance di classificazione: Macro F1-score, Precisione, Recall.
  • Sostenibilità: Consumo energetico (Wh), Latenza (s), Emissioni di carbonio (gCO2eq).
  • EcoScore: Una metrica composita che rapporta l'accuratezza (F1) alle emissioni di carbonio totali.

3. Contributi Chiave

1. Confronto Empirico Sistematico: Primo studio che confronta KGR e VSR per la classificazione delle dipendenze dei requisiti utilizzando SLM (7B-8B) sotto vincoli energetici e di carbonio rigorosi.
2. Nuova Pipeline KGR: Proposta di un'architettura di recupero che supera la "cecità strutturale" dei metodi vettoriali tradizionali, catturando le dipendenze gerarchiche e relazionali spesso perse dagli embedding.
3. Analisi di Sostenibilità: Introduzione di un framework a tre pilastri (energia, latenza, carbonio) per analizzare i compromessi tra accuratezza predittiva e impatto ambientale.
4. Open Science: Rilascio di codice sorgente, prompt, analisi di sensibilità e pacchetto di replicazione per garantire la riproducibilità.

4. Risultati Principali

• KGR vs. VSR (RQ1):

  • Su quattro dei cinque dataset (piccoli/medi), KGR riduce il consumo energetico del 71-75% e le emissioni di carbonio fino all'80% rispetto a VSR, mantenendo un Recall@K comparabile (differenza ≤ 5%).
  • KGR introduce un sovraccarico di latenza di circa il 45-48%, ma offre un compromesso sostenibilità-recupero nettamente superiore.
  • Eccezione: Sul dataset IBM-UAV (su larga scala e ad alta profondità di recupero, K=20), VSR risulta più efficiente energeticamente e con un recall leggermente superiore, suggerendo che l'indicizzazione vettoriale scala meglio in corpora molto densi e grandi.

• Impatto delle Strategie di Prompting (RQ2):

  • Zero-Shot: Offre il profilo di sostenibilità migliore (minimo uso di token, energia e carbonio) mantenendo un'accuratezza competitiva, specialmente per Mistral e DeepSeek.
  • Few-Shot: Raddoppia quasi l'uso di token e aumenta le emissioni di carbonio del 5-6% senza garantire guadagni di accuratezza consistenti.
  • Chain-of-Thought (CoT): Migliora significativamente l'accuratezza per Llama (es. +0.44 su UAV) ma comporta un costo energetico e di carbonio moderato-alto.
  • Modello Migliore: Mistral-7B con strategia Zero-Shot ha mostrato il miglior compromesso complessivo tra sostenibilità e performance (EcoScore più alto).

• Impatto del Pipeline Arricchito (RQ3):

  • L'uso di KGR/VSR per ridurre lo spazio di ricerca (pruning) prima dell'inferenza riduce il numero di inferenze necessarie del 51,8% (da ~35.500 a ~17.100 coppie).
  • Questo si traduce in una riduzione diretta del 51,8% dell'energia totale e delle emissioni di carbonio rispetto a un'inferenza "vanilla" esaustiva, senza sacrificare l'accuratezza predittiva.

5. Significato e Conclusioni

Lo studio dimostra che per l'Ingegneria dei Requisiti sostenibile, la riduzione dello spazio di ricerca (tramite recupero strutturato) è più efficace dell'aumento della complessità del ragionamento (tramite prompt lunghi o CoT).

• Efficienza Strutturale: I SLM beneficiano enormemente di contesti strutturati (come i Grafi di Conoscenza) che agiscono come memoria esterna, compensando la loro limitata capacità interna di rappresentazione.
• Green AI: Il lavoro fornisce una "blueprint" riproducibile per l'IA verde, dimostrando che è possibile rilevare conflitti nei requisiti con alta accuratezza riducendo drasticamente l'impronta di carbonio.
• Implicazioni Future: Suggerisce che i futuri sistemi NLP sostenibili dovrebbero privilegiare la filtrazione del contesto prima dell'inferenza piuttosto che l'espansione verbosa dei prompt.

In sintesi, l'approccio KGR + SLM (Mistral) + Zero-Shot si configura come la soluzione ottimale per un'automazione dei requisiti energeticamente efficiente, scalabile e ambientalmente responsabile.