Sintesi Tecnica: Configurazione dei Requisiti Guidata da Modelli con Valutazione dell'Incertezza a Tre Valori

1. Definizione del Problema

L'ingegneria dei requisiti (RE) è intrinsecamente costosa e soggetta a errori. Sebbene i modelli formali di dominio come l'Object-Oriented Method for Requirements Authoring and Management (OOMRAM) forniscano strutture matematiche rigorose per gestire la variabilità nelle linee di prodotti software, la loro applicazione tradizionale soffre di un "collo di bottiglia del match esatto". Questi formalismi richiedono agli analisti di navigare in complessi reticoli utilizzando identificatori di requisiti esatti o una sintassi rigida, impedendo l'uso di descrizioni di progetto in linguaggio naturale (visioni) per l'elicitazione.

Al contrario, i Large Language Models (LLM) offrono la flessibilità di interpretare il linguaggio naturale ma mancano di garanzie di correttezza formale. Quando applicati alla RE, gli approcci puramente basati su LLM generano frequentemente requisiti strutturalmente invalidi, inconsistenze logiche (ad esempio, la selezione di opzioni mutuamente esclusive) e identificatori allucinati. Gli approcci neuro-simbolici esistenti spesso verificano la logica ex-post (dopo la generazione) o si affidano a mitigazioni euristiche, fallendo nel fornire la determinazione richiesta per un'ingegneria dei requisiti ad alta affidabilità.

2. Metodologia

Il documento propone un'architettura multi-agente neuro-simbolica che operazionalizza il reticolo OOMRAM per colmare il divario tra le visioni in linguaggio naturale e i vincoli strutturali formali. Il sistema è progettato per la fase di selezione delle feature nell'elicitazione dei requisiti di una linea di prodotti, dove l'obiettivo è identificare quali requisiti da un reticolo pre-ingegnerizzato siano mandatari o compatibili con la visione di uno stakeholder.

2.1. Architettura del Sistema

Il sistema, implementato utilizzando LangGraph, comprende quattro agenti:

• Navigator: Esegue una traversata depth-first del reticolo OOMRAM, selezionando il nodo discriminante successivo da elaborare. Utilizza una strategia basata sulla frontiera per garantire una scalabilità lineare ed evitare elaborazioni ridondanti.
• Interpreter (LLM): Agisce come un'euristica non deterministica. Traduce la visione del progetto e il contesto corrente in un insieme proposto di ID dei requisiti figli (output in formato JSON). Opera a temperatura 0 per minimizzare la stocasticità.
• Validator (Simbolico): Una funzione Python deterministica che impone i vincoli strutturali immediatamente dopo ogni proposta dell'Interpreter. Verifica l'insieme di selezione $S$ rispetto al predicato di coerenza globale $\Psi(S)$, che include quattro invarianti assiomatiche:
  1. Invariante Core: Selezione obbligatoria dei nodi Core se il loro genitore è attivo.
  2. Invariante Single-Adaptor (SA): Esattamente un figlio deve essere selezionato per i nodi SA (logica XOR).
  3. Invariante Multiple-Adaptor (MA): Almeno un figlio deve essere selezionato per i nodi MA (logica OR).
  4. Integrità Strutturale: Nessun nodo orfano; ogni nodo selezionato non radice deve avere un genitore selezionato.
• Scribe: Compila l'insieme finale validato in una specifica formattata.

2.2. Il Ciclo di Correzione

Se il Validator rileva una violazione, rifiuta la proposta e restituisce un messaggio di errore dettagliato all'Interpreter. L'Interpreter revisiona quindi la propria proposta utilizzando questo feedback. Il ciclo continua finché i vincoli non sono soddisfatti o viene raggiunto un "budget di chiamate" (limitato a 150 chiamate LLM per visione).

2.3. Valutazione dell'Incertezza a Tre Valori

Per affrontare il limite della etichettatura binaria "corretto/errato", gli autori introducono un framework a tre valori $\langle T, I, F \rangle$ applicato all'output del Validator:

• Verità ($T$): La selezione è strutturalmente valida ed è esplicitamente mandataria rispetto alla visione (o a una specifica gold-standard).
• Indeterminazione ($I$): La selezione è strutturalmente valida ma non è esplicitamente mandataria. Questo rappresenta scelte discrezionali legittime (ad esempio, la selezione di un protocollo specifico da un insieme di adattatori validi).
• Falsità ($F$): La selezione è stata rifiutata dal Validator a causa di una violazione strutturale.

Questa valutazione permette al sistema di quantificare la "libertà legittima" inerente al reticolo dei requisiti rispetto agli errori effettivi.

3. Contributi Chiave

1. Architettura Neuro-Simbolica: Un sistema che delega la logica strutturale a uno strato simbolico deterministico, rendendo pratici i reticoli formali OOMRAM per l'elicitazione in linguaggio naturale garantendo al contempo la conformità strutturale.
2. Framework di Valutazione a Tre Valori: Una metrica innovativa per distinguere tra requisiti mandatari, scelte discrezionali valide e errori strutturali, fornendo un modo formale per misurare l'incertezza neurale.
3. Validazione Empirica: Una valutazione completa su 37 visioni di progetto in linguaggio naturale spazianti su undici famiglie di applicazioni (es. Smart Home, eRecord Keeping, Automotive IVI).
4. Dimostrazione Formale e Confronto con i Baseline: Una dimostrazione formale della convergenza del validator e un'analisi comparativa che dimostra la superiorità del sistema rispetto agli LLM non vincolati e alle strategie standard di NLP4RE (RAG, Self-Consistency, Multi-agent Debate).

4. Risultati

Il sistema è stato valutato su una macchina Apple M1 Pro utilizzando il modello Llama 3.1 8B, con una replica utilizzando il modello frontier NVIDIA Nemotron 3 Ultra.

• Conformità Strutturale (RQ1): Il sistema ha eliminato le inconsistenze strutturali in 35 casi su 37 (94,6%). I due casi rimanenti contenevano solo 6 errori strutturali irrisolti (0,39% del totale delle decisioni), attribuiti al raggiungimento del limite di iterazione prima della convergenza. Sotto il modello frontier (Nemotron 3 Ultra), il sistema ha raggiunto la convergenza al 100% con lo 0% di falsità strutturale.
• Quantificazione dell'Incertezza (RQ2): L'analisi a tre valori ha rivelato che il 24,7% di tutte le decisioni era Indeterminato ($I$). Queste erano scelte strutturalmente valide ma non esplicitamente mandate dalla visione, concentrate principalmente nei nodi Multiple-Adaptor (MA) e Optional. Ciò conferma che il sistema identifica correttamente dove l'intento dello stakeholder è sotto-specificato.
• Confronto con i Baseline (RQ3): Senza il validator simbolico, le strategie LLM non vincolate hanno prodotto tassi di falsità strutturale compresi tra il 62,2% e il 94,6%. Il sistema neuro-simbolico ha ridotto questo valore al 5,4% (Llama 3.1 8B) e allo 0,0% (Nemotron 3 Ultra). Significativamente, un baseline RAG ha subito un tasso di falsità del 94,6% a causa del bias di ancoraggio del recupero, dove l'LLM selezionava nodi foglia senza i loro percorsi genitori richiesti.
• Scalabilità (RQ4): Il numero di chiamate LLM scala quasi linearmente con la dimensione del reticolo ($R^2 = 0,69$), confermando l'efficienza della strategia di pruning basata sulla frontiera. Tuttavia, la latenza di tempo di esecuzione è dominata dall'overhead di rete/servizio del modello piuttosto che dalla complessità del reticolo. Il validator simbolico aggiunge un overhead trascurabile (<0,4% della latenza totale).

5. Significatività e Rivendicazioni

Il documento sostiene che delegare l'integrità strutturale a uno strato simbolico deterministico garantisce con successo la conformità strutturale, trasformando efficacemente gli output neurali inconsistenti in specifiche verificate e strutturalmente solide.

• Sicurezza nella Distribuzione: L'architettura fornisce un modello di design generale per il deployment sicuro di LLM in domini critici per la sicurezza o sensibili alla qualità, separando l'euristica neurale dal controllore dei vincoli simbolici. Ciò assicura che la componente LLM possa essere aggiornata senza compromettere le garanzie formali.
• Feedback Azionabile: La classificazione a tre valori fornisce ai professionisti un feedback immediato. Un'alta indeterminazione segnala visioni sotto-specificate che richiedono chiarimenti dall'analista, mentre una falsità persistente (sebbene rara) individua problemi specifici a livello di modello o di reticolo.
• Rigore Formale: A differenza degli approcci euristici, questo sistema offre una garanzia deterministica: per qualsiasi esecuzione che converga entro il budget di chiamate, l'output finale è garantito soddisfare tutti i vincoli del reticolo.

Gli autori mantengono una posizione modesta, riconoscendo che il sistema non può rilevare allucinazioni semantiche (scelte strutturalmente valide ma irrilevanti) e dipende dai reticoli OOMRAM pre-ingegnerizzati. Notano che, sebbene lo strato simbolico garantisca la correttezza strutturale, la capacità dell'LLM di seguire i messaggi di errore e convergere rimane dipendente dal modello, come dimostrato dalla differenza di prestazioni tra i modelli 8B e frontier. Il lavoro futuro proposto prevede l'automazione dell'estrazione dei reticoli, l'integrazione del routing semantico per la selezione della famiglia e il passaggio dalla scoring a tre valori "crisp" a una visualizzazione dell'incertezza basata su probabilità continue.