Riepilogo Tecnico: Agenti Neuro-Simbolici per il Riutilizzo di Requisiti Senza Allucinazioni

1. Enunciato del Problema

L'Ingegneria dei Requisiti (RE) è intrinsecamente costosa e soggetta a errori. Sebbene il riutilizzo di requisiti validati dalle linee di prodotto software (ad esempio, tramite il Metodo Orientato agli Oggetti per l'Autore e la Gestione dei Requisiti, o OOMRAM) offra una strategia per ridurre lo sforzo, i framework esistenti affrontano un collo di bottiglia critico: la corrispondenza esatta degli identificatori. Il recupero OOMRAM tradizionale richiede agli utenti di specificare ID di requisito precisi, impedendo la generazione automatica di specifiche a partire da descrizioni di progetto in linguaggio naturale.

I Modelli Linguistici su Grande Scala (LLM) offrono la flessibilità linguistica per interpretare visioni degli stakeholder vaghe e mapparle sui requisiti. Tuttavia, gli LLM sono soggetti a allucinazioni, come l'invenzione di identificatori inesistenti, l'ignorare vincoli obbligatori o la combinazione di opzioni mutualmente esclusive. Gli attuali strumenti RE che sfruttano gli LLM spesso mancano di garanzie formali di correttezza, lasciando le specifiche generate vulnerabili a incoerenze logiche e invalidità strutturali, il che è particolarmente pericoloso in domini critici per la sicurezza o altamente regolamentati.

2. Metodologia: Un Sistema Multi-Agente Neuro-Simbolico

Gli autori propongono un'architettura multi-agente neuro-simbolica che riconcettualizza il riutilizzo dei requisiti come un processo di Elicitazione Guidata da Modelli. Il sistema opera il reticolo formale OOMRAM come un modello di dominio deterministico, utilizzando un LLM esclusivamente come euristica non deterministica per la navigazione in questo modello.

Architettura Principale

Costruito su LangGraph, il sistema impiega quattro agenti specializzati che condividono uno stato tipizzato (AgentState):

1. Navigatore: Simula una traversata in profondità (depth-first) del reticolo dei requisiti, selezionando il nodo discriminante successivo da espandere in base alla visione del progetto e allo stato corrente.
2. Interprete (LLM): Un agente non deterministico (che utilizza llama3.1:8b con temperatura 0) che interpreta la visione in linguaggio naturale e propone un insieme di ID di requisito figlio per il nodo corrente. Produce un output JSON strutturato.
3. Validatore (Simbolico): Un componente deterministico e algoritmico (Python puro, senza LLM) che funge da guardrail a runtime. Verifica ogni selezione proposta contro i vincoli di soddisfacibilità booleana dello schema del reticolo ($\Phi$). Impone:
   • Requisiti Fondamentali: Tutti i nodi obbligatori devono essere selezionati.
   • Adattatore Singolo (SA/XOR): Deve essere selezionato esattamente un figlio.
   • Adattatore Multiplo (MA/OR): Deve essere selezionato almeno un figlio.
   • Integrità Strutturale: Nessun nodo orfano (un figlio non può essere selezionato senza il suo genitore).
   • Meccanismo: Se viene rilevata una violazione, il Validatore respinge la proposta e restituisce un registro di errore all'Interprete, costringendo a una revisione. Questo ciclo continua finché i vincoli non sono soddisfatti.
4. Scrivano: Compila l'insieme finale e validato di ID di requisito in una specifica formattata.

Strategie Tecniche Chiave

• Navigazione del Sottografico: Per gestire grandi reticoli industriali e prevenire fallimenti del ragionamento tipo "persi nel mezzo", il sistema limita il contesto dell'Interprete a un sottoinsieme localizzato (frontiera) del reticolo ad ogni passaggio. Ciò garantisce una dimensione del contesto costante ($O(1)$) e una scalabilità lineare ($O(N)$) con il numero di punti decisionali.
• Instradamento Semantico: Un instradatore preliminare utilizza embedding di sentence-transformer per selezionare la famiglia di reticoli appropriata (ad es. eRecordKeeping, SmartHome) in base al testo della visione di input, abilitando il supporto multi-dominio senza selezione manuale.
• Specificazione Formale: Il sistema definisce il reticolo come un Grafo Aciclico Diretto (DAG) $L = (V, E, T, \Phi)$ e impone un predicato di coerenza globale $\Psi(S)$, assicurando che l'insieme di selezione finale sia un'istanza valida del metamodello.

3. Contributi Principali

1. Operazionalizzazione di OOMRAM per l'Era degli LLM: Questo è il primo lavoro a sostituire la selezione basata su ID esatti con una traversata guidata da LLM in linguaggio naturale, rendendo il reticolo formale OOMRAM pratico per la RE moderna.
2. Mitigazione Deterministica delle Allucinazioni: L'introduzione di un Validatore completamente deterministico che funge da guardiano hard-coded. Imponendo algoritmicamente i vincoli all'interno del ciclo di generazione, il sistema elimina completamente le combinazioni di requisiti illegali, anziché affidarsi a filtri euristici.
3. Benchmark Autonomo Riproducibile: Gli autori forniscono un benchmark che dimostra una traversata affidabile, violazioni dei vincoli prossime allo zero e piena validità strutturale attraverso diverse famiglie di applicazioni.
4. Implementazione Agnostica al Modello: Un framework open-source basato su LangGraph e Ollama locale, progettato per scalare verso reticoli industriali più grandi e garantire privacy/riproducibilità.

4. Valutazione Sperimentale e Risultati

Il sistema è stato valutato in modalità di simulazione autonoma su dieci visioni di progetto tratte da due famiglie di applicazioni: il reticolo originale eRecordKeeping (circa 60 requisiti) e un reticolo sintetico SmartHome (circa 20 requisiti). Il corpus è stato ampliato per includere 12 famiglie basate su standard reali (ad es. ISO 26262, ISO 20022, TM Forum eTOM).

Risultati Quantitativi

• Validità Strutturale: Il sistema ha raggiunto il 100% di completamento e il 100% di validità strutturale su tutte le visioni testate.
• Violazioni dei Vincoli: Il tasso finale di violazione dei vincoli è stato dello 0,2% (1 violazione rilevata e corretta durante il processo). Al contrario, uno studio di ablazione che rimuoveva il Validatore ha portato a un tasso medio di violazione del 5,1% e a una validità strutturale del solo 14%.
• Punteggio F1: Rispetto a standard aurei creati manualmente, il punteggio F1 è variato da 0,47 a 0,81. Gli autori sostengono che questo punteggio moderato non sia un fallimento, ma una conseguenza dell'enorme "Spazio di Configurazione Valid" nelle linee di prodotto, dove esistono molteplici scelte opzionali/alternative legittime.
• Latenza: La latenza media in tempo reale è stata di 210 secondi per visione, con una media di 78 chiamate LLM. Il Validatore ha aggiunto un tempo di esecuzione trascurabile.

Risultati Qualitativi

• Conflitto Intenzionale: Il sistema naviga con successo conflitti in cui l'LLM tenta di soddisfare desideri degli stakeholder (ad es. "sistema economico") violando vincoli obbligatori (ad es. sicurezza). Il Validatore respinge questi tentativi, costringendo l'LLM a trovare un'alternativa conforme (ad es. selezionare l'opzione valida più economica).
• Tipologia di Errori: Le allucinazioni pre-validazione variavano per dominio (ad es. errori di cardinalità in HR/Payroll, orfani strutturali nelle Telecomunicazioni, negligenza dei vincoli nelle Smart Grid), ma il Validatore simbolico ha ridotto il tasso di errore finale allo 0% in tutti i casi.

5. Significato e Affermazioni

Il documento afferma che il futuro dell'automazione della RE non risiede nella scalatura dei parametri degli LLM, ma nell'accoppiamento armonioso del ragionamento probabilistico neurale con la logica simbolica hard-coded.

• Cambiamento nelle Metriche: Gli autori sostengono che per la RE ad alta conformità, il Tasso di Validità Strutturale (SVR) e il Richiamo Obbligatorio sono metriche più critiche rispetto alle tradizionali metriche NLP come Precisione o Punteggio F1. Raggiungere il 100% di SVR dimostra che il sistema trasforma la generazione stocastica in un processo di ingegneria formale.
• IA Affidabile: Separando la comprensione linguistica aperta dell'LLM da un esecutore di vincoli basato su regole, il sistema fornisce una pipeline affidabile che previene la deriva delle specifiche mantenendo al contempo la flessibilità di interpretare visioni vaghe.
• Scalabilità: La strategia di navigazione del sottografico garantisce che il sistema possa teoricamente scalare verso reticoli industriali senza degradare la qualità del ragionamento, a condizione che la finestra di contesto rimanga costante.

Il lavoro conclude che, sebbene gli LLM siano utili per interpretare l'intento, sono fondamentalmente inaffidabili per la logica strutturale, un compito che deve essere delegato a componenti simbolici per garantire un riutilizzo dei requisiti privo di allucinazioni.