Automated Semantic Fault Localization in SysML v2: A Human-in-the-Loop Framework Using Knowledge-Graph Augmented LLMs

Sintesi Tecnica: Localizzazione Automatica dei Guasti Semantici in SysML v2

Problematica
L'Ingegneria dei Sistemi Basata sui Modelli (MBSE) utilizzando SysML v2 offre una validazione formale per le regole sintattiche, ma fatica a rilevare i guasti semantici. Questi sono errori in cui un modello è sintatticamente valido e supera i controlli del compilatore, ma viola vincoli ingegneristici specifici del dominio, come connessioni fisicamente incompatibili (ad esempio, collegare un'interfaccia fluida a una porta elettrica) o incongruenze dimensionali. Gli attuali Large Language Models (LLM) applicati a SysML v2 affrontano ostacoli significativi: una scarsità di dati di addestramento di alta qualità, una tendenza a allucinare la sintassi o costrutti inesistenti e l'incapacità di ragionare su sistemi di grandi dimensioni senza un esplicito contesto di dominio. Inoltre, gli approcci esistenti spesso si affidano alla generazione autonoma, che manca della necessaria supervisione ingegneristica per i sistemi critici per la sicurezza.

Metodologia
Gli autori propongono un framework human-in-the-loop che sposta il ruolo dell'LLM dalla generazione autonoma del modello alla localizzazione automatica dei guasti e alla suggerimento di riparazioni. La metodologia consiste in quattro componenti primari:

1. Grafo della Conoscenza di Dominio (KG): Un KG è stato costruito per codificare le regole di compatibilità fisica e i vincoli ingegneristici per il dominio dei sistemi veicolari. Questo grafo mappa le interfacce di sistema ai domini fisici (ad esempio, meccanico, elettrico, fluido) e i tipi ISQ (International System of Quantities) alle unità valide. Il KG svolge due funzioni: guida la generazione di dati sintetici definendo regole di mutazione valide e aumenta i prompt di inferenza per ancorare i suggerimenti di riparazione a espliciti vincoli ingegneristici.

2. Costruzione del Dataset Sintetico: Per affrontare la scarsità di dati, gli autori hanno sintetizzato un dataset di 8.301 voci partendo da un corpus base di 256 modelli SysML v2 validi.

   • Guasti Sintattici: Un motore di mutazione ha applicato 12 operatori euristici (ad esempio, rottura degli import, sbilanciamento delle parentesi) per generare 5.497 campioni sintatticamente invalidi.
   • Guasti Semantici: Utilizzando il KG, il motore ha applicato 5 euristiche di mutazione semantica (ad esempio, disallineamenti delle porte, scambi di unità) per creare 1.402 campioni che sono sintatticamente validi ma semanticamente errati.
   • Esempi Corretti: Sono stati inclusi 1.402 campioni validi per consentire al modello di distinguere tra codice corretto e guasto.
     Il dataset è stato suddiviso in set di addestramento (70%), validazione (15%) e test (15%), garantendo l'assenza di data leakage tra i modelli sorgente e i campioni mutati.

3. Output Basato su Patch: Invece di generare riscritture complete del codice, i modelli sono stati sottoposti a fine-tuning per produrre patch "unified diff". Questo formato specifica le modifiche tramite righe aggiunte e rimosse con relativo contesto, riducendo la lunghezza dei token e facilitando la revisione umana.

4. Supervised Fine-Tuning (SFT): Due Small Language Models (SLM) — Qwen-2.5 Coder 1.5B e DeepSeek Coder 6.7B — sono stati sottoposti a fine-tuning utilizzando la Low-Rank Adaptation (LoRA). I modelli sono stati addestrati per predire un indicatore di stato (corretto/errato) seguito da una patch di riparazione, condizionata dal codice di input e dalle regole di dominio rilevanti dal KG.

Contributi Chiave

• Dataset e Metodologia di Sintesi: La creazione di un dataset etichettato contenente guasti sintattici e semantici, sintetizzati tramite un motore di mutazione guidato dal KG per superare la scarsità di dati di addestramento per SysML v2.
• Pipeline Consapevole del Dominio: Una pipeline di localizzazione dei guasti che integra un grafo della conoscenza per guidare sia la generazione dei dati che l'aumento dei prompt durante l'inferenza, consentendo il rilevamento di violazioni semantiche latenti.
• Valutazione degli SLM: Un'valutazione empirica che dimostra come gli SLM sottoposti a fine-tuning possano identificare ed eseguire efficacemente la riparazione di errori sintattici e semantici in SysML v2, producendo risultati sotto forma di patch "unified diff".

Risultati
La valutazione su un set di test non utilizzato di 1.184 campioni ha prodotto i seguenti risultati:

• Miglioramento delle Prestazioni: Il fine-tuning ha migliorato drasticamente l'accuratezza della riparazione dei guasti semantici. I modelli pre-addestrati di base hanno raggiunto meno del 3% di accuratezza sugli errori semantici (variando dallo 0,62% al 2,47%), mentre i modelli sottoposti a fine-tuning hanno raggiunto oltre il 91% (91,4%–95,7%).
• Sintassi vs. Semantica: Il fine-tuning ha migliorato significativamente anche la riparazione della sintassi, con punteggi pass@1 che sono saliti da circa il 17–36% (baseline) a circa l'89–98% (fine-tuned).
• Efficienza: I modelli ottimizzati per produrre patch hanno ridotto la lunghezza media dei token di circa il 50% rispetto ai modelli che generano riscritture complete del codice, e fino al 75% rispetto ai modelli baseline.
• Impatto delle Regole di Dominio: Sebbene la fornitura di regole di dominio nel prompt abbia offerto guadagni marginali per i modelli baseline, la combinazione di fine-tuning e prompt aumentati dal KG è stata critica per l'elevata prestazione di riparazione semantica.

Significatività e Rivendicazioni
Il paper sostiene che questo framework offre un percorso pratico verso la verifica dei modelli assistita dall'IA che integra gli strumenti MBSE esistenti. Posizionando l'LLM come un assistente consapevole del dominio piuttosto che come un agente autonomo, l'approccio preserva il giudizio umano nel processo di progettazione, estendendo al contempo le capacità di verifica oltre la sintassi verso la fisica del dominio. Gli autori affermano che la loro metodologia di aumento dei dati basata su euristiche fornisce una soluzione valida al problema della scarsità di dati di addestramento, consentendo ai piccoli modelli linguistici di rilevare errori a livello di dominio che gli standard compiler mancano. Il lavoro sottolinea che una conoscenza del dominio esplicita e ben strutturata è essenziale per applicare gli LLM a SysML v2, poiché i modelli general-purpose mancano dell'esposizione necessaria a una sintassi valida e ai vincoli ingegneristici.