Automated Semantic Fault Localization in SysML v2: A Human-in-the-Loop Framework Using Knowledge-Graph Augmented LLMs

Technische Samenvatting: Geautomatiseerde Semantische Foutlokalisatie in SysML v2

Probleemstelling
Model-Based Systems Engineering (MBSE) met behulp van SysML v2 biedt formele validatie voor syntactische regels, maar heeft moeite met het detecteren van semantische fouten. Dit zijn fouten waarbij een model syntactisch geldig is en de compiler-checks doorstaat, maar een domeinspecifieke engineering-beperking overtreedt (bijvoorbeeld het koppelen van een vloeistofinterface aan een elektrische poort of dimensionale inconsistenties). Huidige Large Language Models (LLMs) die worden toegepast op SysML v2, kampen met aanzienlijke hindernissen: een tekort aan hoogwaardige trainingsdata, een neiging tot hallucinaties van syntaxis of niet-bestaande constructen, en een onvermogen om over grote systemen te redeneren zonder expliciete domeincontext. Bovensstaande benaderingen vertrouwen vaak op autonome generatie, wat gebrek aan de noodzakelijke engineering-toezicht heeft voor veiligheidskritische systemen.

Methodologie
De auteurs stellen een human-in-the-loop framework voor dat de rol van de LLM verschuift van autonome modelgeneratie naar geautomatiseerde foutlokalisatie en reparatievoorstellen. De methodologie bestaat uit vier primaire componenten:

1. Domain Knowledge Graph (KG): Er werd een KG geconstrueerd om fysieke compatibiliteitsregels en engineering-beperkingen voor het voertuigsystemen-domein te coderen. Deze graaf brengt systeeminterfaces in kaart met fysieke domeinen (bijv. mechanisch, elektrisch, vloeistof) en International System of Quantities (ISQ) typen naar geldige eenheden. De KG vervult twee functies: het stuurt de generatie van synthetische trainingsdata aan door geldige mutatieregels te definiëren, en het verrijkt inferentie-prompts om reparatievoorstellen te funderen in expliciete engineering-beperkingen.

2. Synthetische Dataset Constructie: Om het tekort aan data aan te pakken, hebben de auteurs een dataset van 8.301 entries gesynthetiseerd uit een basiscorpus van 256 geldige SysML v2-modellen.

   • Syntactische Fouten: Een mutatie-engine paste 12 heuristische operatoren toe (bijv. het verbreken van imports, het onbalans brengen van haakjes) om 5.497 syntactisch ongeldige monsters te generen.
   • Semantische Fouten: Met behulp van de KG paste de engine 5 semantische mutatie-heuristieken toe (bijv. poort-mismatches, eenheidswisselingen) om 1.402 monsters te creëren die syntactisch geldig maar semantisch incorrect zijn.
   • Correcte Voorbeelden: 1.402 geldige monsters werden opgenomen om het model in staat te stellen tussen correcte en foutieve code te onderscheiden.
     De dataset werd verdeeld in trainings (70%), validatie (15%) en testsets (15%), waarbij werd gewaarborgd dat er geen data-lekkage optrad tussen de bronmodellen en de gemuteerde monsters.

3. Patch-gebaseerde Output: In plaats van volledige code-herschrijvingen te genereren, zijn de modellen getraind om unified diff-patches te produceren. Dit formaat specificeert wijzigingen via toegevoegde en verwijderde regels met context, wat de token-lengte vermindert en menselijke beoordeling vergemakkelijkt.

4. Supervised Fine-Tuning (SFT): Twee Small Language Models (SLMs) — Qwen-2.5 Coder 1.5B en DeepSeek Coder 6.7B — werden gefinetuned met behulp van Low-Rank Adaptation (LoRA). De modellen werden getraind om een statusindicator (correct/incorrect) te voorspellen, gevolgd door een reparatiepatch, geconditioneerd op de inputcode en de relevante domeinregels uit de KG.

Belangrijkste Bijdragen

• Dataset en Synthese-methodologie: De creatie van een gelabelde dataset met syntactische en semantische fouten, gesynthetiseerd via een KG-gestuurde mutatie-engine om het tekort aan SysML v2-trainingsdata te overwinnen.
• Domeinbewuste Pipeline: Een foutlokalisatie-pipeline die een kennisgraaf integreert om zowel de datageneratie als de prompt-augmentatie tijdens inferentie te sturen, wat de detectie van latente semantische schendingen mogelijk maakt.
• Evaluatie van SLMs: Een empirische evaluatie die aantoont dat gefinetuned SLMs effectief zowel syntactische als semantische fouten in SysML v2 kunnen identificeren en repareren door de resultaten als unified diff-patches te produceren.

Resultaten
Evaluatie op een onafhankelijke testset van 1.184 monsters leverde de volgende bevindingen op:

• Prestatieverbetering: Fine-tuning verbeterde de nauwkeurigheid van semantische foutreparatie drastisch. Baseline pre-trained modellen behaalden minder dan 3% nauwkeurigheid op semantische fouten (variërend van 0,62% tot 2,47%), terwijl gefinetuned modellen meer dan 91% bereikten (91,4%–95,7%).
• Syntaxis vs. Semantiek: Fine-tuning verbeterde ook de syntaxisreparatie aanzienlijk, waarbij de pass@1 scores stegen van ~17–36% (baseline) naar ~89–98% (gefinetuned).
• Efficiëntie: Modellen die gefinetuned zijn om patches te produceren, verminderden de gemiddelde token-lengte met ongeveer 50% vergeleken met modellen die volledige code-herschrijvingen genereren, en met tot wel 75% vergeleken met baseline-modellen.
• Impact van Domeinregels: Hoewel het verstrekken van domeinregels in de prompt marginale winst opleverde voor baseline-modellen, was de combinatie van fine-tuning en KG-geaugmenteerde prompts cruciaal voor een hoge semantische reparatieprestatie.

Betekenis en Claims
Het artikel claimt dat dit framework een praktisch pad biedt naar AI-ondersteunde modelverificatie die bestaande MBSE-tools complementeert. Door de LLM te positioneren als een domeinbewuste assistent in plaats van een autonome agent, behoudt de aanpak het menselijk oordeel in het ontwerpproces terwijl de verificatiecapaciteiten worden uitgebreid van syntaxis naar domeinfysica. De auteurs stellen dat hun heuristische methodologie voor data-augmentatie een levensvatbare oplossing biedt voor het probleem van de schaarste aan trainingsdata, waardoor kleine taalmodellen in staat worden gesteld om domein-niveau fouten te detecteren die standaard compilers missen. Het werk benadrukt dat expliciete, goed gestructureerde domeinkennis essentieel is voor het toepassen van LLM's op SysML v2, aangezien algemene modellen niet over de nodige blootstelling beschikken aan geldige syntaxis en engineering-beperkingen.