Automated Semantic Fault Localization in SysML v2: A Human-in-the-Loop Framework Using Knowledge-Graph Augmented LLMs

Resumo Técnico: Localização de Falhas Semânticas Automatizada em SysML v2

Declaração do Problema
A Engenharia de Sistemas Baseada em Modelos (MBSE) utilizando SysML v2 oferece validação formal para regras sintáticas, mas tem dificuldade em detectar falhas semânticas. Estas são erros onde um modelo é sintaticamente válido e passa nas verificações do compilador, mas viola restrições de engenharia específicas do domínio, como conexões fisicamente incompatíveis (ex: vincular uma interface de fluido a uma porta elétrica) ou inconsistências dimensionais. Os Grandes Modelos de Linguagem (LLMs) aplicados ao SysML v2 enfrentam obstáculos significativos: escassez de dados de treinamento de alta qualidade, tendência a alucinar sintaxe ou construtos inexistentes e incapacidade de raciocinar sobre sistemas extensos sem contexto de domínio explícito. Além disso, as abordagens existentes frequentemente dependem de geração autônoma, o que carece da necessária supervisão de engenharia para sistemas críticos à segurança.

Metodologia
Os autores propõem um framework de "human-in-the-loop" (humano no ciclo) que desloca o papel do LLM de geração autônoma de modelos para localização de falhas automatizada e sugestão de reparo. A metodologia consiste em quatro componentes primários:

1. Grafo de Conhecimento de Domínio (KG): Um KG foi construído para codificar regras de compatibilidade física e restrições de engenharia para o domínio de sistemas veiculares. Este grafo mapeia interfaces de sistemas para domínios físicos (ex: mecânico, elétrico, fluido) e tipos do Sistema Internacional de Unidades (SI) para unidades válidas. O KG serve a duas funções: guia a geração de dados de treinamento sintéticos ao definir regras de mutação válidas e aumenta os prompts de inferência para fundamentar as sugestões de reparo em restrições de engenharia explícitas.

2. Construção de Dataset Sintético: Para enfrentar a escassez de dados, os autores sintetizaram um dataset de 8.301 entradas a partir de um corpus base de 256 modelos SysML v2 válidos.

   • Falhas de Sintaxe: Um motor de mutação aplicou 12 operadores heurísticos (ex: quebra de imports, desbalanceamento de parênteses/colchetes) para gerar 5.497 amostras sintaticamente inválidas.
   • Falhas Semânticas: Usando o KG, o motor aplicou 5 heurísticas de mutação semântica (ex: incompatibilidade de portas, troca de unidades) para criar 1.402 amostras que são sintaticamente válidas, mas semanticamente incorretas.
   • Exemplos Corretos: 1.402 amostras válidas foram incluídas para permitir que o modelo distinga entre código correto e defeituoso.
     O dataset foi dividido em conjuntos de treinamento (70%), validação (15%) e teste (15%), garantindo que não houvesse vazamento de dados (data leakage) entre os modelos originais e as amostras mutadas.

3. Saída Baseada em Patches: Em vez de gerar reescritas completas de código, os modelos foram ajustados para fornecer patches de unified diff. Este formato especifica alterações via linhas adicionadas e removidas com contexto, reduzindo o comprimento dos tokens e facilitando a revisão humana.

4. Ajuste Fino Supervisionado (SFT): Dois Modelos de Linguagem Pequenos (SLMs) — Qwen-2.5 Coder 1.5B e DeepSeek Coder 6.7B — foram submetidos a ajuste fino usando Low-Rank Adaptation (LoRA). Os modelos foram treinados para prever um indicador de status (correto/incorreto) seguido por um patch de reparo, condicionado ao código de entrada e às regras de domínio relevantes do KG.

Principais Contribuições

• Dataset e Metodologia de Síntese: A criação de um dataset rotulado contendo falhas sintáticas e semânticas, sintetizadas via um motor de mutação guiado por KG para superar a escassez de dados de treinamento de SysML v2.
• Pipeline Consciente do Domínio: Um pipeline de localização de falhas que integra um grafo de conhecimento para guiar tanto a geração de dados quanto o aumento de prompt em tempo de inferência, permitindo a detecção de violações semânticas latentes.
• Avaliação de SLMs: Uma avaliação empírica demonstrando que SLMs ajustados podem identificar e reparar efetivamente erros de sintaxe e semântica em SysML v2, fornecendo resultados como patches de unified diff.

Resultos
A avaliação em um conjunto de teste retido de 1.184 amostras rendeu os seguintes achados:

• Melhoria de Desempenho: O ajuste fino melhorou dramaticamente a precisão do reparo de falhas semânticas. Os modelos pré-treinados de base alcançaram menos de 3% de precisão em erros semânticos (variando de 0,62% a 2,47%), enquanto os modelos ajustados atingiram mais de 91% (91,4%–95,7%).
• Sintaxe vs. Semântica: O ajuste fino também melhorou significativamente o reparo de sintaxe, com pontuações pass@1 subindo de ~17–36% (base) para ~89–98% (ajustado).
• Eficiência: Modelos ajustados para fornecer patches reduziram o comprimento médio de tokens em aproximadamente 50% em comparação com modelos que geram reescritas completas de código, e em até 75% em comparação com os modelos de base.
• Impacto das Regras de Domínio: Embora o fornecimento de regras de domínio no prompt tenha oferecido ganhos marginais para os modelos de base, a combinação de ajuste fino e prompts aumentados pelo KG foi crítica para o alto desempenho de reparo semântico.

Significância e Alegações
O artigo alega que este framework oferece um caminho prático para a verificação de modelos assistida por IA que complementa as ferramentas de MBSE existentes. Ao posicionar o LLM como um assistente consciente do domínio, em vez de um agente autônomo, a abordagem preserva o julgamento humano no processo de design enquanto estende as capacidades de verificação além da sintaxe para a física do domínio. Os autores afirmam que sua metodologia de aumento de dados baseada em heurísticas fornece uma solução viável para o problema de escassez de dados de treinamento, permitindo que pequenos modelos de linguagem detectem erros de nível de domínio que compiladores padrão não percebem. O trabalho enfatiza que o conhecimento de domínio explícito e bem estruturado é essencial para aplicar LLMs ao SysML v2, uma vez que modelos de propósito geral carecem da exposição necessária à sintaxe válida e às restrições de engenharia.