Automated Semantic Fault Localization in SysML v2: A Human-in-the-Loop Framework Using Knowledge-Graph Augmented LLMs

Resumen Técnico: Localización Automatizada de Fallos Semánticos en SysML v2

Planteamiento del Problema
La Ingeniería de Sistemas Basada en Modelos (MBSE) utilizando SysML v2 ofrece una validación formal para las reglas sintácticas, pero presenta dificultades para detectar fallos semánticos. Estos son errores donde un modelo es sintácticamente válido y supera las comprobaciones del compilador, pero viola restricciones específicas del dominio, como conexiones físicamente incompatibles (por ejemplo, vincular una interfaz de fluido a un puerto eléctrico) o inconsistencias dimensionales. Los Modelos de Lenguaje de Gran Escala (LLM) actuales aplicados a SysML v2 enfrentan obstáculos significativos: una escasez de datos de entrenamiento de alta calidad, una tendencia a alucinar sintaxis o constructos inexistentes, y una incapacidad para razonar sobre sistemas extensos sin un contexto de dominio explícito. Además, los enfoques existentes suelen depender de la generación autónoma, lo que carece de la supervisión de ingeniería necesaria para sistemas críticos para la seguridad.

Metodología
Los autores proponen un marco de trabajo con intervención humana (human-in-the-loop) que desplaza el rol del LLM de la generación autónoma de modelos hacia la localización automatizada de fallos y la sugerencia de reparaciones. La metodología consta de cuatro componentes principales:

1. Grafo de Conocimiento de Dominio (KG): Se construyó un KG para codificar las reglas de compatibilidad física y las restricciones de ingeniería para el dominio de sistemas de vehículos. Este grafo mapea las interfaces del sistema a dominios físicos (por ejemplo, mecánico, eléctrico, fluido) y los tipos del Sistema Internacional de Magnitudes (ISQ) a unidades válidas. El KG cumple dos funciones: guía la generación de datos sintéticos mediante la definición de reglas de mutación válidas y aumenta los prompts de inferencia para fundamentar las sugerencias de reparación en restricciones de ingeniería explícitas.

2. Construcción de Conjunto de Datos Sintéticos: Para abordar la escasez de datos, los autores sintetizaron un conjunto de datos de 8.301 entradas partiendo de un corpus base de 256 modelos SysML v2 válidos.

   • Fallos de Sintaxis: Un motor de mutación aplicó 12 operadores heurísticos (por ejemplo, romper importaciones, desequilibrar paréntesis) para generar 5.497 muestras sintácticamente inválidas.
   • Fallos Semánticos: Utilizando el KG, el motor aplicó 5 heurísticas de mutación semántica (por ejemplo, desajustes de puertos, intercambio de unidades) para crear 1.402 muestras que son sintácticamente válidas pero semánticamente incorrectas.
   • Ejemplos Correctos: Se incluyeron 1.402 muestras válidas para permitir que el modelo distinga entre código correcto e incorrecto.
     El conjunto de datos se dividió en conjuntos de entrenamiento (70%), validación (15%) y prueba (15%), asegurando que no hubiera fuga de datos (data leakage) entre los modelos fuente y las muestras mutadas.

3. Salida Basada en Parches (Patch-Based Output): En lugar de generar reescrituras completas de código, los modelos fueron ajustados para producir parches de diferencias unificadas (unified diff patches). Este formato especifica los cambios mediante líneas añadidas y eliminadas con contexto, reduciendo la longitud de los tokens y facilitando la revisión humana.

4. Ajuste Fino Supervisado (SFT): Dos Modelos de Lenguaje Pequeños (SLM)—Qwen-2.5 Coder 1.5B y DeepSeek Coder 6.7B—fueron ajustados mediante Adaptación de Bajo Rango (LoRA). Los modelos fueron entrenados para predecir un indicador de estado (correcto/incorrecto) seguido de un parche de reparación, condicionado al código de entrada y a las reglas de dominio relevantes del KG.

Contribuciones Clave

• Metodología de Síntesis y Conjunto de Datos: La creación de un conjunto de datos etiquetado que contiene fallos sintácticos y semánticos, sintetizados mediante un motor de mutación guiado por un KG para superar la escasez de datos de entrenamiento de SysML v2.
• Pipeline Sensible al Dominio: Un flujo de trabajo de localización de fallos que integra un grafo de conocimiento para guiar tanto la generación de datos como el aumento de los prompts en tiempo de inferencia, permitiendo la detección de violaciones semánticas latentes.
• Evaluación de SLMs: Una evaluación empírica que demuestra que los SLM ajustados pueden identificar y reparar eficazmente errores tanto sintácticos como semánticos en SysML v2, emitiendo resultados como parches de diferencias unificadas.

Resultos
La evaluación en un conjunto de prueba no utilizado de 1.184 muestras arrojó los siguientes hallazgos:

• Mejora del Rendimiento: El ajuste fino mejoró drásticamente la precisión de la reparación de fallos semánticos. Los modelos base preentrenados lograron menos del 3% de precisión en errores semánticos (oscilando entre 0.62% y 2.47%), mientras que los modelos ajustados alcanzaron más del 91% (91.4%–95.7%).
• Sintaxis vs. Semántica: El ajuste fino también mejoró significamente la reparación de sintaxis, con puntuaciones pass@1 que aumentaron de ~17–36% (modelo base) a ~89–98% (modelo ajustado).
• Eficiencia: Los modelos ajustados para generar parches redujeron la longitud promedio de los tokens aproximadamente un 50% en comparación con los modelos que generan reescrituras completas de código, y hasta un 75% en comparación con los modelos base.
• Impacto de las Reglas de Dominio: Si bien proporcionar reglas de dominio en el prompt ofreció ganancias marginales para los modelos base, la combinación de ajuste fino y prompts aumentados por el KG fue crítica para un alto rendimiento de reparación semántica.

Significado y Reivindicaciones
El artículo afirma que este marco ofrece un camino práctico hacia la verificación de modelos asistida por IA que complementa las herramientas de MBSE existentes. Al posicionar al LLM como un asistente sensible al dominio en lugar de un agente autónomo, el enfoque preserva el juicio humano en el proceso de diseño mientras extiende las capacidades de verificación más allá de la sintaxis hacia la física del dominio. Los autores sostienen que su metodología de aumento de datos basada en heurísticas proporciona una solución viable al problema de la escasez de datos de entrenamiento, permitiendo que los modelos de lenguaje pequeños detecten errores a nivel de dominio que los compiladores estándar pasan por alto. El trabajo enfatiza que el conocimiento de dominio explícito y bien estructurado es esencial para aplicar LLM a SysML v2, ya que los modelos de propósito general carecen de la exposición necesaria a la sintaxis válida y a las restricciones de ingeniería.