Exploring the Potential of Large Language Models in Simulink-Stateflow Mutant Generation

1. Planteamiento del Problema

La análisis de mutación es una técnica fundamental para evaluar la adecuación de las suites de pruebas en sistemas de software. Sin embargo, los enfoques convencionales basados en operadores de mutación manuales o reglas sintácticas presentan desafíos significativos, especialmente en modelos Simulink-Stateflow utilizados en Sistemas Ciberfísicos (CPS) de misión crítica:

• Mutantes Redundantes y Equivalentes: Los métodos tradicionales generan un alto porcentaje de mutantes que son idénticos al original (equivalentes) o duplicados, lo que desperdicia recursos computacionales.
• Complejidad Estructural: Los modelos Simulink-Stateflow integran dinámicas continuas con comportamientos de eventos discretos y tienen una estructura jerárquica compleja. Modificar solo la sintaxis a menudo viola la semántica del modelo o no refleja fallos reales de los desarrolladores.
• Limitaciones del Aprendizaje Automático (ML) Tradicional: Los enfoques previos de ML han estado limitados por la escasez de datos de entrenamiento de alta calidad y problemas de escalabilidad, generando mutantes poco realistas o sintácticamente incorrectos.

El artículo propone investigar si los Modelos de Lenguaje Grande (LLM) pueden superar estas limitaciones para generar mutantes de alta calidad, diversos y específicos del dominio.

2. Metodología

Los autores desarrollaron un pipeline automatizado para la generación de mutantes que consta de las siguientes etapas:

1. Conversión a JSON: Un analizador de modelos convierte los archivos de Simulink-Stateflow (.slx) en una representación estructurada en JSON, capturando estados, transiciones, uniones y sus conexiones.
2. Generación de Prompts: Se crea un prompt basado en una plantilla estandarizada que incluye:
   • Contexto: El modelo en JSON.
   • Datos de Entrada: El elemento específico a mutar (si es estrategia local) y el número de mutantes a generar.
   • Requisitos de Salida: Formato JSON estricto y reglas de validación (ej. no mutar nombres o posiciones).
   • Instrucciones: Directrices para el LLM.
3. Estrategias de Mutación:
   • Global: El LLM tiene acceso a todo el modelo y puede modificar cualquier componente.
   • Local: Se selecciona un elemento específico (estado, transición o unión) y el LLM solo puede mutar dentro de ese ámbito.
4. Estrategias de Prompting: Se compararon enfoques Zero-shot (sin ejemplos) y Few-shot (incluyendo ejemplos reales de mutaciones previas).
5. Ejecución: Se evaluaron 8 LLMs (3 cerrados de la familia GPT: 3.5, 4o, 4o-mini; y 5 abiertos: Mistral, Deepseek, Llama 3, Gemma, Hermes) con diferentes configuraciones de temperatura (0.2 a 1.0).
6. Validación: Los mutantes generados se reconvierten a modelos Simulink y se ejecutan con suites de pruebas para determinar si son detectables, equivalentes o inválidos.

3. Contribuciones Clave

• Evaluación Empírica a Gran Escala: Se realizó un estudio exhaustivo generando 38,400 mutantes en 4 modelos de caso de estudio (Control de puerta, Refrigerador, Ascensor y Marcapasos) utilizando 8 LLMs diferentes.
• Herramienta de Código Abierto: Se desarrolló y publicó un prototipo de herramienta automatizada junto con el conjunto de datos completo en GitHub para fomentar la reproducibilidad.
• Análisis de Estrategias: Se identificó la combinación óptima de estrategias de mutación, prompting y configuración de hiperparámetros para este dominio específico.
• Identificación de Errores: Se clasificaron sistemáticamente las causas raíz de los fallos en la generación de mutantes (referencias inválidas, transiciones incorrectas, variables no definidas y errores de sintaxis).

4. Resultados Principales

Los hallazgos demuestran que los LLMs son superiores a los métodos basados en reglas tradicionales en varios aspectos:

• Eficiencia y Velocidad: Los LLMs generaron mutantes hasta 13 veces más rápido que la línea base manual/automatizada tradicional.
• Calidad del Mutante:
  • Los LLMs produjeron significativamente menos mutantes equivalentes y duplicados (reduciendo la tasa de duplicación de ~0.67 a ~0.31 en algunos casos).
  • La calidad general de los mutantes (capacidad de ser detectados por pruebas específicas) fue superior en los LLMs.
• Impacto de las Estrategias:
  • Mutación Global + Few-Shot: Logró las tasas más altas de generabilidad y compilabilidad (mutantes sintácticamente correctos).
  • Mutación Local: Mejoró la diversidad y calidad de los mutantes, reduciendo drásticamente la redundancia, aunque con una ligera penalización en la tasa de compilación.
  • Few-Shot Prompting: Superó consistentemente al Zero-shot, mejorando la precisión y adherencia a las reglas del modelo.
• Configuración de Temperatura:
  • Valores de temperatura bajos a medios (0.2 - 0.6) produjeron los mutantes más fiables y de mayor calidad.
  • Temperaturas altas (0.8 - 1.0) aumentaron la diversidad pero introdujeron más errores sintácticos y semánticos, reduciendo la compilabilidad.
• Causas de Error: El 40-50% de los fallos se debieron a referencias inválidas a elementos del modelo o variables no definidas, lo que subraya la necesidad de capas de validación estructural posteriores a la generación.

5. Significado e Impacto

Este trabajo representa un avance significativo en la ingeniería de software para sistemas embebidos y ciberfísicos.

• Viabilidad de los LLMs: Demuestra que los LLMs no solo pueden entender la sintaxis de los diagramas de flujo de estado, sino también su semántica compleja para generar fallos realistas.
• Reducción de Costos: Al generar mutantes más rápidos y con menos redundancia, se reduce drásticamente el costo computacional y temporal del análisis de mutación en sistemas críticos.
• Nueva Línea de Investigación: Establece un nuevo estándar para la generación de mutantes en modelos de simulación, moviéndose más allá de la simple sustitución de operadores hacia la generación de mutaciones semánticamente ricas.

En conclusión, el estudio valida que los LLMs, cuando se combinan con estrategias de prompting adecuadas (Few-shot) y configuraciones de temperatura controladas, son una alternativa superior y escalable a los métodos tradicionales para el análisis de mutación en Simulink-Stateflow.