STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation

Resumen Técnico: STMutants

Planteamiento del Problema
Las pruebas de mutación son una técnica establecida para evaluar la efectividad de las suites de pruebas, fundamentada en la Hipótesis del Programador Competente y el Efecto de Acoplamiento. Aunque se aplican ampliamente a lenguajes convencionales como C, Java y Python, existe una brecha crítica en el dominio de la Automatización Industrial. Específicamente, los programas de Texto Estructurado (ST) de la norma IEC 61131-3, que controlan Controladores Lógicos Programables (PLC) de seguridad crítica, carecen de un conjunto de datos de referencia (benchmark) público y reproducible para la investigación basada en mutaciones. La ausencia de tal conjunto de datos obstaculiza la evaluación sistemática de las herramientas de prueba automatizadas y las capacidades emergentes de los Modelos de Lenguaje de Gran Escala (LLM) para software de PLC, donde los fallos pueden derivar en daños a los equipos, pérdida de producción o daños físicos.

Metodología
Los autores presentan STMutants, un conjunto de datos curado construido mediante una rigurosa metodología de cuatro fases:

1. Perfilado de Tipos de Fallos y Selección de Operadores: Se seleccionaron once programas de ST de la biblioteca básica OSCAT y fuentes académicas (Koziolek et al.), cubriendo diversas categorías funcionales (Lógica, Control, Señal, etc.) y con una extensión de entre 38 y 211 líneas de código. Se definieron y adaptaron siete categorías de operadores de mutación de taxonomías clásicas para ajustarlas al dominio de ST:
   • Reemplazo de Valor (VRO): Modificación de constantes (numéricas, booleanas, de tiempo).
   • Operador de Comparación/Relacional (CRO): Alteración de condiciones de contorno (p. ej., de < a ≤).
   • Reemplazo Aritmético (ARO): Cambio de operadores aritméticos (p. ej., de + a -).
   • Inserción/Omisión de Negación (NIO): Inversión de la lógica booleana.
   • Operador Lógico (LRO): Intercambio de conectivas booleanas (p. ej., de AND a OR).
   • Inserción/Omisión de Operación Aritmética (AOIO): Adición o eliminación de pasos aritméticos.
   • Inicialización (IO): Cambio de los valores por defecto de las variables.
2. Transformación Sintáctica: Se generaron un total de 110 mutantes de primer orden (10 por programa) aplicando sustituciones de tokens atómicos simples.
3. Verificación de Compilabilidad: Todos los mutantes fueron compilados utilizando MATIEC, un entorno estándar compatible con IEC 61131-3, para asegurar la validez sintáctica y de tipos.
4. Tamizaje de Equivalencia: Un proceso de dos pasos eliminó los mutantes equivalentes (aquellos que no alteran el comportamiento del programa). Esto incluyó un pre-tamizaje estático para código muerto y asignaciones redundantes, seguido de una revisión dual independiente por parte de dos expertos. El acuerdo inter-evaluador fue sólido ($\kappa = 0.87$). Dos mutantes del programa FLOW METER fueron excluidos por ser no observables mediante pruebas, resultando en un conjunto de datos final de 108 mutantes retenidos.

Contribuciones Clave

• Primer Benchmark Público: STMutants es el primer conjunto de datos de pruebas de mutación disponible públicamente diseñado específicamente para programas de Texto Estructurado IEC 61131-3.
• Taxonomía Estructurada: Introduce un conjunto de siete operadores de mutación específicos del dominio, adaptados a las características sintácticas y semánticas del software de PLC.
• Línea Base Reproducible: El conjunto de datos incluye los programas originales, los mutantes generados y las descripciones de las mutaciones, permitiendo la investigación reproducible en la generación de pruebas automatizadas y el análisis de fallos.
• Evaluación de Línea Base: Los autores proporcionan la primera línea base empírica para el análisis de mutación basado en LLM en este dominio, evaluando tres modelos (GPT-5.2, Gemini 2.5 y Claude Sonnet 4.5) en una tarea de dos fases: generar suites de pruebas unitarias y predecir los resultados de detección (kill) o supervivencia de la mutación.

Resultados Experimentales
El estudio evaluó la capacidad de las suites de pruebas generadas por LLM para detectar fallos inyectados:

• Rendimiento General: A través de los 108 mutantes retenidos, los modelos alcanzaron precisiones de detección de mutación del 86.1% (GPT-5.2), 94.4% (Gemini 2.5) y 86.1% (Claude Sonnet 4.5).
• Significancia Estadística: La prueba Q de Cochran confirmó diferencias de rendimiento significativas ($p=0.017$). El análisis post-hoc reveló que Gemini 2.5 superó significativamente a los otros dos modelos, mientras que GPT-5.2 y Claude Sonnet 4.5 se comportaron de manera equivalente.
• Hallazgos por Operador:
  • Los modelos lograron tasas de detección perfectas o casi perfectas en fallos de Aritmética (ARO, AOIO) e Inicialización (IO).
  • Reemplazo de Valor (VRO) y Comparación (CRO) fueron los tipos de fallo más prevalentes (70% del conjunto de datos) y fueron gestionados generalmente bien, aunque VRO fue la categoría más desafiante en general.
  • Limitaciones de Razonamiento Temporal: El rendimiento decayó significativamente en el programa SEQUENCE 8 (un secuenciador de 8 bits complejo con 211 LOC). Mientras que GPT-5.2 alcanzó una tasa de detección del 50%, Gemini 2.5 y Claude Sonnet 4.5 descendieron al 10%. Los autores atribuyen esto a la dificultad de los modelos para simular las transiciones de estado de múltiples ciclos requeridas para propagar los fallos en una lógica temporal profundamente anidada.

Significancia y Reivindicaciones
El artículo afirma que STMutants llena un vacío crítico en la investigación de la automatización industrial al proporcionar un benchmark estandarizado y reproducible para evaluar la adecuación de las pruebas en software de PLC. Los resultados demuestran que, si bien los LLM actuales son efectivos para generar suites de pruebas para fallos de valor y relacionales en programas ST, actualmente carecen de la fiabilidad necesaria para el razonamiento temporal complejo dependiente del estado. El conjunto de datos sirve como base para futuras investigaciones en generación de pruebas automatizadas, análisis de mutación, localización de fallos y desarrollo de sistemas de aseguramiento de calidad asistidos por IA para software de control industrial de seguridad crítica. Los autores enfatizan que el conjunto de datos está diseñado para apoyar una evaluación rigurosa y comparable, en lugar de pretender que las soluciones de IA actuales están totalmente listas para su despliegue en todos los escenarios de seguridad crítica.