STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation

Resumo Técnico: STMutants

Definição do Problema
O teste de mutação é uma técnica estabelecida para avaliar a eficácia de suítes de teste, fundamentada na Hipótese do Programador Competente e no Efeito de Acoplamento. Embora amplamente aplicada a linguagens convencionais como C, Java e Python, existe uma lacuna crítica no domínio da Automação Industrial. Especificamente, os programas em Texto Estruturado (ST) da norma IEC 61131-3, que controlam Controladores Lógicos Programáveis (CLPs) de segurança crítica, carecem de um conjunto de dados de referência (benchmark) público e reproduzível para pesquisa baseada em mutação. A ausência de tal conjunto de dados dificulta a avaliação sistemática de ferramentas de teste automatizadas e das capacidades emergentes de Grandes Modelos de Linguagem (LLMs) para software de CLP, onde falhas podem levar a danos nos equipamentos, perda de produção ou danos físicos.

Metodologia
Os autores apresentam o STMutants, um conjunto de dados curado construído através de uma metodologia rigorosa de quatro fases:

1. Perfil de Tipo de Falha e Seleção de Operadores: Onze programas ST foram selecionados da biblioteca básica OSCAT e de fontes acadêmicas (Koziolek et al.), cobrindo diversas categorias funcionais (Lógica, Controle, Sinal, etc.) e variando de 38 a 211 linhas de código. Sete categorias de operadores de mutação foram definidas e adaptadas de taxonomias clássicas para se adequarem ao domínio ST:
   • Substituição de Valor (VRO): Modificação de constantes (numéricas, booleanas, tempo).
   • Operador de Comparação/Relacional (CRO): Alteração de condições de contorno (ex: < para ≤).
   • Substituição Aritmética (ARO): Mudança de operadores aritméticos (ex: + para -).
   • Inserção/Omissão de Negação (NIO): Inversão de lógica booleana.
   • Operador Lógico (LRO): Troca de conectivos booleanos (ex: AND para OR).
   • Inserção/Omissão de Operação Aritmética (AOIO): Adição ou remoção de etapas aritméticas.
   • Inicialização (IO): Alteração de valores padrão de variáveis.
2. Transformação Sintática: Um total de 110 mutantes de primeira ordem (10 por programa) foram gerados aplicando substituições atômicas únicas de tokens.
3. Verificação de Compilabilidade: Todos os mutantes foram compilados usando o MATIEC, um ambiente padrão compatível com a norma IEC 61131-3, para garantir validade sintática e de nível de tipo.
4. Triagem de Equivalência: Um processo de duas etapas eliminou mutantes equivalentes (aqueles que não alteram o comportamento do programa). Isso incluiu uma pré-triagem estática para código morto e atribuições redundantes, seguida por uma revisão dupla independente por dois especialistas. O acordo inter-avaliadores foi forte ($\kappa = 0,87$). Dois mutantes do programa FLOW METER foram excluídos por serem não-observáveis por testes, resultando em um conjunto final de 108 mutantes retidos.

Principais Contribuições

• Primeiro Benchmark Público: O STMutants é o primeiro conjunto de dados de teste de mutação publicamente disponível especificamente para programas de Texto Estruturado IEC 61131-3.
• Taxonomia Estruturada: Introduz um conjunto de sete operadores de mutação específicos para o domínio, adaptados às características sintáticas e semânticas de software de CLP.
• Linha de Base Reproduzível: O conjunto de dados inclui os programas originais, os mutantes gerados e as descrições de mutação, permitindo pesquisa reproduzível em geração de testes automatizados e análise de falhas.
• Avaliação de Linha de Base: Os autores fornecem a primeira linha de base empírica para análise de mutação baseada em LLM neste domínio, avaliando três modelos (GPT-5.2, Gemini 2.5 e Claude Sonnet 4.5) em uma tarefa de duas fases: gerar suítes de testes unitários e prever resultados de morte/sobrevivência de mutação.

Resultos Experimentais
O estudo avaliou a capacidade das suítes de teste geradas por LLM para detectar falhas injetadas:

• Desempenho Geral: Através dos 108 mutantes retidos, os modelos alcançaram acurácias de detecção de mutação de 86,1% (GPT-5.2), 94,4% (Gemini 2.5) e 86,1% (Claude Sonnet 4.5).
• Significância Estatística: O teste Q de Cochran confirmou diferenças de desempenho significativas ($p=0,017$). A análise post-hoc revelou que o Gemini 2.5 superou significativamente os outros dois modelos, enquanto o GPT-5.2 e o Claude Sonnet 4.5 apresentaram desempenho equivalente.
• Descobertas Específicas por Operador:
  • Os modelos alcançaram taxas de morte perfeitas ou quase perfeitas em falhas de Aritmética (ARO, AOIO) e Inicialização (IO).
  • Substituição de Valor (VRO) e Comparação (CRO) foram os tipos de falha mais prevalentes (70% do conjunto de dados) e foram geralmente bem gerenciados, embora o VRO tenha permanecido como a categoria mais desafiadora no geral.
  • Limitações de Raciocínio Temporal: O desempenho degradou significativamente no programa SEQUENCE 8 (um sequenciador de 8 bits complexo com 211 LOC). Enquanto o GPT-5.2 alcançou 50% de taxa de morte, o Gemini 2.5 e o Claude Sonnet 4.5 caíram para 10%. Os autores atribuem isso à dificuldade dos modelos em simular transições de estado de múltiplos ciclos necessárias para propagar falhas em lógicas temporais profundamente aninhadas.

Significância e Alegações
O artigo afirma que o STMutants preenche um vazio crítico na pesquisa de automação industrial ao fornecer um benchmark padronizado e reproduzível para avaliar a adequação de testes em software de CLP. Os resultados demonstram que, embora os LLMs atuais sejam eficazes na geração de suítes de teste para falhas de valor e relacionais em programas ST, eles atualmente carecem da confiabilidade necessária para o raciocínio temporal dependente de estado complexo. O conjunto de dados serve como base para pesquisas futuras em geração de testes automatizados, análise de mutação, localização de falhas e desenvolvimento de sistemas de garantia de qualidade assistidos por IA para software de controle industrial de segurança crítica. Os autores enfatizam que o conjunto de dados foi projetado para apoiar uma avaliação rigorosa e comparável, em vez de alegar que as soluções de IA atuais estão totalmente prontas para implantação em todos os cenários de segurança crítica.