Exploring the Potential of Large Language Models in Simulink-Stateflow Mutant Generation

1. Problema e Motivação

A análise de mutação é uma técnica robusta para avaliar a adequação de conjuntos de testes, inserindo falhas artificiais (mutantes) no código para verificar se os testes conseguem detectá-las. No entanto, métodos convencionais enfrentam desafios significativos:

• Geração de Mutantes Inúteis: Muitos mutantes são redundantes, equivalentes (comportamento idêntico ao original) ou não executáveis.
• Complexidade de Simulink-Stateflow: Diferente do código fonte tradicional, os modelos Simulink-Stateflow integram dinâmicas contínuas com comportamentos de eventos discretos e possuem uma estrutura hierárquica complexa.
• Limitações Atuais: Abordagens baseadas em regras (operadores manuais) geram muitos mutantes triviais. Abordagens anteriores de Machine Learning (ML) foram limitadas pela escassez de dados de treinamento e qualidade, frequentemente produzindo mutantes sintaticamente incorretos ou irrealistas.

O artigo investiga se os Modelos de Linguagem de Grande Escala (LLMs), com sua capacidade de raciocínio semântico e treinamento em grandes volumes de dados de código, podem superar essas limitações na geração de mutantes de alta qualidade para sistemas ciber-físicos (CPS).

2. Metodologia

Os autores desenvolveram um pipeline automatizado para a geração de mutantes, estruturado da seguinte forma:

• Conversão para JSON: O modelo Simulink-Stateflow original é parseado e convertido em uma representação estruturada em JSON, capturando Estados, Transições e Junções.
• Geração de Prompts: Um gerador de prompts cria instruções para o LLM baseadas em um template padronizado. O prompt inclui:
  • Contexto: O modelo em JSON e exemplos de mutações (Few-Shot).
  • Dados de Entrada: O elemento específico a ser mutado e o número de mutantes desejados.
  • Requisitos de Saída: Formato JSON estrito e restrições (ex: não mutar nomes ou posições).
  • Instrução: Comando claro para gerar os mutantes.
• Estratégias de Mutação:
  • Global: O LLM tem acesso total ao modelo e pode alterar qualquer componente.
  • Local: O LLM é instruído a mutar apenas um elemento específico pré-selecionado (ex: uma transição específica).
• Processamento de Resposta: O LLM retorna mutantes em JSON, que são então convertidos de volta para modelos Simulink válidos por um parser.
• Avaliação Empírica:
  • Modelos: 8 LLMs de ponta (incluindo GPT-3.5, GPT-4o, Llama 3, Mistral, Gemma, etc.).
  • Casos de Estudo: 4 sistemas Simulink-Stateflow variados (Porta, Geladeira, Elevador, Marcapasso).
  • Escala: 38.400 mutantes gerados.
  • Métricas: Taxa de geração, taxa de compilação, taxa de duplicação, taxa de mutantes equivalentes, qualidade do mutante (capacidade de ser detectado por testes específicos), tempo e custo.

3. Contribuições Principais

1. Avaliação Abrangente de LLMs: Primeira avaliação sistemática de 8 LLMs (abertos e fechados) na geração de mutantes para modelos Simulink-Stateflow.
2. Pipeline Automatizado: Desenvolvimento de uma ferramenta de código aberto que converte modelos para JSON, aplica prompts e reconstrói os modelos mutados.
3. Análise de Estratégias: Comparação detalhada entre estratégias de mutação (Global vs. Local) e técnicas de prompting (Zero-Shot vs. Few-Shot).
4. Identificação de Falhas: Classificação das causas raiz de erros de geração e compilação, fornecendo diretrizes para validação futura.
5. Reprodutibilidade: Disponibilização do código fonte e do conjunto de dados completo de mutantes no GitHub.

4. Resultados Chave

• Eficiência e Velocidade: Os LLMs foram até 13 vezes mais rápidos que a abordagem baseada em regras (baseline) para gerar mutantes.
• Qualidade Superior:
  • Os LLMs produziram significativamente menos mutantes duplicados e equivalentes em comparação com o baseline (ex: redução da taxa de duplicação de 0,67 para 0,31 no caso "Porta").
  • A qualidade geral dos mutantes foi superior, indicando que os LLMs criam falhas mais realistas e diversas que desafiam melhor os testes.
• Impacto das Estratégias:
  • Mutação Global: Ofereceu maior taxa de gerabilidade e compilação (mutantes sintaticamente corretos), pois o LLM consegue manter dependências estruturais do modelo inteiro.
  • Mutação Local: Reduziu drasticamente a duplicação e mutantes equivalentes, aumentando a diversidade, mas exigiu mais tempo de processamento para preparar o prompt.
  • Recomendação: A escolha da estratégia depende do modelo LLM (ex: GPT-4o e Llama 3 funcionaram melhor com Global; GPT-3.5 e Mistral com Local).
• Impacto do Prompting:
  • Few-Shot Prompting (com exemplos) superou consistentemente o Zero-Shot em todas as métricas.
  • O uso de temperatura baixa a média (0,2 a 0,7) produziu os mutantes mais confiáveis e de maior qualidade. Temperaturas altas aumentaram a diversidade, mas também a taxa de erros sintáticos e mutantes equivalentes.
• Causas de Erros (RQ5): As principais falhas na geração foram identificadas como: 1) Referências inválidas a elementos do modelo, 2) Transições com fontes/destinos incorretos, 3) Variáveis indefinidas e 4) Erros de sintaxe.

5. Significado e Conclusão

Este trabalho demonstra que os LLMs são uma ferramenta viável e superior para a geração de mutantes em modelos de sistemas ciber-físicos complexos (Simulink-Stateflow). Ao superar as limitações das abordagens baseadas em regras, os LLMs oferecem:

• Redução de Custos: Geração mais rápida e menos mutantes inúteis para serem executados.
• Melhoria na Qualidade de Teste: Mutantes mais realistas que melhoram a avaliação da adequação dos testes.
• Diretrizes Práticas: O estudo fornece parâmetros otimizados (ex: Few-Shot com temperatura 0,4-0,6) para pesquisadores e engenheiros que desejam adotar essa técnica.

Em suma, a pesquisa valida que a combinação de LLMs com pipelines de conversão estruturada é um avanço significativo para a engenharia de software de sistemas críticos, permitindo uma análise de mutação mais escalável e eficaz.