PITMuS: A Tool for Automated Bug Dataset Generation via Source-Level Mutant Reconstruction

Resumo Técnico: PITMuS

Declaração do Problema
O surgimento da engenharia de software baseada em LLMs criou uma demanda crítica por artefatos de bugs executáveis e ricos em contexto. Esses artefatos — especificamente pares de código correto e com defeito, métodos sob teste (MUTs), documentação e metadados — são essenciais para treinar e avaliar técnicas automatizadas de localização de bugs, reparo e geração de testes. Embora existam benchmarks curados como o Defects4J, eles são estáticos, limitados em escopo e cada vez mais vulneráveis à contaminação de dados à medida que modelos de código são treinados em grandes corpora públicos.

Uma estratégia complementar envolve a geração de conjuntos de dados frescos e conscientes do corte de dados, selecionando versões reais de sistemas e injetando bugs controlados por meio de testes de mutação. No ecossistema Java, o PIT é a ferramenta de teste de mutação de última geração. No entanto, o PIT opera no nível de bytecode para velocidade e praticidade, relatando mutantes via metadados XML (tipo de mutador, arquivo fonte, número da linha, descrição) em vez de fornecer o código fonte mutado real. Esse design cria uma lacuna significativa: os usuários não podem inspecionar, reproduzir, compilar ou reutilizar facilmente mutantes do PIT como registros de conjunto de dados estruturados no nível de fonte. Além disso, reconstruir a edição exata do fonte a partir de um número de linha e uma descrição de mutação é não trivial, pois uma única linha de fonte pode conter múltiplos operadores candidatos (por exemplo, múltiplas adições), levando a ambiguidades que informações no nível de bytecode resolvem, mas ferramentas no nível de fonte frequentemente ignoram.

Metodologia
O PITMuS é uma ferramenta projetada para preencher essa lacuna, reconstruindo mutantes no nível de fonte a partir de relatórios padrão do PIT sem substituir o mecanismo de mutação subjacente. O fluxo de trabalho integra três entradas principais:

1. Relatório XML do PIT: Identifica os mutantes relatados.
2. Arquivos .class compilados: Fornecem informações de depuração e detalhes no nível de bytecode.
3. Arquivos de código fonte Java originais: Servem como base para a reconstrução.

A ferramenta opera em duas fases distintas:

• Fase 1: Geração Automatizada de Conjuntos de Dados
  O PITMuS analisa o relatório XML para extrair detalhes da mutação. Para resolver ambiguidades onde um número de linha e uma descrição não identificam unicamente um token de fonte, a ferramenta emprega uma abordagem híbrida:

  • Utiliza javalang para analisar o código fonte original e identificar tokens candidatos.
  • Se múltiplos candidatos existirem em uma linha, utiliza informações de bytecode do arquivo de classe compilado para apontar o alvo exato.
  • Uma vez identificado o token específico, a mutação é aplicada para reconstruir a instrução mutada.
  • A ferramenta então extrai o método envolvente, qualquer Javadoc precedente e metadados relevantes (ID do mutante, caminho do arquivo, índice de bytecode) para formar um registro estruturado: <método_original, método_mutado, documentação, metadados>.

• Fase 2: Injeção de Mutantes no Nível de Fonte
  Esta fase materializa os mutantes reconstruídos como arquivos de código fonte Java reais. O PITMuS copia o arquivo de fonte original, substitui a instrução alvo pela instrução mutada reconstruída preservando a indentação e valida o resultado usando tokenização javalang. A injeção pode ser realizada em quatro granularidades:

  • Nível de Mutação: Um mutante específico por ID.
  • Nível de Instrução: Todos os mutantes associados a uma instrução específica.
  • Nível de Classe: Todos os mutantes para uma classe selecionada.
  • Nível de Sistema: Todos os mutantes em todo o sistema.

Contribuições Principais
O artigo apresenta as seguintes contribuições:

1. Ferramenta PITMuS: Um sistema que reconstrói mutantes no nível de fonte a partir de relatórios padrão do PIT, permitindo a criação de conjuntos de dados estruturados contendo pares de código com defeito/corrigido e contexto de documentação.
2. Utilidades Duais: A provisão de ferramentas tanto para injeção de mutantes no nível de fonte (criando arquivos de fonte executáveis) quanto para construção de conjuntos de dados no nível de método (gerando registros estruturados para treinamento/avaliação).
3. Avaliação Empírica: Uma avaliação abrangente em oito sistemas Java de código aberto, demonstrando a capacidade da ferramenta de processar e reconstruir um grande volume de mutações.

Resultados
A avaliação foi conduzida em oito sistemas Java de código aberto diversos (incluindo commons-lang3, bcel e jsoup), cobrindo domínios desde engenharia de bytecode até análise de HTML.

• Escala: O PITMuS processou 69.229 mutações do PIT em 1.913 arquivos de fonte.
• Taxa de Reconstrução: A ferramenta reconstruiu com sucesso 69.198 pares de métodos original-mutado alinhados, alcançando uma taxa de sucesso de 99,96%.
• Contexto de Documentação: 45.913 (66,35%) dos pares reconstruídos incluíram Javadoc não vazio, preservando o contexto de documentação crucial para o treinamento de LLMs.
• Desempenho dos Operadores: Seis operadores de mutação (VoidMethodCall, NullReturns, TrueReturns, FalseReturns, Increments, InvertNegatives) alcançaram 100% de reconstrução. Os operadores restantes mantiveram taxas acima de 99,69%. A maior taxa de falha foi observada em RemoveConditionals (14 falhas em 35.739).
• Análise de Falhas: As 31 mutações não reconstruídas (taxa de falha < 0,05%) foram atribuídas a incompatibilidades de posição no fonte. Essas ocorreram tanto quando múltiplos mutantes no nível de bytecode mapeavam para a mesma edição de fonte (levando à evitação de duplicatas) quanto quando mutações ocorriam em expressões de múltiplas linhas onde o número de linha relatado diferia da linha real do operador.

Significado
O artigo afirma que o PITMuS atende a uma necessidade crítica para pesquisadores e desenvolvedores que requerem pares de código original-mutado alinhados e contexto de documentação sem processamento manual. Ao converter artefatos de mutação padrão, no nível de relatório, em exemplos utilizáveis no nível de fonte, o PITMuS:

• Reduz o esforço necessário para construir conjuntos de dados baseados em mutação.
• Torna os mutantes do PIT acessíveis a usuários que precisam de representações no nível de fonte para estudos empíricos, treinamento de modelos e avaliação de ferramentas.
• Fornece uma estratégia escalável e consciente do corte de dados para gerar conjuntos de dados frescos, mitigando os riscos de contaminação associados a benchmarks estáticos na era dos LLMs.

Os autores enfatizam que, embora avaliado em sistemas específicos, a ferramenta é aplicável a qualquer sistema Java onde o PIT possa ser integrado. O código e os artefatos são lançados como open source sob a licença Apache 2.0.