MR-Adopt: Automatic Deduction of Input Transformation Function for Metamorphic Testing

Título: MR-Adopt: Dedução Automática de Função de Transformação de Entrada para Teste Metamórfico

1. O Problema

O Teste Metamórfico (MT) é uma técnica poderosa que valida o comportamento de um sistema sob teste (SUT) através de Relações Metamórficas (MRs). Uma MR define como uma entrada de teste (entrada fonte) deve ser transformada em uma entrada subsequente (entrada de acompanhamento) e qual relação deve existir entre as suas saídas.

Recentes estudos revelaram que muitos desenvolvedores codificam MRs diretamente em casos de teste existentes. No entanto, mais de 70% desses casos de teste codificados (MTCs) apresentam um problema crítico: eles hard-code (fixam manualmente) os valores de entrada fonte e de acompanhamento, sem incluir uma função de transformação de entrada explícita.

• Consequência: Sem essa função de transformação, as MRs codificadas não podem ser reutilizadas automaticamente com novas entradas geradas por ferramentas de teste. Isso limita a adequação do teste e impede a automação completa do Teste Metamórfico.
• Desafio: O objetivo é inferir automaticamente a lógica de transformação (a função que converte a entrada fonte na entrada de acompanhamento) a partir de um único par de entradas fixas e do contexto do teste, evitando o overfitting (ajuste excessivo ao exemplo único) e gerando código generalizável.

2. Metodologia: MR-Adopt

O MR-Adopt é uma abordagem baseada em Modelos de Linguagem de Grande Escala (LLMs) projetada para deduzir automaticamente funções de transformação de entrada a partir de MTCs existentes. O sistema opera em um pipeline de duas fases, combinando geração, refinamento e validação.

Fase 1: Preparação de Pares de Entrada (Input Pair Preparation)
O objetivo é gerar exemplos adicionais para guiar o LLM e mitigar o problema de poucos exemplos (few-shot learning).

1. Geração de Pares: O LLM é instruído a raciocinar analogicamente sobre o par de entrada hard-coded e o contexto do teste (métodos sob teste e asserções de saída) para gerar novos pares de (entrada fonte, entrada de acompanhamento) que sigam a mesma relação implícita.
2. Refinamento (Data-Flow Analysis): Os LLMs frequentemente geram código irrelevante ou com erros (ex: asserções incorretas dentro da definição de entrada). O MR-Adopt utiliza análise de fluxo de dados para construir um grafo de dependência, extraindo apenas as instruções necessárias para construir as variáveis de entrada e removendo código irrelevante.
3. Validação: Os pares gerados são executados no SUT. Se as saídas satisfizerem as asserções de saída (a relação de saída da MR, que já está codificada corretamente pelo desenvolvedor), o par é considerado válido. Pares inválidos são descartados.

Fase 2: Geração de Transformação (Transformation Generation)

1. Geração de Função: Com base nos pares originais e nos pares adicionais validados da Fase 1, o LLM é solicitado a gerar uma função de transformação de entrada (código Java) que generalize a lógica observada.
2. Refinamento de Código: Similar à Fase 1, o código gerado é refinado via análise de fluxo de dados para remover chamadas de APIs inexistentes ou dependências incorretas. Dependências de bibliotecas são automaticamente importadas.
3. Avaliação (Assessment): Várias candidatas a funções de transformação são testadas contra um conjunto de novas entradas fonte. A função que consegue gerar entradas de acompanhamento válidas para o maior número de entradas (maior generalização) é selecionada como o resultado final.

3. Contribuições Principais

• Pioneirismo: É o primeiro trabalho a gerar automaticamente funções de transformação de entrada para MRs codificadas em casos de teste existentes.
• Abordagem Híbrida (LLM + Análise Estática): Propõe o MR-Adopt, que não depende apenas da geração bruta do LLM. Ele integra:
  • Geração de exemplos adicionais para evitar overfitting.
  • Refinamento baseado em análise de fluxo de dados para eliminar código defeituoso/irrelevante.
  • Validação baseada nas relações de saída (asserções) para selecionar a transformação mais generalizável.
• Dataset e Reproducibilidade: Criaram e disponibilizaram um conjunto de dados com 100 MTCs codificados (datados após abril de 2023 para evitar vazamento de dados de treinamento dos LLMs) e seus respectivos ground truths.

4. Resultados Experimentais

O MR-Adopt foi avaliado em 100 casos de teste codificados, comparado com a abordagem de prompting direto (vanilla) de LLMs (GPT-3.5, Llama3, Deepseek).

• Generalização: O MR-Adopt conseguiu gerar transformações de entrada aplicáveis a 100% das entradas fonte preparadas para 72% dos MRs codificados. Isso representa um aumento de 33,33% em comparação com o uso direto do GPT-3.5.
• Compilabilidade: Gerou transformações compiláveis para 95 dos 100 casos (95%), superando as abordagens diretas em 17,28%.
• Geração de Entradas de Acompanhamento: Ao usar as transformações geradas, o sistema produziu entradas de acompanhamento válidas para 91,21% das entradas fonte, uma melhoria de mais de 122% em relação ao GPT-3.5 puro.
• Adequação do Teste (Test Adequacy): A integração das MRs generalizadas (com as novas transformações) com novas entradas fonte resultou em:
  • Aumento de 10,62% na cobertura de linhas (Line Coverage).
  • Aumento de 18,91% no escore de mutação (Mutation Score).
• Estudo de Ablação: Demonstrou que todas as três componentes (pares de entrada adicionais, refinamento e validação) contribuem para o desempenho, sendo a validação e os pares adicionais os fatores mais impactantes.

5. Significado e Impacto

O MR-Adopt resolve uma barreira significativa na automação do Teste Metamórfico. Ao transformar MRs "mudas" (com entradas fixas) em MRs "ativas" (com funções de transformação reutilizáveis), ele permite que:

1. O conhecimento de domínio existente nos testes dos desenvolvedores seja reutilizado em escala.
2. Ferramentas de geração automática de testes (como EvoSuite ou Randoop) possam ser integradas a oráculos de alta qualidade (as MRs) para testar comportamentos complexos que seriam difíceis de validar com oráculos tradicionais.
3. A adequação do teste seja significativamente melhorada, detectando mais falhas (mutações) e cobrindo mais código, especialmente em programas onde a definição de saída esperada é difícil ou impossível (problema do oráculo).

Em suma, o trabalho demonstra que a combinação de LLMs com técnicas clássicas de análise de software (fluxo de dados e validação de oráculos) pode superar as limitações de geração de código pura, tornando o Teste Metamórfico uma prática mais viável e eficaz para a indústria de software.