MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases

Resumo Técnico: MR-Scout

1. O Problema

O Teste Metamórfico (Metamorphic Testing - MT) é uma abordagem promissora para resolver o "problema do oráculo" em testes de software, onde é difícil determinar o resultado esperado de uma entrada específica. O MT define oráculos baseados em Relações Metamórficas (MRs), que governam a relação entre múltiplas entradas relacionadas e suas saídas correspondentes.

No entanto, a adoção generalizada do MT é limitada pela dificuldade de projetar MRs, o que exige conhecimento específico de domínio e expertise humana. Abordagens existentes para inferir MRs automaticamente (baseadas em aprendizado de máquina, busca ou programação genética) frequentemente falham por serem limitadas a domínios específicos (ex: programas numéricos) ou por dependerem de especificações de software que nem sempre estão disponíveis.

O artigo observa que casos de teste escritos por desenvolvedores em projetos de código aberto (OSS) frequentemente codificam conhecimento de domínio que, implicitamente, representa MRs. O desafio é que essas MRs não são explícitas e não há diferença sintática entre um caso de teste que codifica uma MR e um que não codifica.

2. Metodologia: MR-Scout

O MR-Scout é uma abordagem automatizada proposta para descobrir e sintetizar MRs a partir de casos de teste existentes em projetos OSS. A ferramenta opera em três fases principais:

Fase 1: Descoberta de Casos de Teste Codificando MRs (MTC Discovery)
O sistema identifica casos de teste que possuem propriedades semânticas de uma MR, sem depender de rótulos explícitos. São definidas duas propriedades principais:

• P1 (Invocações de Método): O caso de teste deve conter pelo menos duas invocações de métodos da mesma classe (classe sob teste) com entradas distintas.
• P2 (Asserção de Relação): O caso de teste deve conter pelo menos uma asserção que valide uma relação entre as entradas e/ou saídas dessas invocações.
  O MR-Scout analisa estaticamente o código, filtrando classes internas e identificando padrões de asserção (como assertTrue com operadores numéricos ou assertEquals) que sugerem uma relação de saída.

Fase 2: Síntese de MRs (MR Synthesis)
Uma vez descobertos os casos de teste (MTCs), o sistema deduz os constituintes da MR e os codifica em métodos parametrizados, chamados de MRs Codificadas (Codified MRs).

• Dedução: Identifica a entrada original (source input), a entrada subsequente (follow-up input), a transformação de entrada (como text.setBold()) e a asserção de saída.
• Codificação: Transforma o caso de teste em um método Java parametrizado que aceita a entrada original como parâmetro. Isso remove declarações de entrada fixas e asserções irrelevantes (específicas de valores constantes), permitindo que a MR seja aplicada a novas entradas geradas automaticamente.

Fase 3: Filtragem de MRs (MR Filtering)
Para garantir a qualidade, o sistema filtra as MRs codificadas que não são aplicáveis a novas entradas (que gerariam falsos positivos).

• Utiliza o EvoSuite para gerar novas entradas válidas para cada MR codificada.
• Executa as MRs com essas novas entradas.
• Mantém apenas as MRs que passam em pelo menos 95% das entradas válidas, descartando aquelas que falham frequentemente (indicando baixa qualidade ou dependência excessiva de valores específicos).

3. Principais Contribuições

1. Primeira Abordagem Automatizada: O MR-Scout é a primeira ferramenta capaz de sintetizar automaticamente MRs a partir de casos de teste existentes, sem necessidade de especificações formais ou intervenção manual para definição de padrões.
2. Dataset de Grande Escala: Os autores criaram e disponibilizaram um dataset com mais de 11.000 casos de teste codificando MRs (MTCs) extraídos de 701 projetos OSS (Java).
3. Validação Empírica Rigorosa: Avaliação abrangente cobrindo precisão na descoberta, qualidade das MRs sintetizadas, utilidade na melhoria da adequação de testes e compreensibilidade para desenvolvedores.
4. Reprodutibilidade: Todo o artefato de pesquisa e dados experimentais foram publicados para facilitar a reprodução e estudos futuros.

4. Resultados Experimentais

Os experimentos foram conduzidos em 701 projetos Java e avaliados através de quatro questões de pesquisa (RQs):

• Precisão (RQ1): Ao analisar manualmente uma amostra de 164 casos, o MR-Scout demonstrou uma precisão de 97% na descoberta correta de MTCs, validando a confiabilidade do dataset gerado.
• Qualidade (RQ2): Das MRs codificadas sintetizadas e filtradas, 97,18% foram classificadas como de alta qualidade e aplicáveis a novas entradas geradas automaticamente, demonstrando a eficácia da fase de filtragem.
• Utilidade (RQ3): A integração de testes baseados em MRs codificadas com suites de testes existentes (escritas por desenvolvedores e geradas pelo EvoSuite) resultou em melhorias significativas na adequação dos testes:
  • Aumento de 13,52% na cobertura de linhas (line coverage).
  • Aumento de 9,42% no mutation score (pontuação de mutação).
  • Comparado apenas ao EvoSuite, houve um aumento de 82,8% no mutation score.
• Compreensibilidade (RQ4): Um estudo qualitativo com 5 participantes experientes revelou que entre 55,76% e 76,92% das MRs codificadas são facilmente compreendidas pelos desenvolvedores, indicando potencial para adoção prática em manutenção e migração de testes.

5. Significado e Impacto

O trabalho do MR-Scout representa um avanço significativo na automação de testes de software ao:

• Democratizar o Teste Metamórfico: Remove a barreira de entrada de alto conhecimento de domínio, permitindo que MRs sejam extraídas automaticamente do código existente.
• Melhorar a Detecção de Falhas: Demonstra que oráculos derivados de conhecimento de domínio (codificados em testes existentes) podem ser combinados com geração automática de entradas para criar suites de testes mais robustas do que as geradas puramente aleatoriamente ou por desenvolvedores sozinhos.
• Facilitar a Manutenção: Ao transformar testes específicos em MRs parametrizadas, o processo de manutenção e reutilização de oráculos de teste em programas com funcionalidades similares torna-se mais viável.

Em suma, o MR-Scout transforma o "conhecimento implícito" contido em testes unitários em ativos explícitos e reutilizáveis para a geração automática de testes, aumentando a eficácia da verificação de software.