MR-Coupler: Automated Metamorphic Test Generation via Functional Coupling Analysis

1. O Problema

O Teste Metamórfico (Metamorphic Testing - MT) é uma técnica poderosa para resolver o "problema do oráculo" em testes de software, onde é difícil ou impossível determinar a saída correta de um programa para uma entrada específica. Em vez disso, o MT verifica relações entre múltiplas execuções (relações de entrada e saída) definidas por Relações Metamórficas (MRs).

No entanto, a adoção prática do MT é limitada por um gargalo crítico: a dificuldade de construir MRs eficazes. A criação manual de MRs exige conhecimento específico de domínio, que muitas vezes é escasso ou difícil de obter. Abordagens anteriores para automatizar essa tarefa dependem de:

• Esforço manual significativo.
• Cenários específicos de teste de regressão.
• Domínios restritos.
• Especificações de alta qualidade (que raramente existem).
• Testes existentes (que são raros, representando apenas ~1% dos casos de teste em projetos reais).

A falta de metodologias automáticas que não dependam de conhecimento externo difícil de obter impede a adoção generalizada do MT.

2. Metodologia: MR-Coupler

O MR-Coupler é uma abordagem totalmente automatizada que gera Casos de Teste Metamórficos (MTCs) diretamente a partir do código-fonte, explorando o acoplamento funcional entre métodos. A premissa central é que pares de métodos funcionalmente acoplados (ex: encrypt e decrypt, ou insert e get) podem formar a base para a construção de MRs.

O processo ocorre em três fases principais:

Fase 1: Identificação de Métodos Acoplados (Coupling Analysis)

Para evitar a enumeração cega e cara de todos os pares de métodos possíveis, o MR-Coupler utiliza três características de acoplamento funcional para identificar pares candidatos relevantes:

1. Comunidade de Assinatura (Signature Commonality): Analisa nomes de métodos, tipos de parâmetros e tipos de retorno para identificar intenções relacionadas (ex: sobrecarga, funções inversas ou produtoras/consumidoras do mesmo tipo de dado).
2. Chamada de Função (Function Call): Verifica dependências diretas (um método chama o outro) ou chamadas compartilhadas (ambos chamam a mesma API), indicando composição ou especialização.
3. Interação de Estado (State Interaction): Analisa a leitura e escrita de campos de classe compartilhados, indicando dependência de dados ou estado.

Fase 2: Geração de MTCs (MTC Generation)

Utiliza Modelos de Linguagem de Grande Escala (LLMs) para gerar os casos de teste concretos. Para mitigar alucinações e garantir a sintaxe correta:

• O sistema fornece ao LLM o código dos métodos acoplados, as características de acoplamento identificadas e exemplos reais de invocação extraídos do código de teste do projeto.
• Um modelo de prompt estruturado guia o LLM a criar um esqueleto de teste que segue as etapas do MT (entrada original, transformação, execução, verificação).
• Uma etapa de refinamento corrige erros de compilação ou execução (ex: importações faltantes) analisando mensagens de erro e ajustando o código.

Fase 3: Amplificação e Validação (Amplification and Validation)

Esta fase serve para validar a correção dos MTCs gerados e aumentar sua capacidade de detecção de bugs:

• Amplificação de Entrada: O LLM gera novas entradas de teste (valores de fronteira, dados aleatórios, caracteres especiais) para aplicar a mesma MR, exercitando um comportamento mais diversificado do programa.
• Validação por Análise de Mutação: Como não há um "ground truth" (resposta correta) conhecido, o sistema cria mutantes do programa original (injetando falhas artificiais). Um MTC válido deve passar na versão original com uma taxa maior (ou igual a 100%) do que nos mutantes. Se um MTC falhar na versão original ou passar igualmente nos mutantes, ele é filtrado como falso alarme.

3. Contribuições Principais

1. Nova Abordagem de Acoplamento: É a primeira técnica a construir MRs explorando sistematicamente o acoplamento funcional entre métodos dentro de uma classe, eliminando a dependência de conhecimento externo ou testes existentes.
2. Pipeline Automatizado Completo: O MR-Coupler gera MTCs executáveis, refina-os e valida-os automaticamente, sem intervenção humana.
3. Mecanismo de Validação Inovador: Utiliza análise de mutação combinada com amplificação de entrada para filtrar falsos positivos gerados por LLMs, reduzindo a carga de trabalho dos desenvolvedores.
4. Recursos Públicos: O código-fonte, os dados experimentais e o conjunto de dados de MTCs escritos por humanos e bugs reais foram disponibilizados para a comunidade.

4. Resultados da Avaliação

O MR-Coupler foi avaliado em 100 tarefas (métodos-alvo com MTCs humanos) e 50 bugs reais do mundo real:

• Validade dos Testes: Gerou MTCs válidos para mais de 90% das tarefas. Comparado a baselines (LLMs sem o contexto de acoplamento), houve uma melhoria de 64,90% na geração de MTCs válidos.
• Redução de Falsos Alarmes: A taxa de falsos alarmes foi reduzida em 36,56% graças ao mecanismo de validação por mutação.
• Detecção de Bugs: Os MTCs gerados detectaram 44% (22 de 50) dos bugs reais do mundo real originalmente descobertos por testes metamórficos humanos.
• Similaridade com Humanos: O sistema alcançou 90% de consistência nos "esqueletos de MR" (pares de métodos e relações de entrada/saída) em comparação com testes escritos por humanos, demonstrando que consegue mimetizar as práticas dos desenvolvedores.
• Estudo de Ablação: A remoção da análise de acoplamento reduziu a taxa de bugs detectados em 56%, e a remoção da validação por mutação aumentou os falsos alarmes em mais de 70%, provando a eficácia de cada componente.
• Custo: O custo médio por método-alvo variou de $0,09 a$0,40 (dependendo do LLM), sendo comparável a outras abordagens de geração de testes baseadas em LLM.

5. Significado e Impacto

O MR-Coupler representa um avanço significativo na automação de testes de software ao:

• Democratizar o Teste Metamórfico: Torna a técnica acessível para qualquer projeto de software, independentemente da disponibilidade de especificações formais ou testes existentes.
• Superar Limitações de Domínio: Ao focar no código e no acoplamento estrutural, funciona de forma agnóstica ao domínio (funciona em criptografia, processamento de dados, etc.).
• Integração com IA: Demonstra como LLMs podem ser guiados por contexto estrutural (acoplamento) e exemplos reais para superar alucinações e gerar código de teste confiável.
• Complementaridade: O trabalho mostra que o MR-Coupler complementa técnicas anteriores (como o MR-Scout), sendo capaz de operar em cenários onde não existem testes pré-existentes.

Em resumo, o MR-Coupler oferece um caminho prático e eficaz para automatizar a construção de oráculos de teste complexos, potencialmente transformando a maneira como o software é validado em sistemas modernos onde a saída correta é difícil de prever.