MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases

1. El Problema

El Prueba Metamórfica (Metamorphic Testing - MT) es una técnica poderosa para abordar el "problema del oráculo" en la generación automática de pruebas. Funciona definiendo relaciones (Relaciones Metamórficas o MR) entre múltiples entradas relacionadas y sus salidas correspondientes, en lugar de requerir el valor exacto de salida esperado para una sola entrada.

Sin embargo, la adopción generalizada de MT se ve obstaculizada por la dificultad de diseñar MRs manualmente, lo cual requiere un conocimiento profundo del dominio específico. Los enfoques existentes para identificar MRs (basados en especificaciones o patrones predefinidos) suelen tener un bajo grado de automatización o están limitados a dominios específicos (como programas numéricos). Además, no existen estudios previos que exploren la síntesis automática de MRs a partir de los casos de prueba escritos por desarrolladores en proyectos de software de código abierto (OSS), los cuales ya contienen conocimiento del dominio codificado implícitamente.

2. Metodología: MR-Scout

El artículo propone MR-Scout, un enfoque automatizado en tres fases para descubrir y sintetizar MRs a partir de casos de prueba existentes en proyectos OSS. La premisa central es que los casos de prueba escritos por desarrolladores a menudo encierran MRs que pueden ser extraídos y reutilizados.

Fase 1: Descubrimiento de Casos de Prueba Codificados con MR (MTC Discovery)

MR-Scout analiza estáticamente los casos de prueba para identificar aquellos que cumplen con dos propiedades principales que caracterizan una MR:

1. Invocaciones de Métodos (P1): El caso de prueba debe contener al menos dos invocaciones a métodos de la misma clase (la clase bajo prueba) con dos entradas distintas.
2. Aserción de Relación (P2): El caso de prueba debe contener al menos una aserción que valide una relación entre las entradas y/o salidas de esas invocaciones.

El sistema utiliza patrones de aserciones (como assertTrue con operadores numéricos o assertEquals) para identificar relaciones de salida implícitas, diferenciándolas de simples comprobaciones de valores individuales.

Fase 2: Síntesis de MR (MR Synthesis)

Una vez identificados los MTCs, MR-Scout deduce los constituyentes de la MR codificada:

• Entrada Fuente y de Seguimiento: Identifica la transformación de entrada (cómo se genera la segunda entrada a partir de la primera o su salida).
• Codificación: Convierte la lógica del caso de prueba en un método parametrizado (llamado Codified MR).
  • La entrada original se convierte en un parámetro del método.
  • Se eliminan las declaraciones de entrada "hardcoded" y las aserciones irrelevantes (específicas de un valor concreto).
  • El resultado es un método reutilizable que, al recibir una nueva entrada, ejecuta la transformación, obtiene las salidas y valida la relación.

Fase 3: Filtrado de MR (MR Filtering)

Para asegurar la calidad, MR-Scout utiliza una herramienta de generación de pruebas (EvoSuite) para generar nuevas entradas válidas y ejecutar los Codified MRs.

• Criterio de Calidad: Una MR se considera de alta calidad si es aplicable y no genera falsas alarmas en al menos el 95% de las entradas válidas generadas.
• Las MRs que fallan en este criterio (por ejemplo, debido a precondiciones complejas no manejadas o entradas inválidas) se descartan.

3. Contribuciones Clave

1. MR-Scout: Es el primer enfoque que sintetiza automáticamente Relaciones Metamórficas a partir de casos de prueba existentes.
2. Dataset Masivo: Se ha liberado un conjunto de datos con más de 11,000 MTCs descubiertos en 701 proyectos OSS, sirviendo como recurso valioso para futuras investigaciones en inferencia de MRs y MT automatizado.
3. Evaluación Exhaustiva: Se evaluó la precisión, calidad, utilidad y comprensibilidad de las MRs sintetizadas mediante experimentos cuantitativos y un estudio cualitativo.
4. Herramienta Abierta: Se ha hecho público el artefacto de investigación y todos los datos experimentales para facilitar la reproducibilidad.

4. Resultados Experimentales

Los experimentos se centraron en cuatro preguntas de investigación (RQ):

• Precisión (RQ1): De una muestra aleatoria de 164 casos, 97% fueron verdaderos positivos, confirmando que MR-Scout descubre correctamente casos que poseen las propiedades de una MR.
• Calidad (RQ2): El 97.18% de las MRs codificadas y filtradas demostraron ser de alta calidad y aplicables a nuevas entradas generadas automáticamente, validando la eficacia de la fase de filtrado.
• Utilidad (RQ3): Al integrar las pruebas basadas en MRs codificadas con suites de pruebas existentes (escritas por desarrolladores o generadas por EvoSuite), se observaron mejoras significativas en la adecuación de las pruebas:
  • Cobertura de Líneas: Aumento del 13.52% sobre las pruebas de desarrolladores.
  • Puntuación de Mutación (Mutation Score): Aumento del 9.42% sobre las pruebas de desarrolladores y un 82.8% sobre las pruebas generadas por EvoSuite.
• Comprensibilidad (RQ4): En un estudio cualitativo con cinco expertos, entre el 55.76% y el 76.92% de las MRs codificadas fueron calificadas como fáciles o muy fáciles de entender, lo que sugiere su viabilidad para la adopción práctica por parte de desarrolladores.

5. Significado e Impacto

El trabajo de MR-Scout es significativo porque democratiza el uso de la Prueba Metamórfica. Al automatizar la extracción de MRs de la base de código existente, elimina la barrera de entrada del conocimiento experto necesario para diseñar MRs manualmente.

• Reutilización de Conocimiento: Transforma el conocimiento del dominio implícito en los tests actuales en oráculos explícitos y reutilizables.
• Mejora de la Calidad del Software: Demuestra que combinar MRs sintetizadas con generadores de pruebas automáticos mejora sustancialmente la capacidad de detección de fallos y la cobertura de pruebas.
• Escalabilidad: La capacidad de procesar miles de proyectos OSS y extraer miles de MRs sugiere que esta técnica es escalable y aplicable a grandes bases de código en la industria.

En resumen, MR-Scout cierra la brecha entre la teoría de la prueba metamórfica y su aplicación práctica masiva, ofreciendo una vía automatizada para enriquecer las suites de pruebas existentes con oráculos inteligentes derivados del propio código.