PITMuS: A Tool for Automated Bug Dataset Generation via Source-Level Mutant Reconstruction

Resumen Técnico: PITMuS

Enunciado del Problema
El auge de la ingeniería de software basada en LLM ha creado una demanda crítica de artefactos de errores ejecutables y ricos en contexto. Estos artefactos —específicamente pares de código correcto y erróneo, métodos bajo prueba (MUTs), documentación y metadatos— son esenciales para entrenar y evaluar técnicas automatizadas de localización de errores, reparación y generación de pruebas. Aunque existen benchmarks curados como Defects4J, estos son estáticos, limitados en alcance y cada vez más vulnerables a la contaminación de datos a medida que los modelos de código se entrenan con grandes corpus públicos.

Una estrategia complementaria implica generar conjuntos de datos frescos y conscientes de la fecha de corte seleccionando versiones reales de sistemas e inyectando errores controlados mediante pruebas de mutación. En el ecosistema Java, PIT es la herramienta de pruebas de mutación más avanzada en la práctica. Sin embargo, PIT opera a nivel de bytecode por velocidad y practicidad, informando sobre los mutantes mediante metadatos XML (tipo de mutador, archivo fuente, número de línea, descripción) en lugar de proporcionar el código fuente mutado real. Este diseño crea una brecha significativa: los usuarios no pueden inspeccionar, reproducir, compilar o reutilizar fácilmente los mutantes de PIT como registros de conjunto de datos estructurados a nivel de fuente. Además, reconstruir la edición exacta del fuente a partir de un número de línea y una descripción de mutación no es trivial, ya que una sola línea de fuente puede contener múltiples operadores candidatos (por ejemplo, múltiples sumas), lo que genera ambigüedad que la información a nivel de bytecode resuelve pero que las herramientas a nivel de fuente a menudo pasan por alto.

Metodología
PITMuS es una herramienta diseñada para cerrar esta brecha reconstruyendo mutantes a nivel de fuente a partir de informes estándar de PIT sin reemplazar el motor de mutación subyacente. El flujo de trabajo integra tres entradas principales:

1. Informe XML de PIT: Identifica los mutantes reportados.
2. Archivos .class compilados: Proporcionan información de depuración y detalles a nivel de bytecode.
3. Archivos fuente Java originales: Sirven como base para la reconstrucción.

La herramienta opera en dos fases distintas:

• Fase 1: Generación Automatizada de Conjuntos de Datos
  PITMuS analiza el informe XML para extraer los detalles de la mutación. Para resolver ambigüedades donde un número de línea y una descripción no identifican unívocamente un token de fuente, la herramienta emplea un enfoque híbrido:

  • Utiliza javalang para analizar el código fuente original e identificar tokens candidatos.
  • Si existen múltiples candidatos en una línea, utiliza la información de bytecode del archivo de clase compilado para pinpointar el objetivo exacto.
  • Una vez identificado el token específico, se aplica la mutación para reconstruir la sentencia mutada.
  • La herramienta extrae luego el método que lo contiene, cualquier Javadoc precedente y metadatos relevantes (ID del mutante, ruta del archivo, índice de bytecode) para formar un registro estructurado: <método_original, método_mutado, documentación, metadatos>.

• Fase 2: Inyección de Mutantes a Nivel de Fuente
  Esta fase materializa los mutantes reconstruidos como archivos fuente Java reales. PITMuS copia el archivo fuente original, reemplaza la sentencia objetivo con la sentencia mutada reconstruida preservando la sangría y valida el resultado utilizando la tokenización de javalang. La inyección puede realizarse en cuatro granularidades:

  • Nivel de mutación: Un mutante específico por ID.
  • Nivel de sentencia: Todos los mutantes asociados a una sentencia específica.
  • Nivel de clase: Todos los mutantes para una clase seleccionada.
  • Nivel de sistema: Todos los mutantes en todo el sistema.

Contribuciones Clave
El artículo presenta las siguientes contribuciones:

1. Herramienta PITMuS: Un sistema que reconstruye mutantes a nivel de fuente a partir de informes estándar de PIT, permitiendo la creación de conjuntos de datos estructurados que contienen pares de código erróneo/corregido y contexto de documentación.
2. Utilidades Duales: La provisión de herramientas tanto para la inyección de mutantes a nivel de fuente (creación de archivos fuente ejecutables) como para la construcción de conjuntos de datos a nivel de método (generación de registros estructurados para entrenamiento/evaluación).
3. Evaluación Empírica: Una evaluación exhaustiva en ocho sistemas Java de código abierto, demostrando la capacidad de la herramienta para procesar y reconstruir un gran volumen de mutaciones.

Resultados
La evaluación se realizó en ocho sistemas Java de código abierto diversos (incluyendo commons-lang3, bcel y jsoup), abarcando dominios desde la ingeniería de bytecode hasta el análisis de HTML.

• Escala: PITMuS procesó 69,229 mutaciones de PIT en 1,913 archivos fuente.
• Tasa de Reconstrucción: La herramienta reconstruyó con éxito 69,198 pares de métodos alineados original-mutante, logrando una tasa de éxito del 99.96%.
• Contexto de Documentación: 45,913 (66.35%) de los pares reconstruidos incluyeron Javadoc no vacío, preservando el contexto de documentación crucial para el entrenamiento de LLM.
• Rendimiento de Operadores: Seis operadores de mutación (VoidMethodCall, NullReturns, TrueReturns, FalseReturns, Increments, InvertNegatives) lograron una reconstrucción del 100%. Los operadores restantes mantuvieron tasas superiores al 99.69%. La tasa de fallo más alta se observó en RemoveConditionals (14 fallos de 35,739).
• Análisis de Fallos: Las 31 mutaciones no reconstruidas (tasa de fallo < 0.05%) se atribuyeron a desajustes de posición en el fuente. Estos ocurrieron ya sea cuando múltiples mutantes a nivel de bytecode mapeaban a la misma edición de fuente (conduciendo a la evitación de duplicados) o cuando las mutaciones ocurrieron en expresiones de varias líneas donde el número de línea reportado difería de la línea real del operador.

Significado
El artículo afirma que PITMuS aborda una necesidad crítica para investigadores y desarrolladores que requieren pares de código alineados original-mutante y contexto de documentación sin procesamiento manual. Al convertir artefactos de mutación estándar a nivel de informe en ejemplos utilizables a nivel de fuente, PITMuS:

• Reduce el esfuerzo requerido para construir conjuntos de datos basados en mutación.
• Hace que los mutantes de PIT sean accesibles para usuarios que necesitan representaciones a nivel de fuente para estudios empíricos, entrenamiento de modelos y evaluación de herramientas.
• Proporciona una estrategia escalable y consciente de la fecha de corte para generar conjuntos de datos frescos, mitigando los riesgos de contaminación asociados con los benchmarks estáticos en la era de los LLM.

Los autores enfatizan que, aunque evaluado en sistemas específicos, la herramienta es aplicable a cualquier sistema Java donde PIT pueda integrarse. El código y los artefactos se publican como software de código abierto bajo la licencia Apache 2.0.