GitBugs: Bug Reports for Duplicate Detection, Retrieval Augmented Generation, Triage, and More

1. Planteamiento del Problema

A pesar del papel crítico de los informes de errores en el mantenimiento del software y la garantía de calidad, los conjuntos de datos existentes para la investigación en ingeniería de software sufren limitaciones significativas:

• Alcance y Amplitud: Muchos conjuntos de datos se restringen a proyectos individuales o ecosistemas específicos (por ejemplo, solo Eclipse o solo Java).
• Calidad de los Datos: Los recursos existentes a menudo carecen de metadatos estandarizados, están desactualizados o contienen datos no estructurados inadecuados para aplicaciones modernas de aprendizaje automático (ML) y Modelos de Lenguaje Grande (LLM).
• Reproducibilidad: Existe una falta de divisiones consistentes de entrenamiento/prueba y puntos de referencia estandarizados para tareas como la detección de duplicados y el triaje en diversas plataformas.
• Brechas en Metadatos: Campos críticos requeridos para el aprendizaje supervisado (por ejemplo, tiempos de resolución precisos, mapeos de duplicados, etiquetas de prioridad) a menudo faltan o son inconsistentes.

2. Metodología

Los autores desarrollaron GitBugs, un conjunto de datos a gran escala y curado diseñado para superar estas limitaciones mediante un proceso riguroso de recopilación y estandarización de datos.

• Fuentes de Datos: El conjunto de datos agrega informes de errores de nueve proyectos principales de código abierto, mantenidos activamente, que abarcan diversos dominios (sistemas distribuidos, navegadores, IDEs, infraestructura en la nube):
  • Proyectos: Cassandra, Firefox, Hadoop, HBase, Mozilla Core, VS Code, SeaMonkey, Spark y Thunderbird.
  • Plataformas: Los datos se obtuvieron de los rastreadores de problemas de GitHub, Jira y Bugzilla.
• Metodología de Recopilación:
  • Adquisición: Se utilizó un enfoque híbrido que involucra llamadas a API RESTful (para sistemas basados en Jira como los proyectos de Apache) y raspado HTML/análisis de archivos CSV (para sistemas basados en Bugzilla como Firefox y Thunderbird).
  • Filtrado: Los informes se filtraron para excluir entradas que no son errores (por ejemplo, solicitudes de características, tareas) basándose en campos de metadatos como "tipo de problema".
  • Estandarización: Los campos categóricos clave (Resumen, Descripción, Estado, Prioridad, Resolución, Marcas de tiempo) se normalizaron entre diferentes esquemas de rastreadores para crear un esquema unificado.
• Composición del Conjunto de Datos:
  • Volumen: Más de 150,000 informes de errores.
  • Anotaciones: Incluye mapeos explícitos para informes de errores duplicados, lo que permite el aprendizaje supervisado para la detección de duplicados.
  • Divisiones: Se proporcionan divisiones predefinidas de entrenamiento/prueba para garantizar una evaluación comparativa reproducible.
  • Artefactos: La versión incluye cuadernos de análisis exploratorio de datos (EDA), scripts de entrenamiento de modelos y herramientas de validación.

3. Contribuciones Clave

1. Conjunto de Datos a Gran Escala y Multi-fuente: Un corpus de más de 150k informes de 9 proyectos de GitHub, Jira y Bugzilla, ofreciendo un nivel de diversidad previamente no disponible en un solo recurso.
2. Metadatos Ricos y Estandarización: Campos completos que incluyen marcas de tiempo, prioridad, estado de resolución y enlaces de duplicados, estandarizados para su uso inmediato en pipelines de ML.
3. Analíticas a Nivel de Proyecto: Estadísticas integradas sobre tasas de duplicación (que van desde el 2.0% en HBase hasta el 28.2% en VS Code) y distribuciones de tiempo de resolución.
4. Artefactos de Investigación Reproducibles: Los autores proporcionan el código, los mapeos de datos y los cuadernos de EDA para facilitar la experimentación inmediata.
5. Evaluación Comparativa para Tareas Emergentes: El conjunto de datos está estructurado específicamente para apoyar no solo tareas tradicionales (triaje, predicción de severidad) sino también tareas modernas basadas en LLM como la Generación Aumentada por Recuperación (RAG) y la explicación automatizada de errores.

4. Resultados y Estudios de Caso

Los autores realizaron un estudio de caso exhaustivo utilizando el subconjunto de Apache Cassandra para evaluar la utilidad del conjunto de datos en diversas tareas:

• Pronóstico de Volumen de Errores:
  • Modelos: ARIMA vs. Prophet.
  • Resultado: ARIMA superó a Prophet (MAE: 10.92 vs. 20.10), demostrando una mejor estabilidad en el pronóstico de volúmenes de envío de errores.
• Clasificación de Severidad/Prioridad:
  • Resultado: El modelo logró una alta precisión (82%) en la clase dominante "Normal", pero tuvo dificultades con las clases minoritarias (Macro F1: 0.35), destacando los desafíos significativos de desequilibrio de clases inherentes a los datos de errores.
• Predicción de Tiempo de Reparación:
  • Resultado: Los modelos de regresión tuvieron un rendimiento pobre (R² = -0.09), a menudo subestimando los tiempos de resolución largos. Esto indica que las señales textuales por sí solas son insuficientes para predecir la duración de la reparación sin características más complejas.
• Detección de Duplicados:
  • Método: Similitud del coseno utilizando incrustaciones de Sentence-BERT.
  • Resultado: Se logró una Recall@10 de 0.61. Sin embargo, las puntuaciones de similitud fueron generalmente bajas (<0.5), lo que indica que los errores duplicados a menudo son lingüísticamente sutiles y requieren comprensión semántica en lugar de una simple coincidencia de palabras clave.
• Generación Aumentada por Recuperación (RAG):
  • Demostración: Se construyó un pipeline para recuperar informes históricos semánticamente similares y generar explicaciones de errores enriquecidas.
  • Resultado: El sistema utilizó con éxito el contexto histórico para hipotetizar causas raíz (por ejemplo, oyentes de eventos faltantes), demostrando la viabilidad del conjunto de datos para entrenar LLMs en tareas de mantenimiento de software.
• Análisis Temporal:
  • El modelado de temas (LDA) y la descomposición STL revelaron tendencias estacionales alineadas con los ciclos de lanzamiento y una disminución a largo plazo en los informes de errores, lo que sugiere una mayor madurez del sistema.

5. Significado e Impacto

• Reproducibilidad: GitBugs aborda la "crisis de reproducibilidad" en la ingeniería de software empírica al proporcionar datos estandarizados y de acceso abierto con divisiones claras de entrenamiento/prueba.
• Puente hacia la IA Moderna: Al estructurar los datos tanto para aplicaciones tradicionales de ML como de LLM, facilita la investigación sobre Generación Aumentada por Recuperación (RAG) para depuración, triaje automatizado y resumen de informes de errores.
• Aplicabilidad Industrial: El conjunto de datos sirve como punto de referencia para herramientas internas (motores de deduplicación, recomendadores de triaje) y como recurso para el ajuste fino de LLMs en datos realistas de ingeniería de software.
• Valor Educativo: Proporciona un recurso práctico para enseñar análisis de software, permitiendo a los estudiantes trabajar con datos de errores del mundo real, desordenados pero estructurados.

Disponibilidad: El conjunto de datos y el código asociado están disponibles públicamente en https://github.com/av9ash/gitbugs/.