GitBugs: Bug Reports for Duplicate Detection, Retrieval Augmented Generation, Triage, and More

1. Declaração do Problema

Apesar do papel crítico dos relatórios de bugs na manutenção de software e garantia de qualidade, os conjuntos de dados existentes para pesquisa em engenharia de software sofrem limitações significativas:

• Escopo e Abrangência: Muitos conjuntos de dados são restritos a projetos únicos ou ecossistemas específicos (por exemplo, apenas Eclipse ou apenas Java).
• Qualidade dos Dados: Recursos existentes frequentemente carecem de metadados padronizados, estão desatualizados ou contêm dados não estruturados inadequados para aplicações modernas de Aprendizado de Máquina (ML) e Modelos de Linguagem de Grande Escala (LLM).
• Reprodutibilidade: Há uma falta de divisões consistentes de treino/teste e benchmarks padronizados para tarefas como detecção de duplicatas e triagem em diversas plataformas.
• Lacunas de Metadados: Campos críticos necessários para aprendizado supervisionado (por exemplo, tempos de resolução precisos, mapeamentos de duplicatas, rótulos de prioridade) frequentemente estão ausentes ou são inconsistentes.

2. Metodologia

Os autores desenvolveram o GitBugs, um conjunto de dados em grande escala e curado, projetado para superar essas limitações por meio de um processo rigoroso de coleta e padronização de dados.

• Fontes de Dados: O conjunto de dados agrega relatórios de bugs de nove projetos principais de código aberto, ativamente mantidos, abrangendo domínios diversos (sistemas distribuídos, navegadores, IDEs, infraestrutura de nuvem):
  • Projetos: Cassandra, Firefox, Hadoop, HBase, Mozilla Core, VS Code, SeaMonkey, Spark e Thunderbird.
  • Plataformas: Os dados foram coletados dos rastreadores de issues GitHub, Jira e Bugzilla.
• Metodologia de Coleta:
  • Aquisição: Utilizou-se uma abordagem híbrida envolvendo chamadas de API RESTful (para sistemas baseados em Jira, como projetos Apache) e raspagem de HTML/analise de arquivos CSV (para sistemas baseados em Bugzilla, como Firefox e Thunderbird).
  • Filtragem: Os relatórios foram filtrados para excluir entradas não relacionadas a bugs (por exemplo, solicitações de recursos, tarefas) com base em campos de metadados como "tipo de issue".
  • Padronização: Campos categóricos-chave (Resumo, Descrição, Status, Prioridade, Resolução, Carimbos de Data/Hora) foram normalizados entre diferentes esquemas de rastreadores para criar um esquema unificado.
• Composição do Conjunto de Dados:
  • Volume: Mais de 150.000 relatórios de bugs.
  • Anotações: Inclui mapeamentos explícitos para relatórios de bugs duplicados, permitindo aprendizado supervisionado para detecção de duplicatas.
  • Divisões: Divisões pré-definidas de treino/teste são fornecidas para garantir benchmarks reprodutíveis.
  • Artefatos: O lançamento inclui notebooks de Análise Exploratória de Dados (EDA), scripts de treinamento de modelos e ferramentas de validação.

3. Principais Contribuições

1. Conjunto de Dados em Grande Escala e Multi-fonte: Um corpus de mais de 150 mil relatórios de 9 projetos através do GitHub, Jira e Bugzilla, oferecendo um nível de diversidade anteriormente indisponível em um único recurso.
2. Metadados Ricos e Padronização: Campos abrangentes incluindo carimbos de data/hora, prioridade, status de resolução e links de duplicatas, padronizados para uso imediato em pipelines de ML.
3. Análises em Nível de Projeto: Estatísticas integradas sobre taxas de duplicação (variando de 2,0% no HBase a 28,2% no VS Code) e distribuições de tempo de resolução.
4. Artefatos de Pesquisa Reprodutíveis: Os autores fornecem o código, mapeamentos de dados e notebooks de EDA para facilitar experimentação imediata.
5. Benchmarking para Tarefas Emergentes: O conjunto de dados é estruturado especificamente para apoiar não apenas tarefas tradicionais (triagem, previsão de severidade), mas também tarefas modernas baseadas em LLM, como Geração Aumentada por Recuperação (RAG) e explicação automatizada de bugs.

4. Resultados e Estudos de Caso

Os autores conduziram um estudo de caso abrangente usando o subconjunto do Apache Cassandra para avaliar a utilidade do conjunto de dados em várias tarefas:

• Previsão de Volume de Bugs:
  • Modelos: ARIMA vs. Prophet.
  • Resultado: O ARIMA superou o Prophet (MAE: 10,92 vs. 20,10), demonstrando maior estabilidade na previsão de volumes de submissão de bugs.
• Classificação de Severidade/Prioridade:
  • Resultado: O modelo alcançou alta precisão (82%) na classe dominante "Normal", mas teve dificuldades com classes minoritárias (Macro F1: 0,35), destacando desafios significativos de desequilíbrio de classes inerentes aos dados de bugs.
• Previsão de Tempo para Correção:
  • Resultado: Modelos de regressão tiveram desempenho pobre (R² = -0,09), frequentemente subestimando tempos longos de resolução. Isso indica que sinais textuais isolados são insuficientes para prever a duração da correção sem recursos mais complexos.
• Detecção de Duplicatas:
  • Método: Similaridade cosseno usando embeddings Sentence-BERT.
  • Resultado: Alcançou um Recall@10 de 0,61. No entanto, as pontuações de similaridade foram geralmente baixas (<0,5), indicando que bugs duplicados são frequentemente linguisticamente sutis e exigem compreensão semântica em vez de simples correspondência de palavras-chave.
• Geração Aumentada por Recuperação (RAG):
  • Demonstração: Um pipeline foi construído para recuperar relatórios históricos semanticamente similares para gerar explicações de bugs enriquecidas.
  • Resultado: O sistema utilizou com sucesso o contexto histórico para hipotetizar causas raiz (por exemplo, ouvintes de eventos ausentes), provando a viabilidade do conjunto de dados para treinar LLMs em tarefas de manutenção de software.
• Análise Temporal:
  • Modelagem de tópicos (LDA) e decomposição STL revelaram tendências sazonais alinhadas com ciclos de lançamento e um declínio de longo prazo nos relatórios de bugs, sugerindo maior maturidade do sistema.

5. Significado e Impacto

• Reprodutibilidade: O GitBugs aborda a "crise de reprodutibilidade" na engenharia de software empírica, fornecendo dados padronizados e de acesso aberto com divisões claras de treino/teste.
• Ponte para IA Moderna: Ao estruturar dados tanto para ML tradicional quanto para aplicações de LLM, facilita a pesquisa em Geração Aumentada por Recuperação (RAG) para depuração, triagem automatizada e sumarização de relatórios de bugs.
• Aplicabilidade Industrial: O conjunto de dados serve como benchmark para ferramentas internas (motores de deduplicação, recomendadores de triagem) e como recurso para ajuste fino de LLMs em dados realistas de engenharia de software.
• Valor Educacional: Oferece um recurso prático para o ensino de análise de software, permitindo que estudantes trabalhem com dados de bugs do mundo real, desorganizados, mas estruturados.

Disponibilidade: O conjunto de dados e o código associado estão publicamente disponíveis em https://github.com/av9ash/gitbugs/.