Bug Severity Prediction in Software Projects Using Supervised Machine Learning Models

Este estudo compara diversos modelos de aprendizado de máquina supervisionado, incluindo métodos baseados em árvores e transformadores, para prever a severidade de bugs no repositório Eclipse Bugzilla, identificando que métodos de ensemble e o DistilBERT alcançaram a maior precisão geral, enquanto modelos lineares se destacaram na recuperação de bugs críticos, oferecendo insights valiosos para a triagem automatizada e priorização de defeitos em projetos de software.

O essencial

Imagine que você é o gerente de um grande hospital de software. Todos os dias, centenas de pacientes (os bugs ou erros do programa) chegam à emergência. Alguns são apenas um pequeno resfriado (um erro de digitação), outros são uma dor de cabeça leve (um problema de design), mas alguns são ataques cardíacos iminentes (falhas de segurança que podem derrubar todo o sistema).

O problema? O hospital está superlotado. Os médicos (os programadores) estão exaustos e não conseguem olhar para cada paciente individualmente para decidir quem precisa de cirurgia imediata e quem pode esperar. Eles precisam de um triagem automática.

É aqui que entra o trabalho de Nafisha Tamanna Nice, apresentado nesta tese de mestrado. Ela criou um "médico assistente digital" usando Inteligência Artificial para prever a gravidade desses erros antes mesmo de um humano olhar para eles.

Aqui está a explicação do projeto, traduzida para uma linguagem simples e cheia de analogias:

1. O Grande Desafio: O Caos na Emergência

Em projetos de software grandes (como o Eclipse, que é um sistema gigante usado por muitos), os relatórios de erros crescem como mato. Tentar classificar manualmente cada um é lento, cansativo e sujeito a erros humanos. Às vezes, um erro grave é ignorado porque parecia "pequeno", e às vezes, um erro pequeno recebe tratamento de emergência, desperdiçando tempo.

A Solução: Usar Máquinas de Aprendizado Supervisionado. Pense nisso como treinar um grupo de estagiários superinteligentes com milhares de casos antigos. Eles leem os relatórios antigos, aprendem os padrões ("Ah, quando o texto diz 'crash' e 'banco de dados', é grave!") e começam a classificar os novos casos automaticamente.

2. A Competição: Quem é o Melhor Médico?

Nafisha não escolheu apenas um "médico". Ela organizou uma Olimpíada de Algoritmos. Ela testou 10 modelos diferentes de Inteligência Artificial para ver quem era o melhor em prever a gravidade.

Ela dividiu os competidores em categorias:

• Os Clássicos Rápidos (Logística, SVM, KNN): São como médicos experientes que usam regras simples e rápidas. Eles são bons, mas às vezes perdem detalhes complexos.
• Os Especialistas em Árvore (XGBoost, LightGBM, CatBoost): Imagine árvores de decisão que fazem perguntas como "É um erro de segurança? Sim/Não. É urgente? Sim/Não". Eles são muito precisos e rápidos, como cirurgiões que tomam decisões baseadas em fluxogramas perfeitos.
• O Gênio da Leitura (DistilBERT): Este é o "super-herói" da leitura. Ele é baseado em uma tecnologia de linguagem (Transformers) que entende o contexto e a nuance do texto humano. Ele não apenas lê palavras-chave; ele entende a história do erro.

3. O Treinamento: Limpando a Bagunça

Antes da competição, Nafisha teve que preparar o terreno. Os dados brutos eram uma bagunça: faltavam informações, havia textos confusos e, o pior de tudo, desequilíbrio.

• O Problema do Desequilíbrio: Na vida real, a maioria dos erros é pequena (resfriados) e poucos são críticos (ataques cardíacos). Se você treina um modelo com muitos resfriados, ele vai achar que todo paciente tem resfriado.
• A Solução (SMOTE): Nafisha usou uma técnica chamada SMOTE. Imagine que você tem poucos pacientes com ataque cardíaco no seu banco de dados. O SMOTE cria "pacientes sintéticos" (cópias inteligentes) desses casos raros para que o modelo aprenda a reconhecê-los. É como dar ao médico mais exemplos de emergências para ele não se assustar quando uma aparecer.

4. Os Resultados: Quem Venceu?

Depois de tudo treinado e testado, os resultados foram fascinantes:

• O Campeão de Precisão Geral (DistilBERT e XGBoost):
  O DistilBERT (o gênio da leitura) e o XGBoost (o especialista em árvores) foram os melhores no geral. Eles acertaram a classificação na maioria dos casos. O DistilBERT foi especialmente bom porque conseguiu entender a "linguagem" dos programadores nos relatórios de erro.

  • Analogia: Eles são como os melhores diagnósticos gerais do hospital, acertando a maioria dos casos.

• O Especialista em Emergências (Regressão Logística):
  Aqui está o truque! Embora o DistilBERT fosse o mais preciso no geral, a Regressão Logística foi a melhor em uma coisa específica: não deixar passar nenhum ataque cardíaco.

  • Ela teve um "Recall" (capacidade de encontrar os casos reais) mais alto para erros graves.
  • Analogia: Imagine um detector de metais no aeroporto. Às vezes, ele apita para uma chave de fenda (falso alarme), mas o objetivo dele é garantir que nenhuma arma passe despercebida. A Regressão Logística é esse detector: ela pode errar e dizer que um erro é grave quando não é, mas ela garante que nenhum erro grave seja ignorado.

5. Por que isso importa para o mundo?

Este trabalho não é apenas sobre código; é sobre segurança e eficiência.

• Para a Sociedade: Software mais seguro significa menos falhas em hospitais, bancos e sistemas de transporte. Se os erros críticos são encontrados e corrigidos primeiro, o mundo funciona melhor.
• Para o Meio Ambiente: Parece estranho, mas corrigir bugs de forma eficiente economiza energia. Menos tempo gastando em testes desnecessários e menos servidores rodando versões defeituosas significa menos consumo de energia elétrica.
• Para a Ética: O trabalho também alerta que a IA pode ter preconceitos (se os dados antigos forem ruins, a IA aprende coisas ruins). Por isso, é crucial ter um "humano no comando" para validar as decisões da máquina.

Conclusão Simples

Nafisha descobriu que não existe um "super-herói único" perfeito para tudo.

• Se você quer a maior precisão geral, use o DistilBERT ou XGBoost.
• Se o seu objetivo é garantir que nenhum erro catastrófico escape (mesmo que isso signifique verificar alguns erros falsos), use a Regressão Logística.

Essa pesquisa nos dá as ferramentas para construir softwares mais robustos, onde a inteligência artificial atua como um assistente de triagem, garantindo que os programadores humanos foquem no que realmente importa: salvar o dia.

Resumo técnico

Resumo Técnico: Predição de Severidade de Bugs em Projetos de Software Usando Modelos de Aprendizado de Máquina Supervisionado

1. Problema e Motivação

A manutenção de software em grandes projetos enfrenta um desafio crítico: a gestão de repositórios de bugs que crescem rapidamente. A classificação manual da severidade dos bugs (crítica, maior, menor, trivial) torna-se laboriosa, inconsistente e suscetível a vieses humanos, o que pode levar a atrasos no desenvolvimento e riscos de segurança.
O problema central reside na dificuldade de priorizar manualmente milhares de relatórios de bugs, onde erros de alta severidade podem impactar drasticamente a estabilidade e a confiança do usuário. A necessidade de uma solução automatizada, precisa e consistente para prever a severidade de bugs com base em dados históricos e descrições textuais é o foco deste estudo.

2. Metodologia

A pesquisa adotou uma abordagem baseada em Aprendizado de Máquina Supervisionado para classificar a severidade de bugs. O processo metodológico incluiu as seguintes etapas:

2.1 Coleta e Descrição dos Dados

• Fonte de Dados: O conjunto de dados utilizado foi o Eclipse Bugzilla Bug Reports Dataset, contendo 88.682 relatórios de bugs.
• Atributos: Os dados incluíam metadados estruturados (ID do projeto, tipo de bug, prioridade, status de resolução) e atributos não estruturados (descrição curta do bug).
• Variável Alvo: A coluna Severity_Label (rótulo de severidade) foi utilizada como variável dependente para o treinamento dos modelos.

2.2 Pré-processamento de Dados

Para garantir a qualidade dos dados, foram aplicadas as seguintes técnicas:

• Tratamento de Valores Faltantes: Preenchimento de valores numéricos com a média e valores categóricos com a moda.
• Codificação de Features: Uso de Label Encoding e One-Hot Encoding para variáveis categóricas.
• Escalonamento: Padronização (Standardization) das features numéricas.
• Processamento de Texto: Para modelos baseados em NLP, as descrições foram convertidas para minúsculas, tokenizadas e preenchidas (padding). Para modelos tradicionais, foi aplicada a técnica TF-IDF (Term Frequency-Inverse Document Frequency) e n-grams.
• Balanceamento de Classes: Devido à forte desbalanceamento das classes (poucos bugs críticos em relação a bugs triviais), foi utilizada a técnica SMOTE (Synthetic Minority Over-sampling Technique) para gerar amostras sintéticas da classe minoritária.
• Divisão dos Dados: 80% para treinamento e 20% para teste, com validação cruzada de 3 dobras (3-fold cross-validation).

2.3 Modelos de Aprendizado de Máquina

O estudo comparou 10 algoritmos de diferentes categorias:

1. Aprendizagem Linear: Regressão Logística, SVM Linear, Classificador Passivo-Agressivo.
2. Descenso de Gradiente Estocástico (SGD): Com função de perda logarítmica.
3. Ensembles Baseados em Árvores: XGBoost, LightGBM, CatBoost.
4. Aprendizagem Bayesiana: Naive Bayes.
5. Baseados em Distância: K-Nearest Neighbors (KNN).
6. Deep Learning (Transformers): DistilBERT (modelo pré-treinado otimizado para classificação de texto).

2.4 Métricas de Avaliação

O desempenho foi avaliado utilizando:

• Acurácia, Precisão, Revocação (Recall) e Pontuação F1 (F1-Score).
• Curva ROC e Área Sob a Curva (AUC-ROC).
• Matrizes de Confusão para análise detalhada de falsos positivos e negativos.

3. Resultados Experimentais

Os experimentos revelaram diferenças significativas no desempenho dos modelos dependendo da métrica de interesse:

• Melhor Acurácia Geral: Os modelos DistilBERT (90,48%) e XGBoost (90,41%) alcançaram as maiores taxas de acurácia global, seguidos pelo CatBoost (90,17%). Isso indica que modelos baseados em transformers e ensembles de gradientes são superiores na classificação geral de severidade.
• Melhor Precisão (Precisão): O Naive Bayes obteve a maior precisão (0,845), indicando que, quando ele prevê um bug como "alta severidade", é muito provável que esteja correto (poucos falsos positivos).
• Melhor Revocação (Recall) para Bugs Críticos: A Regressão Logística destacou-se com a melhor revocação (0,627) e o melhor F1-Score (0,517) para a classe de alta severidade. Isso significa que este modelo é mais eficaz em identificar a maioria dos bugs críticos, mesmo que isso resulte em mais falsos positivos.
• Análise de Generalização: Modelos complexos como DistilBERT e XGBoost generalizaram bem em termos de acurácia, mas apresentaram desafios na revocação de classes minoritárias sem ajustes específicos. Modelos lineares mostraram-se mais robustos para a detecção de casos críticos específicos.

4. Contribuições Chave

1. Comparação Abrangente: O estudo fornece uma análise comparativa direta entre modelos tradicionais (SVM, Naive Bayes), ensembles modernos (XGBoost, LightGBM) e modelos de linguagem profunda (DistilBERT) no contexto específico de severidade de bugs.
2. Validação de Técnicas de Pré-processamento: Demonstra a eficácia crítica do uso combinado de SMOTE para lidar com desbalanceamento de classes e TF-IDF para extração de características textuais.
3. Insights sobre Trade-offs: Identifica claramente o compromisso (trade-off) entre precisão e revocação. Enquanto modelos baseados em árvores e transformers são ideais para acurácia geral, modelos lineares (como Regressão Logística) podem ser preferíveis quando a prioridade é não perder nenhum bug crítico (alta revocação).
4. Fluxo de Trabalho Reprodutível: Apresenta um pipeline completo, desde a coleta de dados do Eclipse até a implementação e avaliação, servindo como base para futuras pesquisas em triagem automatizada de bugs.

5. Significado e Impacto

Este trabalho tem implicações práticas significativas para a Engenharia de Software e Garantia de Qualidade (QA):

• Otimização de Recursos: Permite que equipes de desenvolvimento priorizem a correção de bugs críticos automaticamente, reduzindo o tempo de inatividade e melhorando a estabilidade do sistema.
• Eficiência no Ciclo de Desenvolvimento: Automatiza a triagem inicial, permitindo que os desenvolvedores foquem na resolução de problemas em vez de na classificação manual.
• Qualidade do Software: A detecção precoce e precisa de bugs de alta severidade contribui para a entrega de software mais seguro e confiável, especialmente em setores críticos como saúde e finanças.
• Sustentabilidade: Ao reduzir o tempo de desenvolvimento e a necessidade de múltiplas iterações de correção, a abordagem contribui indiretamente para a eficiência energética e sustentabilidade dos ambientes de desenvolvimento.

Em conclusão, o estudo valida que a combinação de técnicas de aprendizado de máquina supervisionado, especialmente modelos de ensemble e transformers, juntamente com um pré-processamento rigoroso, oferece uma solução escalável e eficaz para o problema de predição de severidade de bugs, superando as limitações da triagem manual.