An Audit of Machine Learning Experiments on Software Defect Prediction

Resumo Técnico: Uma Auditoria de Experimentos de Aprendizado de Máquina em Predição de Defeitos de Software

Definição do Problema
O aprendizado de máquina (ML) é cada vez mais proposto como uma solução para prever componentes de software propensos a defeitos. No entanto, a credibilidade dos achados neste campo depende criticamente do design experimental, da análise e do relato. Apesar do crescente corpo de literatura, há evidências crescentes de métodos de pesquisa questionáveis, relatos precários e uma falta de "estabilidade de conclusão". Revisões anteriores destacaram problemas como vazamento de dados (data leakage), análises estatísticas falhas e a influência de métricas de avaliação no poder preditivo. Além disso, o surgimento de "fábricas de artigos" (paper mills) e a dificuldade em sintetizar um corpo coerente de conhecimento devido à heterogeneidade metodológica levantaram preocupações sobre a reprodutibilidade e replicabilidade da pesquisa em Predição de Defeitos de Software (SDP). Este artigo aborda a necessidade de uma revisão técnica sistemática (auditoria) de experimentos recentes de SDP para caracterizar o estado atual da prática e avaliar a reprodutibilidade dos achados publicados.

Metodologia
Os autores conduziram uma auditoria sistemática de experimentos computacionais em SDP publicados entre 2019 e 2023.

• Fonte de Dados: A busca foi realizada na base de dados SCOPUS utilizando a consulta: ("software defect" OR bug OR "software fault") AND prediction AND "machine learning". Isso resultou em 7.375 documentos.
• Amostragem: Foi utilizado um método de amostragem aleatória estratificada para selecionar 20 artigos relevantes por ano, resultando em uma amostra final de 101 artigos (61 de periódicos, 40 de conferências). Os critérios de inclusão exigiam foco na predição de defeitos de software, apresentação de novos resultados experimentais, uso de dados do mundo real, disponibilidade de conteúdo completo e extensão mínima de 3 páginas.
• Instrumento de Auditoria: O estudo avaliou nove questões específicas divididas em duas categorias:
  1. Design Experimental e Implementação (Questões 1–5): Falta de validação Fora da Amostra (OOS), uso de métricas problemáticas (ex: F1, Acurácia em dados desbalanceados), ausência de benchmarks (melhor que o acaso), múltiplos testes estatísticos sem correção e falha em relatar a dispersão (espalhamento) dos resultados junto com a tendência central.
  2. Problemas de Relato (Questões 6–9): Ausência de link para os dados, ausência de link para o código, baixos escores de reprodutibilidade e artigos protegidos por paywalls.
• Avaliação de Reprodutibilidade: Os autores adaptaram o instrumento proposto por González-Barahona e Robles para avaliar a reprodutibilidade. Isso envolveu a pontuação de 27 indicadores em cinco categorias (Identificação, Descrição, Disponibilidade, Persistência, Flexibilidade) referentes a dados brutos, ferramentas de extração, conjuntos de dados processados, ferramentas de análise e resultados. As pontuações foram normalizadas para um intervalo de 0 a 1.
• Análise: Dois revisores independentes auditaram os artigos, resolvendo divergências por meio de discussão. A análise de dados foi realizada utilizando R em um notebook RMarkdown.

Principais Contribuições

1. Auditoria Sistemática: O artigo fornece a primeira auditoria técnica profunda de experimentos computacionais em SDP ao longo de um período de cinco anos (2019–2023), indo além das revisões sistemáticas tradicionais para focar na qualidade metodológica e nos padrões de relato.
2. Quantificação de Problemas: Quantifica a prevalência de falhas metodológicas e de relato específicas, identificando 427 problemas distintos em 101 artigos.
3. Linha de Base de Reprodutibilidade: Estabelece uma linha de base para a reprodutibilidade dos estudos de SDP, revelando uma ampla variância na disponibilidade de dados e código.
4. Detecção de Anomalias: A auditoria identificou exemplos específicos de "frases torturadas" (ex: "insetos novelos" em vez de "bugs novos") indicativas de potencial atividade de "fábricas de artigos", destacando uma ameaça à integridade da pesquisa mesmo dentro de bases de dados curadas como o SCOPUS.
5. Recomendações Acionáveis: O artigo oferece 16 recomendações específicas para pesquisadores, revisores e para a comunidade para melhorar o design experimental, o relato e as práticas de ciência aberta.

Resultos

• Características da Amostra: Os 101 artigos cobriram 74 veículos únicos. Aproximadamente 50% dos artigos estavam atrás de paywalls. As contagens de citações mostraram alta variabilidade, com uma mediana de 4 citações e 25 artigos com zero citações.
• Variabilidade do Design Experimental: Houve diversidade significativa no número de conjuntos de dados usados (1 a 365, mediana 10), aprendizes avaliados (1 a 34, mediana 5) e métricas utilizadas (1 a 9, mediana 3). Os conjuntos de dados do repositório Promise foram predominantes.
• Falhas Metodológicas:
  • Validação: 34,7% dos estudos careciam de validação OOS clara ou possuíam relato obscuro sobre o assunto.
  • Métricas: Apesar da crítica generalizada, 62,9% dos estudos usaram a métrica F1, e 39,2% usaram Acurácia. Apenas 16,8% usaram o Coeficiente de Correlação de Matthews (MCC).
  • Ancoragem no Acaso (Chance-Anchoring): Aproximadamente 40% dos experimentos não utilizaram métricas ancoradas no acaso (como AUC ou MCC), tornando impossível determinar se os resultados eram melhores do que o acaso.
  • Rigor Estatístico: Apenas 45% dos estudos utilizaram inferência estatística formal. Destes, apenas 60% corrigiram para testes múltiplos, apesar de o número mediano de testes inferenciais ser 24.
  • Dispersão: Muitos estudos relataram apenas a tendência central (média/mediana) sem medidas de dispersão (ex: boxplots), ocultando a variabilidade de algoritmos estocásticos.
• Reprodutibilidade: O escore de reprodutibilidade mediana foi de 0,52 (de 1,0). Apenas um artigo foi inteiramente livre de problemas. Artigos de periódicos tenderam a ser mais reprodutíveis e conter menos problemas do que artigos de conferências. Apenas 18,8% dos estudos forneceram links para o código de análise, e 35,8% dos links existentes estavam quebrados.
• Tendências: Não foram encontradas evidências de melhoria na qualidade metodológica ao longo do período de cinco anos.

Significância e Alegações
O artigo afirma que a comunidade de pesquisa em SDP tem um "espaço considerável para melhoria". A auditoria revela que quase metade dos estudos fornece informações insuficientes para reprodução, e as escolhas metodológicas frequentemente comprometem a validade dos achados. Os autores enfatizam que os problemas identificados não são necessariamente fatais para cada artigo, mas são "desnecessários e inúteis", dificultando o escrutínio independente e o progimento da Ciência Aberta.

Crucialmente, os autores afirmam que as melhorias recomendadas "não são difíceis nem custosas de alcançar". Eles argumentam que adotar métricas ancoradas no acaso, garantir validação OOS, relatar a dispersão dos resultados e compartilhar código e dados são passos simples que aumentariam significativamente a confiabilidade e o impacto da pesquisa em SDP. O artigo conclui instando a comunidade a se afastar de "métodos experimentais descuidados" e a caminhar para práticas mais robustas, transparentes e reprodutíveis, observando que a falta de confiabilidade e de insight em um corpo de trabalho tão grande (mais de 1.500 estudos em cinco anos) é um chamado à ação, e não uma causa para o desespero.