Resumo Técnico: Um Framework Orientado a Recursos para Previsão de Falhas em Software

Declaração do Problema

A Previsão de Falhas em Software (SFP) é um componente crítico do ciclo de vida de desenvolvimento de software (SDLC), visando identificar módulos defeituosos precocemente para reduzir custos de manutenção e melhorar a qualidade. No entanto, as abordagens existentes frequentemente tratam a seleção de recursos (redução de dimensionalidade e remoção de métricas irrelevantes/redundantes) e o ajuste de hiperparâmetros (otimização da configuração do modelo) como tarefas separadas e independentes. Essa separação deixa uma lacuna na obtenção de desempenho ótimo do modelo, pois a interação entre os recursos selecionados e os parâmetros do modelo não é explorada sistematicamente. Além disso, os conjuntos de dados de software são frequentemente desbalanceados, com módulos defeituosos representando uma classe minoritária, complicando o treinamento de modelos robustos de aprendizado de máquina (ML).

Metodologia

Os autores propõem um framework integrado que combina sistematicamente a seleção de recursos e a otimização de hiperparâmetros. O fluxo de trabalho consiste em sete etapas distintas:

1. Coleta de Dados: Utilização de 19 versões de projetos de software de código aberto do repositório PROMISE, compreendendo 21 métricas de software (recursos) e rótulos binários de falhas.
2. Pré-processamento:
   • Limpeza: Remoção de módulos duplicados.
   • Imputação: Tratamento de valores ausentes usando K-Vizinhos Mais Próximos (KNN).
   • Escala: Aplicação de escalonamento Min-Max para normalizar os recursos entre 0 e 1.
3. Particionamento de Dados: Implementação de validação cruzada estratificada de 10 dobras para garantir que a distribuição de classes seja preservada nos conjuntos de treinamento e validação, abordando o desbalanceamento do conjunto de dados.
4. Tratamento do Desbalanceamento de Classes: Aplicação de Amostragem Sintética Adaptativa (ADASYN) para equilibrar o conjunto de dados.
5. Seleção de Recursos: Quatro métodos distintos foram avaliados individualmente:
   • Eliminação Recursiva de Recursos (RFE): Um método iterativo baseado em wrapper.
   • Regularização L1: Uma abordagem de modelo linear esparsa.
   • Informação Mútua (MI): Um método baseado em filtro que captura dependências não lineares.
   • Seleção de Recursos Baseada em Correlação (CFS): Um método baseado em filtro que maximiza a relevância do recurso para o alvo enquanto minimiza a redundância inter-recurso.
6. Treinamento do Modelo e Otimização de Hiperparâmetros: Três modelos de ML de base foram testados: Random Forest (RF), Regressão Logística (LR) e Máquinas de Vetor de Suporte (SVM). Cada modelo foi otimizado usando três estratégias de busca:
   • Busca em Grade (GS): Busca exaustiva.
   • Busca Aleatorizada (RS): Amostragem probabilística.
   • Algoritmo Genético (GA): Otimização evolutiva.
7. Avaliação: Os modelos foram avaliados usando Acurácia, Precisão, Revocação (Recall), Pontuação F1 e eficiência computacional (tempo de treinamento/teste).

Principais Contribuições

O estudo fornece uma análise comparativa de como diferentes combinações de seleção de recursos e ajuste de hiperparâmetros afetam o desempenho da SFP. As principais contribuições incluem:

• Framework Integrado: Uma abordagem unificada que otimiza conjuntamente subconjuntos de recursos e hiperparâmetros do modelo, em vez de tratá-los sequencialmente ou independentemente.
• Análise Comparativa dos Métodos de Seleção: Uma avaliação detalhada de RFE, L1, MI e CFS, demonstrando que métodos multivariados (como CFS) preservam melhor as interações entre recursos do que métodos univariados.
• Avaliação da Estratégia de Otimização: Uma avaliação de GS, RS e GA, destacando os trade-offs entre custo computacional e precisão preditiva.
• Insights Específicos do Modelo: Identificação de como diferentes modelos (RF, LR, SVM) respondem a conjuntos específicos de recursos e estratégias de ajuste.

Resultados Experimentais

Os experimentos foram conduzidos em dados balanceados usando validação cruzada estratificada de 10 dobras. As principais descobertas incluem:

• Melhor Desempenho Geral: A combinação de Seleção de Recursos Baseada em Correlação (CFS) e otimização por Algoritmo Genético (GA) produziu o desempenho mais alto. Especificamente, o modelo Random Forest (RF) alcançou uma acurácia de 88,40%, uma pontuação F1 de 0,88, precisão de 0,89 e revocação de 0,87.
• Impacto da Seleção de Recursos:
  • CFS foi mais eficaz para RF e SVM, preservando interações multivariadas e reduzindo redundância.
  • RFE também performou bem, particularmente com RF e GA (87,41% de acurácia).
  • Regularização L1 resultou em pontuações F1 e precisão mais baixas em comparação com outros métodos, sugerindo que pode penalizar excessivamente recursos informativos neste contexto.
  • Informação Mútua (MI) mostrou melhorias sobre L1, mas performou ligeiramente abaixo em comparação com CFS e RFE.
• Impacto do Ajuste de Hiperparâmetros:
  • O ajuste melhorou significativamente a acurácia em todos os modelos. Por exemplo, a acurácia do RF sem ajuste foi de 70,21%, subindo para 86,32% com Busca Aleatorizada e 82,06% com GA (em dados L1) ou 88,40% (em dados CFS).
  • GA geralmente forneceu a otimização mais forte, particularmente quando emparelhado com CFS, embora incorresse em tempos de treinamento mais longos.
  • Busca Aleatorizada ofereceu uma alternativa custo-efetiva, alcançando desempenho competitivo com despesas computacionais significativamente menores.
• Comparação de Modelos:
  • Random Forest consistentemente superou a Regressão Logística e SVM em todas as estratégias de seleção de recursos e otimização.
  • Regressão Logística mostrou ganhos moderados com recursos esparsos e otimização leve.
  • SVM beneficiou-se significativamente do ajuste de kernel.
• Mitigação de Overfitting: Os modelos de base (sem seleção de recursos ou ajuste) exibiram uma lacuna significativa entre a acurácia de treinamento e teste (por exemplo, acurácia de treinamento do RF 81,52% vs. teste 70,21%), indicando overfitting. O framework proposto reduziu a variabilidade da validação cruzada para aproximadamente ±1,0%, demonstrando robustez.

Significado e Alegações

O artigo afirma que a aplicação combinada de seleção de recursos e ajuste de hiperparâmetros é essencial para desenvolver modelos de previsão de falhas em software confiáveis e eficientes. Especificamente:

• Sinergia: A interação entre seleção de recursos e ajuste de parâmetros é crítica; otimizar um sem o outro produz resultados subótimos.
• Trade-off Eficiência vs. Acurácia: Embora GA com CFS ofereça a maior acurácia, métodos univariados como L1 combinados com Busca Aleatorizada fornecem uma alternativa viável e eficiente em tempo para cenários onde os recursos computacionais são limitados.
• Robustez: O framework proposto produz modelos com variabilidade mínima de validação cruzada, garantindo que os ganhos de desempenho sejam generalizáveis e não artefatos de divisões de dados específicas.
• Aplicação Prática: A identificação de atributos críticos (como Métodos Ponderados por Classe - WMC, e Acoplamento entre Objetos - CBO) juntamente com modelos otimizados fornece insights acionáveis para engenheiros de software focarem esforços de teste em módulos de alto risco.

Os autores concluem que, embora seu framework demonstre melhorias significativas sobre os modelos de base, trabalhos futuros devem focar em validar essas descobertas em conjuntos de dados maiores e explorar frameworks adaptativos para previsão de falhas em tempo real.