💻 computer science

Improving Test Case Prioritization in Continuous Integration Environments Using Multilayer Perceptron: An Empirical Comparative Study

Este estudo empírico demonstra que um Perceptron Multicamadas (MLP) supera significativamente cinco algoritmos clássicos de aprendizado de máquina na priorização de casos de teste em ambientes de integração contínua, alcançando eficiência de detecção de falhas e significância estatística superiores em múltiplos conjuntos de dados industriais.

Autores originais: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

Publicado 2026-09-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No vasto e acelerado mundo do desenvolvimento de software moderno, os programas são atualizados constantemente. Para manter esses sistemas confiáveis, engenheiros executam verificações automatizadas chamadas testes de regressão sempre que uma alteração é feita. Imagine uma biblioteca enorme onde cada livro deve ser verificado quanto a danos toda vez que uma nova página é adicionada. Se um bibliotecário tivesse que verificar cada livro individualmente, o processo levaria uma eternidade e a biblioteca ficaria atrasada. No software, isso significa esperar tempo demais para encontrar um recurso quebrado, o que pode ser caro e frustrante. Para resolver isso, pesquisadores utilizam uma estratégia chamada priorização de casos de teste. Em vez de executar testes em uma ordem aleatória, eles tentam descobrir quais testes específicos têm maior probabilidade de falhar primeiro. Ao executar os testes mais suspeitos logo no início, as equipes podem encontrar e corrigir problemas muito mais rápido, economizando tempo e recursos.

Por anos, cientistas da computação têm tentado usar o aprendizado de máquina para ajudar nessa tarefa de ordenação. Estes são programas de computador que aprendem com dados passados para fazer previsões. No entanto, um estudo recente da Universidade Abubakar Tafawa Balewa, na Nigéria, sugere que, embora existam muitos métodos, um tipo específico de modelo de aprendizado pode ser o mais eficaz para este trabalho. Os pesquisadores, Musa Isyaku, Abdulsalam Ya'u Gital e Haruna Chiroma, buscaram verificar se um modelo chamado Perceptron Multicamadas poderia superar outros métodos populares ao filtrar milhares de casos de teste em um ambiente de teste contínuo. Eles não apenas adivinharam; eles colocaram o modelo à prova contra outros cinco algoritmos estabelecidos usando dados do mundo real de empresas de robótica industrial e tecnologia de rede.

A equipe reuniu uma coleção massiva de registros históricos de testes da ABB Robotics, uma empresa que constrói robôs industriais. Este conjunto de dados continha mais de 64.000 execuções de testes individuais de 106 ciclos de teste diferentes. Neste cenário do mundo real, a maioria dos testes passa com sucesso, enquanto apenas uma pequena fração falha. Isso cria uma situação complicada para os modelos de computador: se um programa simplesmente adivinhar que todos os testes passarão, ele estará certo na maior parte do tempo, mas ignorará completamente os poucos testes que realmente falham. Os pesquisadores precisavam de um modelo que pudesse detectar essas falhas raras sem se distrair com o número esmagador de sucessos. Para garantir que suas descobertas não fossem apenas um acaso, eles também testaram sua abordagem em outros três conjuntos de dados industriais de diferentes empresas, verificando se os resultados se mantinham em diferentes ambientes.

Eles compararam seu modelo escolhido, o Perceptron Multicamadas, contra outras cinco técnicas comuns de aprendizado de máquina: Floresta Aleatória (Random Forest), XGBoost, Regressão Logística, Máquina de Vetores de Suporte (Support Vector Machine) e k-Vizinhos Mais Próximos (k-Nearest Neighbors). Para tornar a comparação justa, eles executaram todos os seis modelos sob as exatas mesmas condições, usando a mesma divisão de dados e os mesmos métodos para ajustar suas configurações. O objetivo era ver qual modelo conseguiria classificar os testes que falham no topo da lista, garantindo que eles fossem executados primeiro. Os pesquisadores mediram o sucesso não apenas pela frequência com que o modelo estava correto no geral, mas pela rapidez com que ele conseguia identificar as falhas. Eles usaram uma pontuação específica chamada Porcentagem Média de Falhas Detectadas, que essencialmente mede o quão cedo na lista os testes ruins aparecem. Uma pontuação mais alta significa que o modelo é melhor em capturar problemas precocemente.

Os resultados foram claros e consistentes. No conjunto de dados primário da ABB Robotics, o modelo Perceptron Multicamadas alcançou uma precisão de 99,77 por cento e uma pontuação de 86,35 por cento na métrica de detecção de falhas. Embora outros modelos tenham tido um bom desempenho, o Perceptron Multicamadas classificou consistentemente os testes que falham um pouco acima da competição. Os pesquisadores utilizaram testes estatísticos rigorosos para confirmar que essa diferença não se devia ao acaso. A análise mostrou que o Perceptron Multicamadas era estatisticamente superior a todos os outros cinco modelos, com um nível de confiança que não deixava margem para dúvidas. Mesmo quando ajustaram as configurações dos modelos para ver se podiam melhorá-los, o Perceptron Multicamadas permaneceu como o melhor executor, enquanto alguns dos outros modelos tornaram-se ligeiramente piores após o ajuste.

Uma das lições mais importantes deste estudo é sobre como medimos o sucesso. Os pesquisadores descobriram que olhar apenas para a precisão geral pode ser enganoso neste campo. Como a maioria dos testes passa, um modelo pode ter uma pontuação de precisão muito alta simplesmente ao ignorar as falhas. O estudo demonstrou que, para entender verdadeiramente quão bem um sistema de priorização funciona, deve-se observar quão bem ele encontra a minoria de testes que falham e quão cedo ele os encontra. O Perceptron Multicamadas destacou-se nisso, provando que modelos de aprendizado profundo podem lidar com a natureza complexa e desigual dos dados de teste do mundo real melhor do que os métodos tradicionais.

O estudo também analisou se este modelo poderia funcionar com dados de diferentes empresas. Quando testado nos conjuntos de dados da IOFROL, PAINTCONTROL e Westermo Network Technologies, o Perceptron Multicamadas manteve um desempenho forte, mostrando que não é apenas um encaixe de sorte para um conjunto específico de dados, mas uma ferramenta robusta que pode se adaptar a diferentes contextos industriais. Os pesquisadores concluíram que, para organizações que realizam testes automatizados em larga escala, adotar este tipo específico de modelo de aprendizado de máquina poderia acelerar significativamente o processo de encontrar bugs. Ao usar um modelo que aprende padrões complexos do histórico, as equipes de software podem garantir que seus testes mais críticos sejam sempre executados primeiro, mantendo seus sistemas confiáveis e seus ciclos de desenvolvimento avançando sem atrasos desnecessários.

Resumo Técnico: Melhorando a Priorização de Casos de Teste em Ambientes de Integração Contínua Usando Perceptron Multicamadas

Definição do Problema
A Priorização de Casos de Teste (TCP, do inglês Test Case Prioritization) é uma técnica de otimização crítica em testes de regressão de Integração Contínua (CI), visando reordenar os casos de teste para detectar falhas o mais cedo possível. Embora o aprendizado de máquina (ML) tenha sido cada vez mais aplicado à TCP, a literatura existente apresenta diversas limitações: uma falta de comparações empíricas sistemáticas entre modelos de aprendizado profundo (deep learning) e modelos clássicos de ML sob condições experimentais idênticas, uma dependência excessiva da acurácia de classificação (que é enganosa em conjuntos de dados com classes desbalanceadas) e estudos insuficientes de generalização entre diferentes conjuntos de dados. Ambientes industriais de teste de regressão frequentemente sofrem com o desbalanceamento de classes (aproximadamente 80% de casos de teste passando vs. 20% falhando), tornando métricas de acurácia padrão inadequadas para avaliar a eficiência da detecção de falhas.

Metodologia
Este estudo emprega uma abordagem de classificação binária supervisionada para prever a probabilidade de falha de um caso de teste ( $y=1$ ) com base em atributos históricos de execução. A pesquisa utiliza um framework experimental unificado envolvendo seis modelos de ML: um Perceptron Multicamadas (MLP) e cinco baselines clássicos (Random Forest, XGBoost, Regressão Logística, Support Vector Machine e k-Nearest Neighbors).

Conjuntos de Dados: A avaliação primária utiliza o conjunto de dados industrial da ABB Robotics (64.024 execuções de casos de teste ao longo de 106 ciclos de CI). Para avaliar a generalização, três conjuntos de dados industriais adicionais (IOFROL, PAINTCONTROL e Westermo Network Technologies) foram incluídos.
Pré-processamento: O fluxo de trabalho envolveu o tratamento de valores ausentes, remoção de atributos não informativos (ex: Id, Name), transformação logarítmica de atributos de duração (Duration) enviesados e aplicação de StandardScaler. O desbalanceamento de classes foi abordado utilizando o peso de classe balanceado durante o treinamento.
Configuração do Modelo: Todos os modelos foram implementados dentro de um Pipeline scikit-learn para evitar vazamento de dados (data leakage). A otimização de hiperparâmetros foi realizada via 5-fold GridSearchCV no conjunto de treinamento, otimizando para o F1-score da classe minoritária (falha). A configuração ideal identificada para o MLP foi de duas camadas ocultas (64, 32 neurônios), ativação ReLU e uma taxa de aprendizado de 0.001.
Métricas de Avaliação: O desempenho foi medido usando Acurácia, Precisão, Recall, F1-score e a Porcentagem Média de Falhas Detectadas (APFD). O APFD foi priorizado como a métrica principal para TCP, pois quantifica a velocidade da detecção de falhas.
Validação Estatística: Para abordar as limitações de uma única divisão de treino-teste, o estudo gerou 1.000 reamostragens de bootstrap do conjunto de teste retido. Testes de postos sinalizados de Wilcoxon (Wilcoxon signed-rank tests) foram aplicados para determinar a significância estatística ( $\alpha=0.05$ ) e os tamanhos de efeito ( $|r|$ ) entre o modelo MLP e os modelos baselines.

Resultos Principais
No conjunto de dados primário da ABB, o modelo MLP demonstrou desempenho de alto nível, embora com nuances específicas em comparação aos baselines:

Desempenho: O MLP atingiu 99,77% de Acurácia, 100% de Precisão, 99,15% de Recall e 99,57% de F1-score. Embora o XGBoost tenha alcançado um F1-score padrão marginalmente superior (0.9960 vs. 0.9957), o MLP igualou ou superou os baselines na configuração final ajustada. O MLP atingiu um APFD de 86,35%, empatando com a Regressão Logística e o KNN, e superando ligeiramente o XGBoost (86,25%) e o SVM (86,33%) no cenário ajustado.
Significância Estatística: Os testes de postos sinalizados de Wilcoxon confirmaram que a superioridade do MLP sobre todos os cinco baselines foi estatisticamente significativa ( $p < 0.001$ ) com grandes tamanhos de efeito ( $|r| \geq 0.98$ ). Notavelmente, apesar de o MLP e o Random Forest compartilharem um APFD médio idêntico de 0.8635 na análise de bootstrap, o teste estatístico gerou um resultado significativo favorecendo o MLP, assim como ocorreu na comparação contra o KNN, que também compartilhou o escore de APFD de 0.8635.
Sensibilidade de Hiperparâmetros: Embora o XGBoost tenha mostrado um F1-score marginalmente maior com parâmetros padrão, seu desempenho degradou após o ajuste (o APFD caiu para 86,25%), enquanto o MLP permaneceu estável, sugerindo que o MLP é menos sensível a variações de hiperparâmetros neste conjunto de dados específico.
Generalização: O MLP demonstrou robustez nos conjuntos de dados IOFROL e PAINTCONTROL, mantendo alta acurácia (aprox. 89–94%) e escores de APFD (aprox. 0.81–0.83), embora o desempenho tenha variado no conjunto de dados Westermo devido ao desbalanceamento extremo de classes (baixo recall).

Principais Contribuições

Comparação Empírica: Fornece uma comparação rigorosa, lado a lado, de um modelo de aprendizado profundo (MLP) contra cinco algoritmos clássicos de ML sob condições experimentais estritamente idênticas em quatro conjuntos de dados industriais.
Validação de Métricas: Demonstra empiricamente que a acurácia de classificação é uma métrica não confiável para TCP em ambientes de CI desbalanceados, defendendo o APFD e o F1-score como critérios primários de avaliação.
Rigor Estatístico: Introduz um framework de validação robusto usando reamostragem de bootstrap de 1.000 iterações combinada com testes de postos sinalizados de Wilcoxon para estabelecer significância estatística em designs experimentais de divisão única, mesmo quando os escores médios são idênticos.
Análise de Hiperparâmetros: Oferece evidência empírica sobre o impacto do ajuste de hiperparâmetros, mostrando que, embora o ajuste seja benéfico, a configuração ótima do MLP (duas camadas ocultas, ReLU) é relativamente estável e menos complexa que o máximo do espaço de busca.

Significância e Alegações
O artigo alega que os Perceptrons Multicamadas podem modelar efetivamente as relações complexas e não lineares entre os atributos dos casos de teste e as probabilidades de falha, superando técnicas tradicionais de ML em tarefas de TCP baseadas em CI quando avaliadas com métodos estatísticos rigorosos. O estudo postula que modelos de aprendizado profundo oferecem um caminho viável para melhorar as taxas de detecção de falhas em ambientes industriais.

Crucialmente, os autores enfatizam que suas descobertas apoiam a implementação da TCP baseada em MLP como um "melhoramento de substituição direta" (drop-in enhancement) em pipelines de CI existentes, exigindo apenas dados históricos de execução. O estudo conclui que, embora a acurácia isolada seja insuficiente para avaliar a TCP, a combinação de altos escores de APFD e validação estatística rigorosa fornece evidências fortes para a adoção do MLP em testes de regressão. Os autores observam que trabalhos futuros devem explorar aprendizado online, priorização orientada a custos (APFDc) e explicabilidade, mas o presente estudo estabelece a eficácia fundamental do MLP sobre os baselines clássicos neste domínio.

Mais como este