Improving Requirements Classification with SMOTE-Tomek Preprocessing

Resumo Técnico: Melhoria na Classificação de Requisitos com Pré-processamento SMOTE-Tomek

Declaração do Problema
A engenharia de requisitos (ER) é crítica para traduzir as necessidades das partes interessadas em especificações de sistema, contudo a classificação de requisitos frequentemente permanece um processo manual e inconsistente. Embora a aprendizagem de máquina (AM) ofereça automação, sua aplicação é dificultada pelo desequilíbrio severo de classes em conjuntos de dados do mundo real, especificamente no conjunto de dados PROMISE amplamente utilizado. Este conjunto de dados contém 969 requisitos de software categorizados em 12 tipos distintos (um funcional e 11 subtipos não funcionais). A distribuição é altamente enviesada; por exemplo, a categoria "Portabilidade" representa apenas 1,24% dos dados, enquanto "Segurança" compreende 12,9%. Este desequilíbrio faz com que modelos padrão de AM tendam às classes majoritárias, resultando em generalização deficiente e baixo desempenho nas classes minoritárias. Além disso, embora os modelos de aprendizagem profunda (AP) tenham avançado significativamente no Processamento de Linguagem Natural (PLN), sua dependência de conjuntos de dados massivos e recursos computacionais torna-os menos práticos para projetos de ER com recursos limitados.

Metodologia
Este estudo propõe uma estratégia de pré-processamento híbrida combinando SMOTE (Técnica de Sobreamostragem Sintética de Classes Minoritárias) e Links de Tomek (SMOTE-Tomek) para abordar tanto o desequilíbrio de classes quanto o ruído nos dados.

• Representação de Dados: Requisitos de texto não estruturados são convertidos em vetores numéricos usando Frequência de Termo-Frequência Inversa de Documento (TF-IDF).
• Processo SMOTE-Tomek:
  1. Sobreamostragem: O SMOTE gera amostras sintéticas para classes minoritárias via interpolação linear entre amostras existentes e seus vizinhos mais próximos, aumentando a diversidade de classes sem simples duplicação.
  2. Limpeza: Os Links de Tomek identificam e removem pares de amostras que são vizinhos mais próximos mútuos, mas pertencem a classes diferentes (tipicamente amostras limítrofes ou ruidosas). Esta etapa remove o membro da classe majoritária desses pares para melhorar a separabilidade das classes.
• Estrutura de Validação: Para garantir avaliação rigorosa e prevenir vazamento de dados, o estudo emprega Validação Cruzada Estratificada de 10 Dobras. Crucialmente, o reamostragem SMOTE-Tomek é aplicada apenas às dobras de treinamento (9 dobras) em cada iteração, deixando a dobra de validação (1 dobra) intocada para preservar a distribuição original dos dados.
• Modelos Avaliados: O estudo compara um conjunto diversificado de algoritmos clássicos de AM, incluindo Regressão Logística (RL), Árvores de Decisão, Floresta Aleatória, Máquinas de Vetores de Suporte (kernels Linear e RBF), Naive Bayes, K-Vizinhos Mais Próximos (KNN), Gradiente de Reforço, AdaBoost e CatBoost.

Principais Contribuições

1. Aplicação Sistemática: O artigo aplica SMOTE-Tomek dentro de uma estrutura de K-dobras estratificada especificamente projetada para manter os conjuntos de validação livres de artefatos de reamostragem, garantindo uma avaliação imparcial das capacidades de generalização.
2. Avaliação Comparativa: Fornece uma análise abrangente de desempenho de modelos clássicos de AM no conjunto de dados PROMISE desequilibrado, demonstrando que modelos leves podem alcançar alta eficiência sem a sobrecarga computacional da aprendizagem profunda.
3. Análise de Interpretabilidade: Ao utilizar Regressão Logística, o estudo analisa coeficientes de características para interpretar a relação entre palavras específicas e tipos de requisitos, oferecendo insights sobre como o pré-processamento estabiliza a aprendizagem de características.

Resultados
A integração de SMOTE-Tomek produziu melhorias significativas em múltiplas métricas, particularmente para Regressão Logística:

• Regressão Logística (RL): Alcançou o melhor desempenho, melhorando a acurácia média de uma linha de base de 58,31% ± 2,05% para 76,16% ± 2,58%. O Coeficiente de Correlação de Matthews (MCC) aumentou aproximadamente 7% (de 0,4181 para 0,6736). A otimização de hiperparâmetros (C=10, regularização L2, solucionador SAGA) refinou ainda mais esses resultados.
• Outros Modelos: Naive Bayes e Gradiente de Reforço também apresentaram ganhos substanciais, superando 70% de acurácia. SVM Linear melhorou de 71,10% para 74,20%.
• Resultados Negativos: Por outro lado, métodos de ensemble como AdaBoost e Floresta Aleatória performaram mal ou degradaram significativamente após o pré-processamento (a acurácia do AdaBoost caiu para 16,10%), sugerindo que esses algoritmos específicos são altamente sensíveis à distribuição reamostrada neste contexto.
• Estabilidade de Características: A análise dos coeficientes da RL revelou que o modelo de linha de base exibiu pesos extremos e variáveis para classes minoritárias (indicando sobreajuste ao ruído). Em contraste, a abordagem SMOTE-Tomek estabilizou esses coeficientes, forçando o modelo a confiar em um conjunto mais robusto e generalizado de características lexicais.

Significado e Alegações
O artigo alega que SMOTE-Tomek fornece uma solução robusta, escalável e interpretável para classificação de requisitos em conjuntos de dados desequilibrados. Demonstra que modelos clássicos de AM, quando acoplados a pré-processamento adequado, podem lidar efetivamente com as nuances do conjunto de dados PROMISE sem exigir os extensos recursos computacionais da aprendizagem profunda. O estudo enfatiza que, embora os resultados sejam promissores, o pequeno tamanho e a variedade limitada do conjunto de dados PROMISE permanecem uma restrição. Os autores posicionam este trabalho como uma abordagem prática para ambientes com recursos limitados e sugerem que a metodologia é aplicável a outros domínios enfrentando desafios semelhantes de desequilíbrio de dados, como análise de documentos jurídicos ou de saúde. Trabalho futuro é proposto para explorar conjuntos de dados maiores e abordagens híbridas combinando modelos leves com aprendizagem profunda.