Evaluation of AutoML Frameworks for IDS under Imbalanced Data Conditions of the NSL-KDD Dataset

Resumo Técnico: Avaliação de Frameworks de AutoML para IDS sob Condições de Dados Desbalanceados do Conjunto de Dados NSL-KDD

Definição do Problema
Os Sistemas de Detecção de Intrusão em Rede (NIDS) dependem cada vez mais de aprendizado de máquina (ML) para identificar atividades maliciosas. No entanto, um desafio crítico persiste: o severo desbalanceamento de classes inerente aos conjuntos de dados de tráfego de rede do mundo real, como o NSL-KDD. Nesses conjuntos de dados, as categorias de ataques minoritários (especificamente Remote-to-Local [R2L] e User-to-Root [U2R]) são significativamente sub-representadas em comparação com as classes majoritárias (Normal e Denial of Service). Esse desbalanceamento enviesa os processos de aprendizado padrão em direção às classes majoritárias, resultando em um desempenho de detecção deficiente para ataques raros. Embora os frameworks de Aprendizado de Máquina Automatizado (AutoML) ofereçam a simplificação do pipeline de ML por meio de pré-processamento automatizado, seleção de algoritmos e otimização de hiperparâmetros, sua eficácia em lidar com o desbalanceamento multiclasse severo dentro do domínio de NIDS permanece pouco explorada. Estudos anteriores frequentemente simplificam este problema convertendo-o em classificação binária ou removendo classes minoritárias, falhando, assim, em fornecer uma avaliação realista dos comportamentos de aprendizado sensíveis ao desbalanceamento.

Metodologia
Este trabalho conduz uma análise comparativa de nove frameworks de AutoML de código aberto aplicados ao conjunto de dados NSL-KDD sob um protocolo experimental unificado e reprodutível. O estudo preserva a distribuição original de cinco classes (Normal, DoS, Probe, R2L, U2R) para manter a severidade do desbalanceamento, em vez de simplificar a tarefa.

Os frameworks avaliados incluem:

• AutoGluon, PyCaret, TPOT, H2O AutoML, Auto-Sklearn, FLAML, LazyPredict, Auto-PyTorch e AutoKeras.

O design experimental foca nas arquiteturas internas desses frameworks, analisando especificamente:

1. Construção de Pipeline: Como cada framework lida com carregamento de dados, divisão (splitting) e avaliação iterativa.
2. Estratégias de Otimização: O uso de programação genética (TPOT), otimização Bayesiana (Auto-Sklearn, Auto-PyTorch, AutoKeras), otimização frugal de custo (FLAML) e busca de arquitetura neural (AutoKeras, Auto-PyTorch).
3. Mecanismos de Tratamento de Desbalanceamento: A presença e ativação de reamostragem nativa (ex: SMOTE), ponderação de classe e estratégias de ensemble.

O estudo utiliza o subconjunto KDDTest+ para avaliação. O desempenho é medido usando macro-F1 score, weighted-F1, acurácia, precisão e recall. Crucialmente, a métrica macro-F1 é priorizada para garantir que a discriminação de classes minoritárias não seja mascarada por uma alta acurácia geral. Os resultados são comparados com trabalhos relacionados que empregam pipelines manuais e otimizados artesanalmente.

Principais Resultados
A avaliação revela disparidades significativas de desempenho entre os frameworks, diretamente correlacionadas com sua capacidade de lidar com o desbalanceamento de classes:

• Melhores Desempenhos: O PyCaret alcançou o melhor desempenho geral com um macro-F1 score de 66%, seguido pelo AutoGluon com 55%. O sucesso do PyCaret é atribuído ao seu design modular utilizando stacking, ensembles e otimização refinada de hiperparâmetros (via Optuna). O desempenho do AutoGluon advém de sua estratégia de ensemble ponderado, que combina modelos hierarquicamente (NeuralNetFastAI, Extra Trees e LGBM) para mitigar a dominância da classe majoritária.
• Piores Desempenhos: Frameworks que carecem de suporte nativo para balanceamento ou que priorizam a eficiência computacional sobre espaços de busca complexos mostraram degradação significativa. TPOT e FLAML atingiram macro-F1 scores de 49% e 48%, respectivamente. O LazyPredict, que não oferece otimização de hiperparâmetros ou suporte a balanceamento, também teve um desempenho insatisfatório.
• Comparação com Modelos Artesanais (Handcrafted): O estudo observa que arquiteturas artesanais (ex: Random Forest especializada, Gradient Boosting e Voting Ensembles de literatura prévia) geralmente superaram os frameworks de AutoML configurados por padrão, atingindo macro-F1 scores entre 68,99% e 71,10%. Isso sugere que, embora o AutoML forneça basais robustos, ele atualmente carece da adaptação específica ao conjunto de dados (seleção de atributos, ponderação adaptativa, undersampling) encontrada em soluções ajustadas manualmente.
• Sensibilidade da Métrica: Os resultados demonstram que a otimização orientada para acurácia é insuficiente para cenários de IDS desbalanceados. Frameworks que otimizam para acurácia frequentemente coexistem com uma baixa generalização para categorias de ataques raros.

Contribuições e Significância
O artigo estabelece um benchmark padronizado para avaliar a detecção de intrusão baseada em AutoML sob desbalanceamento multiclasse severo. Suas principais contribuições incluem:

1. Avaliação Realista: Ao preservar a distribuição original de cinco classes do NSL-KDD, este trabalho evita as armadilhas da simplificação binária, oferecendo um teste mais rigoroso de aprendizado consciente do desbalanceamento.
2. Análise Arquitetural: O estudo identifica que frameworks que incorporam aprendizado de ensemble e otimização consciente do desbalanceamento (como reamostragem explícita ou ponderação de classe) superam significativamente aqueles que não o fazem.
3. Identificação de Limitações: O trabalho destaca que os pipelines de AutoML atuais frequentemente dependem de espaços de busca generalizados sem adaptação específica ao conjunto de dados, limitando sua eficácia na detecção de ataques raros como R2L e U2R em comparação com soluções artesanais.
4. Reprodutibilidade: Os autores fornecem um repositório de código fonte publicamente disponível para garantir a reprodutibilidade do protocolo experimental.

Conclusão
O artigo conclui que, embora os frameworks de AutoML como PyCaret e AutoGluon possam fornecer basais competitivos para NIDS, eles enfrentam atualmente limitações no tratamento de desbalanceamento extremo de classes sem intervenção manual ou configuração específica. Os autores defendem a futura integração de estratégias de balanceamento nativas — como sobreamostragem automatizada, ponderação de classe e validação estratificada — diretamente nos procedimentos de busca e otimização de AutoML para melhorar a adaptabilidade e a robustez em aplicações de cibersegurança.