A Comparative Study of Intrusion Detection Models for DDoS and Brute Force Attack Detection Using Public Cybersecurity Datasets

Resumo Técnico: Um Estudo Comparativo de Modelos de Detecção de Intrusão para Detecção de Ataques DDoS e Brute Force

Declaração do Problema
A rápida expansão dos serviços baseados na internet intensificou o risco de ataques cibernéticos, particularmente ataques de Negação de Serviço Distribuída (DDoS) e Brute Force (Força Bruta). Os Sistemas de Detecção de Intrusão (IDS) tradicionais dependem da detecção baseada em assinaturas, que é eficaz contra ameaças conhecidas, mas falha ao identificar ataques de dia zero ou padrões em evolução. Embora a detecção baseada em anomalias usando aprendizado de máquina ofereça uma solução, a literatura existente frequentemente carece de comparações sistemáticas de diferentes algoritmos sob condições experimentais idênticas. Variações no pré-processamento, engenharia de atributos e métricas de avaliação tornam difícil determinar o modelo mais eficaz para tipos de ataques específicos. Este estudo aborda a necessidade de uma análise comparativa de Random Forest (RF), Extreme Gradient Boosting (XGBoost) e Redes Neurais Artificiais (ANN) utilizando o conjunto de dados CICIDS2017 para identificar o algoritmo mais confiável para detectar ataques DDoS e Brute Force.

Metodologia
A pesquisa emprega uma abordagem quantitativa utilizando aprendizado de máquina supervisionado. O estudo utiliza o conjunto de dados CICIDS2017, um benchmark contendo tráfego de rede realista com 78 atributos numéricos e múltiplas categorias de ataque. A metodologia segue um pipeline estruturado:

1. Pré-processamento de Dados: O conjunto de dados foi limpo substituindo valores infinitos por valores ausentes (NaN) e removendo registros com dados faltantes. Os rótulos de ataque categóricos foram codificados numericamente. Crucialmente, a escala de atributos (StandardScaler) foi aplicada exclusivamente aos inputs da Rede Neural Artificial (ANN), pois os modelos baseados em árvores (RF e XGBoost) não requerem esta etapa.
2. Divisão do Conjunto de Dados: Os dados pré-processados foram divididos em subconjuntos de treinamento e teste usando uma divisão estratificada de 80:20 para manter a distribuição das classes.
3. Implementação do Modelo: Três modelos foram treinados nos mesmos dados:
   • Random Forest: Configurado com 100 árvores de decisão e uma semente aleatória de 42.
   • XGBoost: Configurado com 100 estimadores, uma profundidade máxima de árvore de 6, uma taxa de aprendizado de 0,1 e razões de subamostragem/amostragem de coluna de 0,8.
   • Rede Neural Artificial (ANN): Um modelo de deep learning com uma camada de entrada, três camadas ocultas (com 128, 64 e 32 neurônios, respectivamente) e uma camada de saída. Utilizou ativação ReLU para as camadas ocultas, Softmax para a saída e Dropout (0,3) para evitar overfitting. O modelo foi treinado usando o otimizador Adam e perda de Sparse Categorical Crossentropy.
4. Avaliação: O desempenho foi avaliado usando Acurácia, Precisão, Recall e F1-score. Matrizes de confusão foram analisadas para avaliar Verdadeiros Positivos, Verdadeiros Negativos, Falsos Positivos e Falsos Negativos.

Principais Resultados
Todos os três modelos demonstraram um excelente desempenho de classificação, com taxas de acurácia superiores a 99%. No entanto, diferenças distintas surgiram:

• XGBoost alcançou o maior desempenho em todas as métricas, registrando aproximadamente 99,9975% para Acurácia, Precisão, Recall e F1-score. Produziu a matriz de confusão mais precisa com mínimos falsos positivos e falsos negativos.
• Random Forest apresentou resultados altamente competitivos, seguindo de perto o XGBoost com 99,9965% em todas as métricas.
• Rede Neural Artificial (ANN) alcançou resultados fortes, mas com desempenho ligeiramente inferior (~99,955%) em comparação aos métodos de ensemble. Os autores atribuem isso à sensibilidade do modelo à escala de atributos e à configuração específica de hiperparâmetros utilizada.

A análise de importância de atributos para os modelos baseados em árvores revelou que as características de tráfego de fluxo de retorno (ex: Avg Bwd Segment Size, Bwd Packet Length Max, Bwd Packet Length Std) foram os atributos mais influentes para distinguir o tráfego malicioso de atividades benignas.

Principais Contribuições

• Comparação Sistemática: O estudo fornece uma comparação direta de RF, XGBoost e ANN sob condições idênticas de pré-processamento, treinamento e avaliação, abordando uma lacuna na literatura onde estudos frequentemente utilizam metodologias díspares.
• Benchmarking de Desempenho: Estabelece o XGBoost como o modelo superior para detecção de ataques DDoS e Brute Force dentro do contexto do CICIDS2017, superando tanto o Random Forest quanto a ANN.
• Reprodutibilidade: O artigo oferece um framework reprodutível e parâmetros de configuração detalhados, servindo como referência para pesquisas futuras.
• Insight de Atributos: A análise identifica características específicas de tráfego de fluxo de retorno como indicadores críticos para detecção de intrusão.

Significância e Alegações
O artigo afirma que as técnicas de aprendizado de conjunto (ensemble learning), particularmente XGBoost e Random Forest, são altamente eficazes para a detecção de intrusão moderna, oferecendo confiabilidade com taxas extremamente baixas de falsos positivos e negativos. Os autores afirmam que esses métodos baseados em árvores proporcionam um equilíbrio prático entre alto desempenho de classificação e eficiência computacional, tornando-os adequados para implantação em ambientes operacionais de segurança de rede.

O estudo conclui que, embora o deep learning (ANN) seja capaz, os métodos de ensemble podem ser mais robustos para esta tarefa específica sob as condições testadas. As descobertas pretendem auxiliar profissionais de cibersegurança e administradores de rede na seleção de algoritmos de aprendizado de máquina apropriados para o desenvolvimento de IDS inteligentes. Os autores reconhecem limitações, observando que o estudo dependeu de um conjunto de dados benchmark estático em vez de tráfego ao vivo e focou apenas em ataques DDoS e Brute Force, sugerindo que trabalhos futuros poderiam explorar modelos híbridos, aplicações em tempo real e categorias de ataques mais amplas.