Machine Learning for Network Attacks Classification and Statistical Evaluation of Machine Learning for Network Attacks Classification and Adversarial Learning Methodologies for Synthetic Data Generation

Resumo Técnico: Classificação de Ataques de Rede e Avaliação de Geração de Dados Sintéticos

1. Problema e Contexto

A detecção de intrusões em redes (NIDS) baseada em aprendizado supervisionado enfrenta desafios crescentes devido à sofisticação dos ataques modernos, que utilizam técnicas de Inteligência Artificial Generativa (GenAI) e Aprendizado por Reforço. Dois problemas principais são abordados:

1. Estabilidade e Confiabilidade: A necessidade de modelos de detecção que não apenas alcancem métricas de classificação altas, mas que sejam estáveis e confiáveis em cenários reais.
2. Geração de Dados Sintéticos: A escassez de dados de ataque equilibrados e a necessidade de criar conjuntos de dados sintéticos que preservem as propriedades estatísticas, utilidade e privacidade dos dados reais, sem comprometer a segurança (evitando vazamento de dados).

O artigo propõe uma abordagem unificada utilizando o conjunto de dados UMNIDS (Unified Multi-modal Network Intrusion Detection System), que integra dados de fluxo, carga útil de pacotes e características contextuais temporais, derivados de reprocessamento de CIC-IDS-2017, CIC-IoT-2023, UNSW-NB15 e CIC-DDoS-2019.

2. Metodologia

O trabalho é dividido em duas tarefas principais:

A. Classificação de Ataques (Detecção de Intrusão)

• Pré-processamento: Limpeza de dados, codificação de rótulos, tratamento de outliers (mantendo-os e usando Robust Scaler), e engenharia de características. Para lidar com o desbalanceamento de classes, foram testadas técnicas de oversampling (SMOTE, ADASYN) e undersampling, selecionando-se o oversampling para minimizar a perda de informação.
• Modelos: Foram comparados modelos de linha de base (Regressão Logística, SVM) contra modelos de árvore e ensemble (XGBoost, Random Forest, Extra Trees, Gradient Boosting).
• Validação: Utilização de validação cruzada estratificada de 10 dobras (stratified 10-fold cross-validation) com e sem calibração de probabilidade para garantir estabilidade.

B. Geração e Avaliação de Dados Sintéticos

• Algoritmos Generativos: Foi realizada uma comparação extensa de diversas arquiteturas:
  • GANs Clássicas e Condicionais: Vanilla-GAN, WGAN, WGAN-GP, f-GANs (KL e Hellinger), CTGAN (básico e com mistura Bayesiana).
  • Autoencoders Variacionais: TVAE.
  • Modelos Avançados: Diffusion Forests (baseado em XGBoost), LLMs (DistilGPT2) e modelos com privacidade diferencial (PATE-CTGAN).
• Framework de Avaliação: Utilização do Synthetic Data Vault (SDV) para métricas de qualidade e diagnóstico.
• Testes Estatísticos Avançados:
  • TRTS e TSTR: Testes de "Treinar-Real-Testar-Sintético" e "Treinar-Sintético-Testar-Real" para avaliar a utilidade dos dados.
  • Divergências f: Medidas como Jensen-Shannon, Hellinger e Wasserstein para comparar distribuições univariadas.
  • Testes Não Paramétricos: Teste de Hotelling's T² regularizado (médias multivariadas), Norma de Frobenius (matrizes de covariância) e MMD (Maximum Mean Discrepancy) para distribuições conjuntas.
  • Privacidade: Avaliação de vazamento de dados usando a pontuação NNDR (Nearest Neighbor Distance Record).

3. Resultados Principais

Desempenho na Classificação:

• Modelos baseados em árvores e ensembles superaram significativamente os modelos de linha de base.
• XGBoost destacou-se como o modelo mais estável e eficiente, alcançando 96,40% de precisão e 96,29% de recall no conjunto de teste, com F1-score de 96,33%.
• Modelos como SVM e Regressão Logística falharam em classificar corretamente as classes minoritárias (precisão < 10% no teste).

Desempenho na Geração de Dados Sintéticos:

• Melhores Modelos: CTGAN-2 (com mistura Bayesiana), XGB-DF (Diffusion Forest) e DistilGPT2 (LLM) demonstraram a melhor performance global.
  • CTGAN-2 atingiu 98,91% na pontuação de Qualidade e 100% na pontuação de Diagnóstico do SDV.
  • XGB-DF e DistilGPT2 também atingiram pontuações próximas de 100% em qualidade e diagnóstico.
• Distinguibilidade: Os modelos CTGAN-2, XGB-DF e DistilGPT2 foram difíceis de distinguir de dados reais por classificadores binários (Random Forest e Regressão Logística), com F1-scores próximos de 50-54% (indicando aleatoriedade na distinção) e ROC-AUC próximo de 64%.
  • O modelo PATE-CTGAN foi facilmente distinguível (F1 de 100%), indicando que a privacidade diferencial excessiva degradou a utilidade dos dados.
• Validação Estatística:
  • Médias e Covariâncias: CTGAN-2, XGB-DF e DistilGPT2 não apresentaram diferenças estatisticamente significativas nas médias multivariadas (p-value > 0,05).
  • Distribuição Conjunta (MMD): Os três modelos acima não rejeitaram a hipótese nula de que as distribuições conjuntas são iguais (p-value > 0,05), confirmando alta fidelidade estatística.
  • Privacidade: O PATE-CTGAN apresentou as melhores pontuações NNDR (mais privacidade), enquanto os outros modelos mostraram sinais de overfitting (menor privacidade), mas com alta utilidade.

4. Contribuições Chave

1. Dataset Unificado: Criação e uso do UMNIDS, um dataset multimodal reprocessado que integra fluxo, payload e contexto temporal de múltiplas fontes de dados de intrusão.
2. Framework de Avaliação Rigoroso: Combinação inédita do framework SDV com testes estatísticos não paramétricos robustos (Hotelling, Frobenius, MMD) e testes de utilidade (TRTS/TSTR) para avaliar dados sintéticos em segurança cibernética.
3. Comparação Abrangente de Arquiteturas: Avaliação sistemática de GANs, VAEs, Diffusion Forests e LLMs, demonstrando que modelos condicionais avançados (CTGAN-2) e modelos baseados em diffusion (XGB-DF) superam as GANs tradicionais e modelos simples.
4. Análise de Trade-off: Demonstração clara do compromisso entre privacidade (PATE) e utilidade/fidelidade, mostrando que a privacidade diferencial estrita pode tornar os dados sintéticos inúteis para tarefas de aprendizado de máquina.

5. Significado e Conclusão

O artigo demonstra que é possível gerar dados sintéticos de alta fidelidade que preservam a estrutura estatística complexa de ataques de rede, permitindo o treinamento de modelos de detecção robustos sem depender exclusivamente de dados reais sensíveis.

A descoberta mais relevante é que arquiteturas condicionais avançadas (CTGAN-2) e modelos de difusão (XGB-DF) oferecem o melhor equilíbrio entre fidelidade, utilidade e privacidade, superando as GANs tradicionais. Além disso, o estudo valida que modelos de ensemble como o XGBoost são superiores para a detecção de intrusões em dados tabulares.

Este trabalho fornece uma base sólida para a criação de laboratórios de testes de segurança cibernética realistas e éticos, onde dados sintéticos podem substituir dados reais para treinamento e avaliação de sistemas de defesa, mitigando riscos de privacidade e viés de dados.