Temporal Analysis of NetFlow Datasets for Network Intrusion Detection Systems

1. Declaração do Problema

Apesar do papel crítico das características temporais (por exemplo, tempo entre chegadas de pacotes, duração do fluxo) na detecção de ataques de rede sofisticados, os conjuntos de dados de referência baseados em NetFlow existentes para Sistemas de Detecção de Intrusão em Redes (NIDS) carecem dessas características específicas.

• A Lacuna: Estudos anteriores padronizaram conjuntos de dados NetFlow (por exemplo, UNSW-NB15, BoT-IoT, ToN-IoT, CSE-CIC-IDS2018) para garantir conjuntos de características consistentes para avaliação de Aprendizado de Máquina (ML). No entanto, essas versões padronizadas omitiram dados temporais, tornando-as inadequadas para modelos de redes neurais sequenciais (como LSTMs) ou análise de séries temporais.
• A Consequência: Sem características temporais, os modelos de ML não podem aprender efetivamente a dinâmica de temporização dos ataques (por exemplo, padrões de rajada, ataques lentos e constantes, ou sinalização periódica), limitando a detecção de ameaças adaptativas e em evolução temporal.

2. Metodologia

Os autores abordaram essa lacuna através de uma abordagem de duas frentes: reconstrução de conjuntos de dados e análise temporal abrangente.

A. Reconstrução de Conjuntos de Dados (NF3-Datasets)

Os autores converteram quatro conjuntos de dados de referência amplamente utilizados em um formato NetFlow unificado de terceira geração (NF3-Datasets):

1. Conjuntos de Dados Originais: UNSW-NB15, BoT-IoT, ToN-IoT e CSE-CIC-IDS2018.
2. Ferramenta de Conversão: Arquivos PCAP brutos foram processados usando nProbe (Ntop) para gerar registros NetFlow v9.
   • Configuração Chave: A flag --dont-reforge-time foi utilizada para preservar os carimbos de data/hora originais dos arquivos PCAP, garantindo a integridade temporal.
3. Enriquecimento de Características: Os autores adicionaram duas categorias de características temporais ao conjunto existente de 43 características:
   • Temporização do Fluxo: Carimbos de data/hora precisos de início e fim (em milissegundos) para cada fluxo.
   • Tempo entre Chegadas de Pacotes (IAT): Agregados estatísticos (Mínimo, Máximo, Média, Desvio Padrão) dos intervalos de tempo entre pacotes consecutivos para ambas as direções Origem-Destino e Destino-Origem.
4. Rotulagem: Os fluxos foram re-rotulados correspondendo identificadores de 5-tupla e carimbos de data/hora aos arquivos de verdade fundamental, criando rótulos de ataque binários (Benigno/Malicioso) e multiclasse.

B. Técnicas de Análise Temporal

Os autores realizaram uma análise multifacetada dos novos conjuntos de dados:

• Análise de Distribuição: Examinou a Distribuição de Comprimento do Fluxo (FLD) e histogramas de IAT para identificar padrões distintos entre tráfego benigno e malicioso.
• Visualização de Séries Temporais: Agregou volume de tráfego (bytes/pacotes) e características categóricas (IPs/portas únicos) por minuto para visualizar o início, duração e término do ataque.
• Análise Tempo-Frequência (TFD): Aplicou Espectrogramas (uma técnica de processamento de sinais) para transformar dados de séries temporais de tráfego em representações tempo-frequência. Isso foi testado para verificar se diferentes classes de ataque exibem "assinaturas" únicas no domínio da frequência.

3. Principais Contribuições

1. Lançamento Público dos NF3-Datasets: A criação e liberação pública de quatro conjuntos de dados NetFlow enriquecidos contendo 57 características, incluindo métricas temporais críticas anteriormente ausentes em benchmarks padrão.
2. Caracterização Temporal Abrangente: Uma análise detalhada demonstrando como diferentes classes de ataque (por exemplo, DDoS, Backdoor, Worms) exibem comportamentos temporais únicos em relação à duração do fluxo e intervalos de chegada de pacotes.
3. Exploração Tempo-Frequência: A aplicação inovadora de espectrogramas a dados NetFlow, hipotetizando e demonstrando que diferentes ataques possuem assinaturas tempo-frequência únicas que poderiam auxiliar na classificação por ML.
4. Padronização: Fornecimento de um conjunto de características consistente em quatro conjuntos de dados principais, permitindo comparação justa entre conjuntos de dados para modelos temporais de ML.

4. Principais Resultados e Descobertas

• Padrões de Comprimento do Fluxo:
  • Tráfego Benigno: Consiste predominantemente em fluxos de curta duração.
  • Tráfego Malicioso: Apresenta desvios distintos. Por exemplo, Backdoor e Worms frequentemente exibem durações de fluxo mais longas (indicando conexões persistentes), enquanto ataques DDoS/DoS mostram distribuições amplas com fluxos curtos tipo rajada e durações prolongadas.
• Tempo entre Chegadas de Pacotes (IAT):
  • Diferentes tipos de ataque mostram distribuições de IAT únicas. Por exemplo, ataques MITM e Backdoor no conjunto de dados ToN-IoT mostraram picos distintos em intervalos específicos, provavelmente refletindo sinalização periódica.
  • Ataques DDoS/DoS exibiram distribuições de IAT mais amplas com picos em intervalos mais altos, refletindo temporização irregular e disruptiva.
• Dinâmicas de Séries Temporais:
  • Visualizações revelaram que os ataques frequentemente ocorrem em "ondas" (por exemplo, NF3-BoT-IoT) ou como sobreposições simultâneas (por exemplo, NF3-UNSW-NB15), fornecendo insights sobre a estrutura temporal de cenários de ataque do mundo real.
  • Análise categórica mostrou que atividades de botnet (BoT-IoT) envolvem mudanças frequentes em IPs e portas de destino, enquanto o tráfego benigno permanece relativamente estável.
• Assinaturas Tempo-Frequência:
  • Análise de espectrograma do conjunto de dados NF3-UNSW-NB15 revelou que, embora alguns ataques compartilhem semelhanças (por exemplo, DoS e Worms), eles possuem padrões tempo-frequência distintos.
  • Ataques como Fuzzers exibiram assinaturas únicas, sugerindo que representações TFD poderiam ajudar modelos de ML a distinguir entre classes de ataque mais efetivamente do que apenas características estáticas.

5. Significado e Trabalho Futuro

• Significado: Este trabalho preenche a lacuna entre a análise estática de NetFlow e a detecção de intrusão dinâmica e consciente do tempo. Ao fornecer conjuntos de dados com características temporais, possibilita o desenvolvimento de modelos avançados de ML (RNNs, Transformers, CNN-LSTMs) que podem detectar anomalias sutis e dependentes do tempo, como Ameaças Persistentes Avançadas (APTs) e ataques lentos e constantes.
• Direções Futuras:
  • Otimização de modelos de ML especificamente para aproveitar as novas características temporais.
  • Refinamento de abordagens de Distribuição Tempo-Frequência (TFD) para detecção em tempo real.
  • Investigação de modelos de aprendizado sequencial (RNNs, Transformers) para melhorar ainda mais a precisão de classificação de ataques usando esses conjuntos de dados enriquecidos.

Em resumo, o artigo fornece a infraestrutura de dados necessária e a base analítica para a próxima geração de Sistemas de Detecção de Intrusão em Redes conscientes do tempo, avançando além da análise de características estáticas para compreender a evolução dinâmica das ameaças de rede.