Individual Packet Features are a Risk to Model Generalisation in ML-Based Intrusion Detection

Resumo Técnico: Riscos das Características de Pacotes Individuais na Detecção de Intrusão

1. O Problema

A segurança do Internet das Coisas (IoT) enfrenta desafios significativos devido à heterogeneidade de dispositivos e à complexidade das ameaças. A detecção de intrusão baseada em Machine Learning (ML) tem sido amplamente adotada, dependendo fundamentalmente da qualidade e do tipo dos dados utilizados.

O artigo foca criticamente no uso de Características de Pacotes Individuais (IPF - Individual Packet Features), que são atributos extraídos de um único pacote de rede (ex: tamanho, tempo, endereços IP/MAC, portas) sem considerar a interação entre pacotes ou o contexto do fluxo de tráfego.

• A Discrepância: Estudos anteriores relataram altas taxas de detecção (muitas vezes próximas de 100%) usando apenas IPF.
• A Hipótese: Os autores argumentam que esses resultados são enganosos. O uso de IPF frequentemente leva a vazamento de informação (data leakage) e explora a baixa complexidade dos dados, resultando em modelos que não generalizam para novos ambientes ou conjuntos de dados, comprometendo a robustez da segurança em cenários reais.

2. Metodologia

Os autores empregaram uma abordagem combinada de revisão bibliográfica e estudos de caso experimentais rigorosos:

• Revisão da Literatura:

  • Analisaram 68 estudos de 2019 a 2023, focando em 10 estudos que utilizaram IPF.
  • Investigaram os conjuntos de dados utilizados (muitos eram arquivos CSV pré-extraídos ou arquivos pcap brutos) e a forma como os dados foram divididos entre treinamento e teste.
  • Identificaram falhas metodológicas, como a ausência de separação baseada em sessões (flow-based split), permitindo que identificadores únicos (IPs, números de sequência) vazassem do conjunto de teste para o de treinamento.

• Experimentos Empíricos:

  • Conjunto de Dados: Utilizaram o dataset IoT-NID (que possui múltiplas sessões distintas para cada ataque) e o Kitsune.
  • Teste de Vazamento de Informação: Criaram cenários onde o modelo era treinado em uma sessão e testado em outra (isolada), comparando com validação cruzada (CV) tradicional.
  • Análise de Complexidade: Calcularam scores de complexidade de dados (baseados em 22 métodos analíticos) para ataques específicos (ex: UDP Flood, Mirai, Injeção de Vídeo) focando em características simples como tamanho e tempo.
  • Modelos: Utilizaram Árvores de Decisão (DT) para demonstrar como modelos simples podem "aprender" padrões irrelevantes quando a complexidade dos dados é baixa.

3. Contribuições Principais

• Evidência Empírica de Risco: É o primeiro estudo a fornecer evidências experimentais de que modelos baseados em IPF falham em generalizar devido a vazamento de informação e baixa complexidade dos dados.
• Desmistificação de Métricas Altas: Demonstra que as taxas de precisão de 99-100% relatadas na literatura para IPF são frequentemente artefatos de vazamento de dados (o modelo "decora" endereços IP ou portas específicas em vez de aprender o comportamento do ataque).
• Análise de Complexidade vs. Generalização: Estabelece uma correlação inversa entre a complexidade dos dados e o sucesso do modelo. Dados com baixa complexidade (padrões uniformes) permitem que características simples (como tamanho do pacote) atuem como identificadores falsos, falhando em cenários onde o padrão muda.
• Crítica à Divisão de Dados: Alerta que a divisão aleatória de dados (sem considerar sessões de fluxo) em estudos de detecção de intrusão é uma prática perigosa que infla artificialmente o desempenho.

4. Resultados Chave

• Falha na Generalização:
  • Em experimentos com o dataset IoT-NID, modelos treinados com CV (onde sessões se misturam) atingiram F1-Score de ~1.0.
  • Quando testados em sessões isoladas (dados nunca vistos de um mesmo tipo de ataque, mas de sessões diferentes), o desempenho colapsou drasticamente (ex: F1-Score caiu para ~0.03 em alguns casos de UDP Flood quando o tamanho do pacote variou ligeiramente).
• Identificadores como "Atalhos":
  • Características como dport (porta de destino) ou IP_id funcionaram como identificadores perfeitos dentro de um único arquivo de dados, mas falharam completamente ao tentar detectar o mesmo tipo de ataque em um ambiente diferente.
  • Exemplo: Um modelo treinado apenas no tamanho do pacote para um ataque UDP específico detectou 100% dos ataques na mesma sessão, mas falhou totalmente ao ser aplicado a uma sessão com tamanhos de pacote ligeiramente diferentes.
• Impacto da Complexidade:
  • Ataques com baixa complexidade (padrões uniformes de tamanho ou tempo) permitiram detecção perfeita em validação cruzada, mas zero generalização.
  • Ataços com maior complexidade (como Injeção de Vídeo) mostraram desempenho inferior mesmo em CV, indicando que a simplicidade do IPF não consegue capturar a nuance necessária.

5. Significância e Conclusão

O artigo conclui que a dependência exclusiva de Características de Pacotes Individuais (IPF) é uma abordagem falha para sistemas de detecção de intrusão robustos e generalizáveis.

• Implicações Práticas: Modelos desenvolvidos com IPF e avaliados com metodologias inadequadas (sem separação por sessão) são vulneráveis e não podem ser confiados em ambientes IoT dinâmicos e diversos.
• Recomendação Futura: A comunidade de pesquisa e prática deve abandonar o uso de IPF isolados e migrar para abordagens holísticas que considerem:
  1. Interações entre pacotes (Fluxos de rede).
  2. Contexto temporal (Janelas de tempo).
  3. Estatísticas de fluxo (Flow-based features).
  4. Divisão rigorosa de dados baseada em sessões para evitar vazamento de informação.

Em suma, para garantir a segurança real do ecossistema IoT, os modelos de ML devem aprender padrões comportamentais complexos e não apenas memorizar identificadores estáticos ou padrões superficiais de dados de baixa complexidade.