IoTGeM: Generalizable Models for Behaviour-Based IoT Attack Detection

1. O Problema

A crescente proliferação de dispositivos da Internet das Coisas (IoT) expandiu a superfície de ataque, tornando-os alvos frequentes de intrusões. A detecção baseada em comportamento usando Aprendizado de Máquina (ML) é uma abordagem comum, mas a literatura atual sofre de falhas metodológicas críticas que comprometem a confiabilidade e a generalização dos modelos:

• Vazamento de Dados (Data Leakage): Muitos estudos realizam pré-processamento ou seleção de recursos em todo o conjunto de dados antes da divisão treino/teste, permitindo que o modelo "veja" informações do teste durante o treinamento.
• Sobreajuste (Overfitting) e Recursos Identificadores: Modelos frequentemente aprendem características específicas do conjunto de dados (como endereços IP, timestamps ou tamanhos de pacotes específicos de uma sessão) em vez de padrões de ataque reais. Isso resulta em alta precisão em dados conhecidos, mas falha total em dados não vistos.
• Limitações de Dados: Uso frequente de conjuntos de dados antigos (como KDD99) ou que não contêm dados reais de IoT, além da falta de dados brutos (pcap) para extração personalizada de recursos.
• Métricas Enganosas: Dependência excessiva da métrica de "acurácia" em conjuntos de dados desbalanceados, mascarando a baixa performance real.

2. Metodologia (IoTGeM)

O artigo propõe o IoTGeM, um framework holístico projetado para criar modelos robustos e generalizáveis. A metodologia segue um pipeline rigoroso:

• Modelo de Ameaça e Implantação: O sistema é projetado como um IDS baseado em rede (NIDS) implantado em um ponto de estrangulamento (gateway/roteador), monitorando tráfego de dispositivos IoT contra um atacante externo.
• Extração de Recursos Baseada em Janela (Window-Based):
  • Diferente das abordagens tradicionais baseadas em fluxo (que esperam o fim da conexão para gerar estatísticas) ou baseadas em pacotes individuais (que podem conter identificadores), o IoTGeM utiliza uma abordagem de janela deslizante (rolling window) e janela expansiva (expanding window).
  • Gera um conjunto rico de recursos estatísticos multidimensionais (tamanho do pacote, entropia do payload, estatísticas de flags TCP, etc.) à medida que os pacotes chegam, capturando comportamentos complexos e sutis.
• Seleção de Recursos com Feedback Externo (Inovação Chave):
  • Fase 1 (Eliminação): Remove identificadores óbvios (IPs, portas específicas) usando validação cruzada e testes em sessões independentes, medidos pelo Cohen's Kappa.
  • Fase 2 (Algoritmo Genético - GA): Um Algoritmo Genético é utilizado para refinar a combinação de recursos. A inovação central é que a função de aptidão (fitness) do GA é avaliada em um conjunto de dados totalmente separado e não visto (feedback exógeno). Isso força o algoritmo a selecionar apenas recursos que generalizam para novos ambientes, evitando o sobreajuste a estatísticas específicas de um único conjunto de dados.
• Prevenção de Vazamento de Dados: O pipeline estritamente isola os dados de Treino/CV, Validação/HPO (Otimização de Hiperparâmetros) e Teste Final. Nenhuma informação do conjunto de teste influencia a seleção de recursos ou o ajuste do modelo.
• Avaliação e Explicabilidade:
  • Os modelos são testados em três cenários de crescente rigor: Validação Cruzada, Sessão Independente (mesmo dataset) e Dataset Totalmente Diferente (outro dataset).
  • Utilização da técnica SHAP (SHapley Additive exPlanations) para interpretar os modelos, identificando quais recursos realmente contribuem para a detecção e garantindo que o modelo não esteja aprendendo correlações espúrias.

3. Principais Contribuições

1. Método de Extração de Recursos: Introdução de uma abordagem baseada em janelas que gera recursos estatísticos ricos (tamanho, tempo, flags, entropia) superando as limitações das abordagens baseadas em fluxo e pacotes individuais.
2. Seleção de Recursos Orientada à Generalização: Um processo de seleção de recursos em múltiplos passos centrado em um GA que utiliza feedback de um conjunto de dados externo. Isso é uma distinção fundamental em relação aos métodos convencionais que avaliam a aptidão no mesmo conjunto de treino.
3. Metodologia Rigorosa de Avaliação: Uso de datasets públicos com dados brutos (pcap), separação estrita de dados para evitar vazamento e testes em cenários cross-dataset (treinar em um dataset, testar em outro), que é o teste definitivo de generalização.
4. Análise Explicável: Aplicação do SHAP para validar que os modelos aprendem padrões de ataque reais (como anomalias de flags e diversidade de portas) em vez de artefatos do dataset.

4. Resultados

Os modelos foram treinados para detectar 10 tipos de ataques (incluindo Floods ACK, HTTP, SYN, UDP, Brute-Force, ARP Spoofing, etc.) usando 8 algoritmos de ML diferentes (Random Forest, XGBoost, SVM, etc.).

• Desempenho em Cross-Dataset: O IoTGeM demonstrou superioridade significativa sobre os modelos baseados em fluxo tradicionais quando testado em datasets não vistos.
  • F1-Score de 99% para ataques ACK, HTTP, SYN, MHD (Mirai Host Discovery) e PS (Port Scanning).
  • F1-Score de 94% para ataques UDP.
  • F1-Score de 91% para SHD (Scanning Host Discovery).
• Comparação com Fluxo (Flow-Based): Enquanto os modelos baseados em fluxo obtiveram resultados próximos a zero (F1 < 0.15) em testes cross-dataset para ataques como ACK, SYN e UDP (devido ao sobreajuste em estatísticas de tempo/intervalo específicas do dataset de treino), o IoTGeM manteve alta performance.
• Exceções: O desempenho foi menor em ataques como ARP Spoofing (ARPS), onde a abordagem baseada em fluxo foi ligeiramente superior, e em Brute-Force (BF) e OS Detection (OSD), onde a limitação de dados ou a variação dos sub-tipos de ataque afetou a generalização.
• Análise SHAP: Confirmou que o IoTGeM prioriza características intrínsecas ao ataque (ex: diversidade de portas, estatísticas de flags TCP, entropia de payload), enquanto os modelos de fluxo tendem a depender excessivamente de Inter-Arrival Times (IAT), que são altamente sensíveis ao ambiente de rede e não generalizam.

5. Significado e Conclusão

O trabalho IoTGeM demonstra que a alta performance reportada em muitos estudos de segurança IoT é frequentemente ilusória, decorrente de vazamento de dados e sobreajuste. Ao focar na generalização através de uma engenharia de recursos baseada em janelas e uma seleção de recursos validada externamente, o framework produz modelos que funcionam em cenários do mundo real, onde os dados de teste são fundamentalmente diferentes dos dados de treino.

A principal lição é que para a detecção de intrusão em IoT ser eficaz, os modelos devem aprender a natureza do ataque (comportamento do protocolo, anomalias de payload) e não as estatísticas da rede (tempo de chegada, tamanho fixo de pacotes de um dataset específico). O código e os scripts do projeto foram disponibilizados publicamente para garantir reprodutibilidade.