Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones

Resumo Técnico: Ataques Adversariais de Evasão em NIDS Baseados em ML

1. O Problema

O uso de Aprendizado de Máquina (ML) em Sistemas de Detecção de Intrusão em Redes (NIDS) tornou-se inevitável devido à sua capacidade de processar grandes volumes de dados com alta precisão. No entanto, os modelos de ML são vulneráveis a ataques adversariais, onde entradas maliciosas são manipuladas para enganar o modelo e produzir previsões incorretas (evasão).

O problema central identificado pelos autores é a lacuna significativa entre a pesquisa acadêmica e a realidade prática. A vasta maioria dos estudos sobre ataques adversariais foca em:

• Domínio de Visão Computacional: Onde a manipulação de pixels é mais simples e não afeta a funcionalidade do objeto.
• Modelos Estáticos: Assumindo que o modelo de defesa não muda após o treinamento.
• Condições Ideais: Pressupondo que o atacante tem acesso a gradientes (caixa-branca) ou pode consultar o modelo livremente.

No domínio de segurança de redes, existem restrições severas (funcionalidade da rede, funcionalidade maliciosa, complexidade de mapeamento inverso de características) que tornam a aplicação direta desses ataques teoricamente possível, mas praticamente inviável. Além disso, a natureza dinâmica dos NIDS reais (que se re-treinam constantemente) é frequentemente ignorada na literatura.

2. Metodologia

Os autores empregaram uma abordagem multifacetada para avaliar a praticidade desses ataques:

• Revisão Sistemática da Literatura (SLR): Focada em ataques de evasão contra NIDS baseados em ML/DL publicados a partir de 2022. A revisão seguiu um processo de seis fases, desde a definição do escopo até a extração de dados para construção de modelos de ameaça.
• Modelagem de Ameaças (Árvore de Ataque): Desenvolvimento de uma árvore de ataque detalhada para visualizar os pré-requisitos necessários para um ataque de evasão, identificando nós folha com viabilidade questionável (marcados com "?") e viabilidade parcial (células vermelhas).
• Taxonomia de Questões de Praticidade: Criação de uma estrutura (Grafo Acíclico Direcionado - DAG) para classificar os desafios, divididos em:
  • Conhecimento do Atacante: Dificuldade de obter informações de modelos proprietários (caixa-branca) ou consultar modelos em tempo real (caixa-preta).
  • Espaço de Ataque: Diferenças entre ataques no espaço de características (feature-space) e no espaço do problema (problem-space/pacotes reais), incluindo a complexidade do "Mapeamento Inverso de Características".
  • Adaptabilidade Dinâmica: O impacto de modelos que aprendem continuamente.
• Experimentação com Aprendizado Contínuo:
  • Ambiente: Uso do dataset CSE-CIC-IDS2018.
  • Modelos: Implementação de NIDS usando ANN (Rede Neural Artificial), CNN (Rede Neural Convolucional) e SVM (Máquina de Vetores de Suporte).
  • Cenário: Simulação de um cenário onde o modelo é re-treinado diariamente (re-treinamento periódico) sem uso de treinamento adversarial.
  • Ataques: Geração de exemplos adversariais usando FGSM, PGD e BIM (métodos baseados em gradiente) com conhecimento atualizado (Dia n) e conhecimento desatualizado (Dia n+1 e Dia n+2).

3. Principais Contribuições

1. Identificação de Pré-requisitos Impraticáveis: A árvore de ataque demonstra que a maioria dos ataques de evasão requer condições irreais, como acesso direto ao vetor de características, conhecimento completo do modelo (caixa-branca) ou a capacidade de consultar o NIDS para obter feedback (o que é bloqueado em sistemas reais).
2. Taxonomia de Praticidade: O artigo apresenta uma taxonomia abrangente que categoriza as barreiras reais, como características imperturbáveis (ex: flags booleanas), correlações entre características e a necessidade de manter a funcionalidade da rede e da ameaça após a perturbação.
3. Análise de Ataques "Práticos" (entre aspas): O estudo revisa três abordagens que se aproximam da realidade (perturbações cegas/aleatórias, consulta por canais laterais e uso de modelos substitutos), mas conclui que todas possuem "pegadinhas" (catches) significativas, como a falta de garantia de eficácia ou a necessidade de dados de treinamento que o atacante não possui.
4. Impacto do Aprendizado Dinâmico: Demonstração experimental de que o simples re-treinamento periódico de modelos (mesmo sem dados adversariais) reduz drasticamente a eficácia de ataques baseados em gradiente, pois os vetores de peso e as fronteiras de decisão mudam, tornando as perturbações antigas ineficazes.

4. Resultados Chave

• Viabilidade Questionável: A grande maioria dos ataques de evasão descritos na literatura é impraticável em cenários reais de NIDS devido à impossibilidade de obter conhecimento do modelo e à dificuldade de manter a funcionalidade maliciosa dos pacotes após a perturbação.
• Limitações de Espaço de Ataque: Diferente da visão computacional, em NIDS, a perturbação de um pacote pode quebrar o protocolo de rede ou anular a funcionalidade do ataque (ex: alterar um payload de injeção SQL), tornando o "Mapeamento Inverso" um gargalo crítico.
• Eficácia do Re-treinamento Contínuo:
  • Quando os ataques foram lançados no Dia n (com conhecimento atualizado do modelo), a precisão e o F1-score dos modelos (ANN, CNN, SVM) caíram significativamente.
  • No Dia n+1 (apenas um dia após o re-treinamento do modelo), a precisão recuperou para >90% em todos os modelos, mesmo que o atacante estivesse usando gradientes desatualizados.
  • No Dia n+2, a estabilidade manteve-se.
  • Conclusão: O deslocamento das fronteiras de decisão devido ao re-treinamento diário invalida rapidamente os exemplos adversariais gerados com base em conhecimento antigo.
• Ataques Cegos vs. Dinâmicos: Ataques simples e cegos (perturbações aleatórias) não dependem de gradientes e, portanto, não são afetados pelo re-treinamento, mas sua eficácia é inconsistente e imprevisível.

5. Significância e Conclusão

O artigo desafia o consenso atual na comunidade de segurança de ML, argumentando que:

• Existe um abismo entre a pesquisa e a prática. Muitos mecanismos de defesa complexos e caros são desenvolvidos para combater ameaças que, na realidade, não são viáveis para atacantes reais.
• Atacantes reais não calculam gradientes. A pesquisa sugere que os atacantes do mundo real utilizam abordagens mais simples e diretas, e não os métodos sofisticados baseados em gradiente predominantes na academia.
• Defesa Natural: A natureza dinâmica dos sistemas de segurança (re-treinamento contínuo para evitar concept drift) atua como uma defesa robusta e gratuita contra ataques adversariais baseados em gradiente, sem a necessidade de técnicas de endurecimento de modelo complexas.

Recomendação Final: A comunidade de pesquisa deve mudar o foco para cenários de ameaça mais realistas (caixa-preta, sem acesso a gradientes, com restrições de funcionalidade) e investigar a eficácia de ataques simples e dinâmicos, em vez de otimizar defesas contra cenários teóricos idealizados.