Proximal Policy Optimization-Based Intrusion Detection with Deep Latent Feature Learning

Resumo Técnico: Otimização de Política Próxima Baseada em Detecção de Intrusão com Aprendizado de Características Latentes Profundas

Declaração do Problema
Os modernos Sistemas de Detecção de Intrusão (IDS) enfrentam desafios significativos devido à crescente sofisticação das ameaças cibernéticas, à proliferação de tecnologias heterogêneas (IoT, nuvem, 5G) e às limitações dos métodos convencionais baseados em assinaturas e anomalias. As abordagens atuais de aprendizado de máquina (ML) frequentemente sofrem com altas taxas de falsos positivos, ineficiência computacional ao processar tráfego de alta dimensionalidade e uma dependência de dados históricos que dificulta a detecção de ataques de dia zero (zero-day). Existe uma lacuna de pesquisa definida para paradigmas de detecção adaptativos, eficientes e inteligentes, capazes de aprender políticas de segurança otimizadas em ambientes dinâmicos.

Metodologia
Os autores propõem um novo framework híbrido que integra a extração de características profundas com a tomada de decisão adaptativa. A arquitetura consiste em dois componentes primários:

1. Autoencoder Empilhado de Dois Estágios (2S-SAE):

   • Propósito: Realizar a extração de características não supervisionada e a redução de dimensionalidade em dados de tráfego de rede de alta dimensionalidade, preservando características críticas.
   • Estrutura: O sistema emprega um processo de compressão hierárquica.
     • Estágio 1: Um autoencoder profundo mapeia as características de entrada brutas ($R^d$) para um espaço latente de 64 dimensões usando uma simetria codificador-decodificador ($R^d \to 128 \to 64 \to 128 \to R^d$).
     • Estágio 2: Os pesos do codificador do Estágio 1 são congelados. Um segundo autoencoder, mais compacto, refina os vetores latentes de 64 dimensões em uma representação final de 16 dimensões ($R^{64} \to 32 \to 16 \to 32 \to R^{64}$).
   • Resultado: Este processo alcança uma razão de compressão de $d:16$, gerando representações latentes compactas ($z_{16}$) que servem como a entrada de estado para o agente de aprendizado por reforço.

2. Agente de Otimização de Política Próxima (PPO):

   • Framework: As características comprimidas são alimentadas em um agente de Aprendizado por Reforço Profundo (DRL) operando em um mecanismo de Ator-Crítico (Actor-Critic).
   • Formulação: A tarefa de detecção é modelada como um Processo de Decisão de Markov (MDP), onde o estado é o vetor latente de 16 dimensões e a ação é uma classificação binária ($0$: Normal, $1$: Intrusão).
   • Mecanismo de Recompensa: Uma função de recompensa sensível ao custo é projetada para priorizar detecções críticas:
     • Verdadeiro Positivo: $+5$ (ou $+1,0$ nos detalhes de implementação)
     • Verdadeiro Negativo: $+1$ (ou $+1,0$)
     • Falso Positivo: $-1$ (ou $-1,5$)
     • Falso Negativo: $-10$ (ou $-3,0$)
   • Otimização: O agente utiliza o objetivo de corte PPO (PPO-clip) com Estimativa de Vantagem Generalizada (GAE) para garantir atualizações de política estáveis, permitindo que o sistema refine iterativamente sua estratégia de detecção através de aprendizado guiado por recompensa.

Principais Contribuições
O artigo delineia quatro contribuições principais:

1. Novo Framework: Um IDS baseado em DRL que combina efetivamente Autoencoders Empilhados para representação de características com aprendizado Ator-Crítico para classificação adaptativa.
2. Avaliação Abrangente: Validação robusta de desempenho em três conjuntos de dados de referência distintos (NSL-KDD, UNSW-NB15 e CIC-IDS2017) representando diferentes gerações de ameaças de rede.
3. Ambiente de Treinamento Eficiente: O desenvolvimento de um pseudo-ambiente para treinamento de DRL que supera as limitações de dependência sequencial inerentes ao processamento padrão de tráfego de rede.
4. Otimização para Ambientes Restritos: Estratégias e resultados demonstrando a adequação do framework para ambientes de recursos limitados, como redes IoT, por meio de compressão eficiente de características e capacidades de inferência em tempo real.

Resultados Experimentais
O framework foi avaliado no NSL-KDD, UNSW-NB15 e CIC-IDS2017 usando cinco execuções independentes com diferentes sementes aleatórias. As principais descobertas incluem:

• Superioridade de Desempenho: O framework proposto 2S-SAE+PPO superou consistentemente os modelos de base (Random Forest, SVM, XGBoost, MLP, LSTM, AE-DNN) em todas as métricas.
  • No CIC-IDS2017, o modelo alcançou 98,9% de acurácia, 99,0% de precisão, 98,8% de recall e um F1-score de 0,989.
  • No NSL-KDD, alcançou 98,6% de acurácia e um AUC de 0,998.
  • No UNSW-NB15, alcançou 96,3% de acurácia e um AUC de 0,990.
• Detecção de Ataques Raros: O framework mostrou melhorias significativas na detecção de categorias de ataques raros (U2R, R2L), com ganhos de F1-score de 13,8 a 22,1 pontos percentuais em comparação com os modelos de base, atribuídos à estrutura de recompensa assimétrica que penaliza pesadamente os falsos negativos.
• Significância Estatística: Testes t pareados confirmaram que as melhorias sobre os modelos de base (ex: LSTM) foram estatisticamente significativas ($p < 0,01$).
• Eficiência: O modelo demonstrou uma latência de inferência de 2,3 ms e um rendimento (throughput) de 111.300 amostras/segundo em uma GPU NVIDIA RTX 3090, atendendo aos requisitos de tempo real para redes de alta velocidade (10 Gbps).
• Estudo de Ablação: Comparações confirmaram que a compressão de dois estágios (aprendizado de características hierárquico) e o mecanismo de decisão PPO (vs. classificadores estáticos) foram os principais impulsionadores dos ganhos de desempenho.

Significância e Alegações
Os autores alegam que este trabalho aborda as limitações dos modelos de ML estáticos ao introduzir um sistema adaptativo capaz de aprender políticas de segurança otimizadas em ambientes complexos e dinâmicos. A significância reside na integração bem-sucedida do aprendizado de características latentes profundas com o aprendizado por reforço, resultando em um sistema que:

1. Reduz o overhead computacional por meio da compressão hierárquica de características.
2. Adapta-se a padrões de ataque em evolução via aprendizado guiado por recompensa.
3. Alcança acurácia de detecção superior e taxas de falsos positivos mais baixas em comparação com modelos tradicionais de aprendizado profundo.
4. Opera eficientemente o suficiente para implantação próxima ao tempo real em infraestruturas de rede modernas.

O artigo conclui que, embora o componente de RL aumente a complexidade do treinamento, os ganhos de desempenho (melhoria de 1,2 a 4,3% no F1-score) justificam o custo, particularmente para a detecção de classes minoritárias e ameaças de dia zero. O trabalho futuro é identificado como a exploração de aprendizado contínuo online, implantação federada e robustez adversarial.