UNAD+: An Explainable Hybrid Framework for Unknown Network Attack Detection

Resumo Técnico do UNAD+: Um Framework Híbrido Explicável para Detecção de Ataques de Rede Desconhecidos

Declaração do Problema
A detecção confiável de ataques de rede previamente não vistos (zero-day) permanece um desafio crítico para Sistemas de Detecção de Intrusão (IDS). Enquanto métodos de aprendizado supervisionado performam bem em classes de ataques conhecidas, eles falham em generalizar para ameaças novas não presentes nos dados de treinamento. Por outro lado, métodos de detecção de anomalias não supervisionados, que aprendem as características de tráfego benigno para identificar desvios, são mais adequados para detecção zero-day, mas frequentemente sofrem com altas Taxas de Falsos Positivos (FPR). Isso limita sua implantação prática, pois geram alertas excessivos que sobrecarregam analistas de segurança. Além disso, sistemas híbridos existentes frequentemente carecem de transparência; o raciocínio interno de modelos de conjunto complexos é frequentemente opaco, dificultando a confiança do analista, a análise de causa raiz e a conformidade em setores regulamentados.

Metodologia
O artigo propõe o UNAD+, um framework híbrido aprimorado que estende o Detector Original de Ataques de Rede Desconhecidos (UNAD). O UNAD+ integra três componentes principais em um pipeline modular:

1. Ensemble Não Supervisionado Apenas com Benignos com Votação Majoritária Ponderada (WMV):

   • A primeira etapa utiliza um ensemble heterogêneo de 100 aprendizes base (50 modelos de Fator de Outlier Local e 50 modelos de Floresta de Isolamento) treinados exclusivamente em subconjuntos bootstrap de tráfego benigno.
   • Diferentemente do UNAD original, que usava votação majoritária simples, o UNAD+ emprega Votação Majoritária Ponderada. Durante a validação, cada aprendiz base recebe um peso proporcional ao seu escore F1. Durante a inferência, as previsões são ponderadas por esses escores para determinar a saída final do ensemble. Essa abordagem reduz a influência de detectores mais fracos e elimina cenários de desempate que anteriormente viabilizavam o sistema original para previsões benignas.

2. Etapa de Refinamento Supervisionado:

   • Para abordar a alta FPR da etapa não supervisionada, um classificador supervisionado de segunda etapa é introduzido.
   • As detecções iniciais do ensemble (tanto ataques corretamente identificados quanto fluxos benignos) são convertidas em pseudo-rótulos. Estes, combinados com os dados benignos originais, formam um conjunto de treinamento expandido.
   • Um classificador Random Forest, selecionado por sua robustez e interpretabilidade, é treinado nesses dados pseudo-rótulados. Esta etapa aprende limites de decisão mais precisos a partir de padrões de tráfego mais próximos da configuração operacional de detecção, corrigindo efetivamente erros residuais da primeira etapa.
   • Um ponto de verificação "humano-no-loop" é proposto entre as etapas para permitir que especialistas de domínio validem um subconjunto de pseudo-rótulos antes que sejam usados para treinamento supervisionado, mitigando a propagação de erros.

3. Camada de Explicabilidade Post Hoc:

   • Para aumentar a transparência, o framework incorpora mecanismos de explicação locais e globais.
   • Explicabilidade Local: O LIME (Explicações Locais de Modelo Agnóstico Interpretável) é aplicado ao classificador Random Forest para gerar explicações em nível de instância, destacando quais características de tráfego (por exemplo, comprimentos de pacotes, bytes de fluxo) contribuíram para previsões específicas.
   • Explicabilidade Global: Um modelo substituto de Árvore de Decisão é treinado para aproximar o comportamento do Random Forest. Isso fornece uma visão simplificada e interpretável da lógica de decisão global, incluindo regras dominantes e interações de características.

Principais Contribuições

• Arquitetura Híbrida: O artigo demonstra uma integração coerente de detecção não supervisionada apenas com benignos, refinamento supervisionado usando pseudo-rótulos e explicabilidade dentro de um único framework.
• Mecanismo de Votação Ponderada: A introdução do WMV melhora a tomada de decisão do ensemble ao ponderar aprendizes base com base no desempenho, reduzindo assim a ambiguidade relacionada a empates e o viés da classe benigna.
• Redução de Falsos Positivos: A etapa de refinamento supervisionado demonstra ser um mecanismo crítico para reduzir drasticamente as taxas de falsos positivos inerentes à detecção de anomalias não supervisionada.
• Explicabilidade Integrada: O framework vai além de tratar a explicabilidade como um acréscimo, incorporando-a como um componente estrutural para apoiar a confiança do analista e a auditoria.

Resultados Experimentais
O framework foi avaliado em dois conjuntos de dados de referência: CICIDS2017 e NSL-KDD.

• Métricas de Desempenho:
  • No CICIDS2017, o framework completo UNAD+ alcançou um escore F1 de 98,31%, uma melhoria significativa sobre o UNAD original (75,19%) e o classificador supervisionado isolado (90,59%). A Taxa de Falsos Positivos (FPR) foi reduzida de 11,34% (ensemble ponderado) para 0,18% após o refinamento.
  • No NSL-KDD, o framework alcançou um escore F1 de 98,25%, melhorando sobre o UNAD original (93,38%). A FPR diminuiu de 6,37% para 2,77%.
• Análise por Nível de Classe: A etapa de refinamento melhorou significativamente a detecção para classes de ataque difíceis ou raras (por exemplo, SSH-Patator, DoS Slowhttptest, R2L e U2R). No entanto, os ganhos de desempenho foram limitados para classes extremamente raras onde a primeira etapa falhou em gerar instâncias suficientes pseudo-rótuladas para a segunda etapa aprender.
• Avaliação de Explicabilidade: As explicações locais (LIME) foram consideradas plausíveis, destacando características de rede significativas, e estáveis em inspeções repetidas. Os modelos substitutos globais demonstraram alta fidelidade (>99%) ao classificador Random Forest, capturando com sucesso sua lógica de decisão em um formato interpretável.

Significado e Alegações
Os autores afirmam que o UNAD+ oferece uma melhoria substancial sobre a linha de base UNAD original, não apenas através do desempenho preditivo, mas ao abordar as limitações operacionais de IDSs não supervisionados. O artigo afirma que a combinação de detecção de ensemble ponderado e refinamento supervisionado equilibra efetivamente a necessidade de detecção zero-day com a exigência de baixas taxas de falsos positivos. Além disso, a integração da explicabilidade é apresentada como essencial para implantação no mundo real, permitindo que analistas interpretem decisões, auditem o comportamento do sistema e depurem erros do classificador. O trabalho conclui que, embora o framework seja altamente eficaz, seu desempenho em classes de ataque extremamente raras é contingente à capacidade da primeira etapa de gerar pseudo-rótulos informativos, e trabalhos futuros devem abordar os desafios do tráfego criptografado.