A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

Imagine a internet como uma cidade enorme e movimentada onde os dados fluem como o tráfego em rodovias infinitas. Nesta cidade, seguranças (firewalls e softwares antivírus) estão em cada ponto de controle, verificando identidades para garantir que ninguém entre escondido. Geralmente, esses seguranças possuem um livro de "Cartazes de Procurados" cheio de fotos de criminosos conhecidos. Se um estranho se parece com alguém na lista, ele é parado. Mas o que acontece quando um criminoso totalmente novo aparece, um que nunca foi visto antes, com um rosto que não corresponde a nenhuma foto no livro? Este é o pesadelo de um ataque de "dia zero" (zero-day): um intruso digital usando um truque inédito que os sistemas de segurança nunca encontraram.

Para capturar esses ladrões invisíveis, cientistas estão recorrendo a um tipo especial de detetive chamado Aprendizado de Máquina (Machine Learning). Pense nesses detetives como estudantes que estudam milhares de exemplos de "tráfego bom" e "tráfego ruim" para aprender os padrões. No entanto, há um problema complicado em sua sala de aula: o professor (os dados) dá a eles muitos exemplos de tráfego bom e muito poucos exemplos de tráfego ruim. É como tentar aprender a identificar um animal raro e tímido em uma floresta onde 99% das criaturas são apenas esquilos. O estudante pode ficar muito bom em detectar esquilos, mas pode perder completamente o animal raro porque mal o viu durante seu treinamento. Este artigo mergulha em como ensinar esses detetives digitais a detectar essas ameaças novas e raras sem se confundirem com o número esmagador de esquilos normais.

---

A Grande Corrida dos Detetives Digitais

Neste estudo, os pesquisadores Zahra Lotfi e Mostafa Lotfi estabeleceram um enorme campo de treinamento para ver qual modelo de aprendizado de máquina poderia se tornar o detector definitivo de ataques de dia zero. Eles não queriam saber apenas qual modelo era o mais inteligente; eles queriam saber qual era o mais rápido também. Afinal, no mundo real, um segurança que leva uma hora para verificar a identidade de uma única pessoa é inútil, mesmo que nunca perca um criminoso.

Os pesquisadores usaram um enorme conjunto de dados chamado UNSW-NB15, que contém mais de 1,4 milhão de registros de tráfego de rede. Para tornar o teste realista, eles criaram um cenário onde os modelos eram treinados em uma mistura de tráfego normal e ataques conhecidos, mas eram então testados em um ataque de "dia zero" que nunca haviam visto antes. Para tornar tudo ainda mais difícil, eles usaram um conjunto de dados fortemente desequilibrado, com o tráfego normal superando vastamente os ataques, exatamente como na vida real.

Eles testaram cinco "detetives" diferentes (modelos de aprendizado de máquina):

1. Árvore de Decisão (DT): Um modelo que faz uma série de perguntas de sim ou não para tomar uma decisão.
2. Regressão Logística (LR): Um modelo estatístico que calcula a probabilidade de algo ser um ataque.
3. Random Forest (RF): Uma equipe de muitas Árvores de Decisão que votam na resposta.
4. XG Boost (XGB): Uma equipe poderosa que constrói sobre seus erros para ficar mais inteligente, conhecida por ser muito rápida.
5. MLP (Perceptron Multicamadas): Um modelo de aprendizado profundo que imita as camadas de neurônios de um céreforma humano.

A Magia de Equilibrar as Balanças

Um dos maiores obstáculos que os pesquisadores enfrentaram foi o "problema do desequilíbrio de classes". Como havia tão poucos exemplos de ataques em comparação aos normais, os modelos estavam tendo dificuldades para aprender o que um ataque realmente parecia. Para corrigir isso, a equipe usou uma técnica chamada SMOTE (Synthetic Minority Over-sampling Technique).

Imagine que você está tentando ensinar uma criança a reconhecer um pássaro azul raro, mas você só tem uma foto dele. A criança provavelmente esquecerá como ele é. O SMOTE é como uma fotocopiadora mágica que cria novas fotos, ligeiramente diferentes, desse pássaro azul ao misturar a foto original com suas vizinhas. Isso dá à criança exemplos suficientes para entender realmente como o pássaro é, sem precisar encontrar mais pássaros reais na natureza. Os pesquisadores aplicaram isso aos seus dados, criando exemplos sintéticos de ataques para equilibrar o conjunto de treinamento.

Os Resultados: Quem Ganhou a Corrida?

Os resultados foram uma mistura de "mais inteligente" e "mais rápido", e o vencedor dependia do que você valorizava mais.

Quando os modelos foram testados sem o truque de equilíbrio (SMOTE), eles tiveram dificuldade em detectar os ataques raros. Por exemplo, o modelo Random Forest detectou apenas cerca de 83,11% dos ataques, enquanto o modelo MLP foi ainda pior, detectando apenas 25,35%.

No entanto, quando usaram o SMOTE para equilibrar os dados, o desempenho disparou.

• O Detetive Mais Inteligente: O modelo Random Forest (RF) foi o claro campeão em termos de precisão. Com os dados equilibrados, ele conseguiu capturar impressionantes 94,38% dos ataques de dia zero (Recall) com uma precisão de 98,91%. Foi o mais confiável para não deixar passar os vilões.
• O Veloz: Mas aqui está o detalhe. O Random Forest foi incrivelmente lento. Levou 1.379,10 segundos (mais de 22 minutos) para processar os dados de teste. Em um ataque cibernético real, esperar 22 minutos para deter um hacker é como esperar um incêndio destruir todo o prédio antes de chamar o corpo de bombeiros.
• O Melhor Equilibrado: Entre com o XG Boost (XGB). Embora não tenha capturado tantos ataques quanto o Random Forest (ele capturou 81,40%), ele foi extremamente rápido. Ele terminou a mesma tarefa em apenas 5,08 segundos. Ele também manteve uma alta precisão de 98,21%.

O Veredito

Os pesquisadores concluíram que, embora o Random Forest seja tecnicamente o modelo mais preciso para encontrar esses ataques invisíveis de dia zero, ele é lento demais para ser prático para sistemas de segurança em tempo real. Se você precisa de um guarda que nunca dorme e nunca perde o ritmo, mas que demora uma eternidade para pensar, você pode ter um problema.

Em vez disso, eles coroaram o XG Boost como a melhor escolha para uso no mundo real. Ele ofereceu o melhor equilíbrio, sendo "extremamente rápido e preciso". Ele provou que você nem sempre precisa do detector absolutamente perfeito; você precisa de um que seja rápido o suficiente para deter o ataque antes que ele cause danos.

O estudo também confirmou que a "fotocopiadora mágica" (SMOTE) era essencial. Sem ela, os modelos estavam cegos para os ataques raros. Com ela, até mesmo os modelos mais lentos melhoraram significativamente, embora a velocidade do modelo tenha continuado sendo o fator decisivo para qual deles deveria ser usado no mundo real.

No fim, esta pesquisa mostra que, na corrida para capturar criminosos digitais, ser o mais inteligente não é suficiente; você tem que ser rápido também. E, às vezes, o segundo detetive mais inteligente que consegue correr uma milha em segundos é aquele que realmente salva o dia.