💻 computer science

Assessing Generalisation Capability of Machine Learning Models for Intrusion Detection

Este estudo demonstra que, embora modelos de aprendizado de máquina supervisionado como Random Forest alcancem alta precisão em conjuntos de dados específicos de detecção de intrusão, eles sofrem de uma lacuna significativa de generalização quando aplicados a ambientes de rede não vistos, destacando a necessidade urgente de modelos adaptativos e sensíveis ao contexto para enfrentar ameaças cibernéticas em evolução.

Autores originais: Md Zakir Hossain, Md Ayshik Rahman Khan, Md Rafiqul Islam, Syed Mohammed Shamsul Islam, Tom Gedeon

Publicado 2026-05-07

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Md Zakir Hossain, Md Ayshik Rahman Khan, Md Rafiqul Islam, Syed Mohammed Shamsul Islam, Tom Gedeon

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um guarda de segurança para identificar intrusos em um edifício.

A Configuração: Dois Edifícios Diferentes
Neste estudo, os pesquisadores treinaram seus "guardas" (que são programas de computador chamados modelos de Aprendizado de Máquina) usando dados de dois edifícios muito diferentes:

Edifício A (UNSW-NB15): Uma rede de escritório padrão com tráfego de computador típico.
Edifício B (TON_IoT): Uma casa inteligente repleta de dispositivos conectados à internet, como câmeras, termostatos e geladeiras.

Os pesquisadores queriam ver se um guarda treinado em um edifício poderia identificar com sucesso os "maus" no outro edifício.

A Fase de Treinamento: Indo Muito Bem em Casa
Primeiro, eles testaram os guardas no mesmo edifício onde foram treinados.

Eles usaram três tipos de guardas: uma Floresta Aleatória (uma equipe de muitos tomadores de decisão), uma Regressão Logística (um seguidor de regras simples) e um Naive Bayes (um adivinhador de probabilidades).
O Resultado: Quando os guardas permaneceram em seu edifício natal, eles estavam incrivelmente afiados. A equipe "Floresta Aleatória" foi uma superestrela, capturando 95% dos intrusos no escritório e quase 100% na casa inteligente. Parecia que eles haviam dominado o trabalho.

O Teste Real: O Desafio "Entre Edifícios"
Então, os pesquisadores tentaram algo complicado. Eles pegaram o guarda treinado no Escritório e o enviaram para a Casa Inteligente trabalhar. Em seguida, pegaram o guarda da Casa Inteligente e o enviaram para o Escritório.

O Resultado: O desempenho despencou.
- O guarda superestrela "Floresta Aleatória", que era perfeito em seu edifício natal, de repente ficou confuso e capturou apenas cerca de 38% dos intrusos no novo edifício.
- Os outros guardas foram ainda piores, com alguns capturando menos de 10% dos "maus".

Por Que Isso Aconteceu?
O artigo explica que os dois edifícios eram muito diferentes.

"Uniformes" Diferentes: A rede de escritório e a rede de casa inteligente falavam "línguas" diferentes (tinham características de dados diferentes). Quando os pesquisadores forçaram os guardas a usar apenas as poucas palavras que tinham em comum (como quanto tempo uma conexão durou ou quantos pacotes de dados foram enviados), os guardas perderam as pistas específicas em que confiavam para fazer seu trabalho.
Padrões Diferentes: O escritório tinha uma ampla variedade de padrões de tráfego, enquanto o tráfego da casa inteligente estava agrupado de forma diferente. Os guardas haviam aprendido a reconhecer os padrões específicos de seu edifício natal, e não o conceito universal de "intrusão".

A Grande Lição
A principal conclusão é um aviso: Só porque um sistema de segurança parece perfeito em um laboratório de testes, não significa que funcionará no mundo real.

Os autores comparam isso à Computação Afetiva (um campo onde computadores tentam entender emoções humanas). Assim como um computador pode ter dificuldade em ler o humor de uma pessoa se a iluminação ou o fundo mudarem, esses modelos de segurança têm dificuldade em ler ataques de rede quando o ambiente de rede muda.

Conclusão
O artigo conclui que precisamos parar de tentar apenas obter a pontuação mais alta em um único teste controlado. Em vez disso, precisamos construir sistemas de segurança "adaptativos" que possam aprender a reconhecer comportamentos ruins mesmo quando o ambiente muda, muito parecido com um guarda humano que consegue identificar um ladrão, esteja ele em um beco escuro ou em um shopping bem iluminado.

Nota: Os autores mencionam que usaram uma ferramenta de IA (ChatGPT) apenas para ajudar a corrigir a gramática e tornar as frases mais claras, mas os experimentos e resultados reais foram realizados pelos pesquisadores humanos.

Resumo Técnico: Avaliação da Capacidade de Generalização de Modelos de Aprendizado de Máquina para Detecção de Intrusão

Declaração do Problema
A rápida expansão de sistemas em rede e IoT intensificou as ameaças cibernéticas, expondo as limitações dos sistemas tradicionais de detecção de intrusão (IDS) baseados em assinaturas. Embora modelos de aprendizado de máquina (ML) frequentemente relatem alta precisão em conjuntos de dados de referência específicos, este estudo identifica uma lacuna crítica: alto desempenho dentro de um único conjunto de dados não garante confiabilidade em ambientes de rede não vistos. Avaliações existentes frequentemente falham em considerar a diversidade dos conjuntos de dados, diferenças na geração de tráfego e deslocamentos na distribuição de características, levando a modelos que podem não generalizar para cenários do mundo real.

Metodologia
O estudo avalia a capacidade de generalização de modelos supervisionados de ML utilizando dois conjuntos de dados públicos de detecção de intrusão: UNSW-NB15 (tráfego de rede geral) e TON_IoT (tráfego IoT/IIoT).

Modelos: Três classificadores supervisionados foram selecionados para representar diferentes paradigmas de aprendizado: Random Forest (ensemble), Regressão Logística (linear) e Naive Bayes (probabilístico).
Configurações Experimentais:
1. Avaliação no Mesmo Conjunto de Dados: Os modelos foram treinados e testados no mesmo conjunto de dados usando uma divisão de 70/30 para treino-teste.
2. Avaliação Cruzada entre Conjuntos de Dados: Modelos treinados em um conjunto de dados foram testados no outro para avaliar a generalização entre diferentes ambientes de rede.
Engenharia de Características: Para experimentos cruzados entre conjuntos de dados, apenas as sete características comuns compartilhadas por ambos os conjuntos foram mantidas: duration, proto, service, src_bytes, dst_bytes, src_pkts e dst_pkts. Isso foi necessário devido às diferenças estruturais entre os conjuntos de dados.
Pré-processamento: Os dados passaram por limpeza (remoção de duplicatas, tratamento de valores infinitos/faltantes), normalização (Min-Max) e codificação de rótulos. Foi realizada análise de correlação de características para identificar redundância.

Principais Resultados

Desempenho no Mesmo Conjunto de Dados: Todos os modelos alcançaram desempenho forte quando treinados e testados nos mesmos dados.
- Random Forest emergiu como o melhor desempenho, alcançando 95,08% de precisão no UNSW-NB15 e 99,79% de precisão no TON_IoT.
- Regressão Logística e Naive Bayes também mostraram resultados competitivos, particularmente em recall, embora com precisão geral menor que a do Random Forest.
Desempenho Cruzado entre Conjuntos de Dados: Foi observado um "hiato de generalização" significativo. Quando os modelos foram treinados em um conjunto de dados e testados no outro, o desempenho caiu precipitadamente.
- Random Forest: Caiu para 38,07% de precisão (UNSW-NB15 $\to$ TON_IoT) e 39,54% de precisão (TON_IoT $\to$ UNSW-NB15).
- Regressão Logística: Desempenhou-se relativamente melhor na direção UNSW-NB15 $\to$ TON_IoT (77,79% de precisão), mas caiu para 38,24% na direção inversa.
- Naive Bayes: Mostrou a generalização mais fraca, com precisões tão baixas quanto 25,85% e 36,58%, e recall extremamente baixo em algumas configurações.
Análise de Características: Mapas de calor de correlação revelaram características redundantes de volume de tráfego. A análise de importância de características no conjunto de dados TON_IoT indicou que os volumes de bytes/pacotes do lado de origem e características relacionadas a DNS foram críticos para o modelo Random Forest, sugerindo que o modelo aprendeu padrões específicos do conjunto de dados em vez de assinaturas de ataque universais.

Principais Contribuições

Evidência Empírica de Falha de Generalização: O estudo fornece evidências concretas de que alta precisão em benchmarks em conjuntos de dados individuais (UNSW-NB15, TON_IoT) não se traduz em viabilidade cruzada entre conjuntos de dados.
Benchmarks Cruzados entre Conjuntos de Dados: Ao avaliar sistematicamente modelos em dois conjuntos de dados distintos usando um conjunto restrito de características comuns, o artigo destaca a fragilidade dos modelos atuais de IDS quando confrontados com deslocamentos de domínio.
Análise Comparativa: Os resultados são comparados com a literatura existente, mostrando que, embora os resultados do estudo no mesmo conjunto de dados sejam competitivos ou superiores a trabalhos anteriores, o colapso cruzado entre conjuntos de dados é uma descoberta distinta frequentemente negligenciada em avaliações padrão.

Significado e Afirmações
O artigo afirma que a contribuição principal não é meramente uma comparação de classificadores, mas a exposição de um notável problema de generalização no aprendizado de máquina para cibersegurança. Os autores argumentam que o acentuado declínio no desempenho durante a avaliação cruzada entre conjuntos de dados prova que altas pontuações em benchmarks frequentemente mascaram uma falha em adaptar-se a tráfego de rede diversificado.

O estudo enquadra esse desafio no contexto de computação afetiva e IA centrada no ser humano. Estabelece um paralelo entre a dificuldade de inferir estados latentes a partir de sinais comportamentais ruidosos e dependentes de contexto na computação afetiva e o desafio de identificar atividade maliciosa a partir de comportamentos de rede em mudança. Os autores sugerem que técnicas desses campos — como análise de sinais comportamentais, adaptação de domínio e modelagem consciente de incerteza — poderiam ser aproveitadas para desenvolver sistemas de detecção de intrusão mais robustos, adaptativos e generalizáveis, capazes de operar em ambientes IoT e empresariais em evolução.

Limitações
Os autores reconhecem que o desempenho cruzado entre conjuntos de dados pode ser parcialmente atribuído ao número limitado de características comuns (apenas sete) utilizado para avaliação, o que removeu informações específicas do conjunto de dados disponíveis nos testes no mesmo conjunto de dados. Além disso, diferenças nos ambientes de geração de tráfego e nos comportamentos de ataque entre os dois conjuntos de dados contribuíram para o deslocamento de domínio.

Resumo Técnico: Avaliação da Capacidade de Generalização de Modelos de Aprendizado de Máquina para Detecção de Intrusão

Mais como este