💻 computer science

When Unseen Attacks Look Normal: Open-Set Evaluation, Feature Observability, and Protocol-Invariant Detection in Mobile Ad Hoc Networks

Este artigo demonstra que, enquanto modelos padrão de aprendizado de máquina falham em detectar ataques não vistos em Redes Ad Hoc Móveis devido à sua dependência de distribuições variáveis, um recurso simples e invariante ao protocolo — contar vizinhos de roteamento sem quadros decodificados — alcança a detecção perfeita de ataques de wormhole ao identificar violações estruturais em vez de anomalias estatísticas.

Autores originais: Amruth V, Devaraj Verma C

Publicado 2026-09-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Amruth V, Devaraj Verma C

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo caótico das redes móveis ad hoc, os dispositivos conversam entre si sem uma torre central ou infraestrutura fixa para guiá-los. Imagine um grupo de trilheiros em uma floresta densa, cada um carregando um rádio. Para enviar uma mensagem através do grupo, um trilheiro deve passá-la para um vizinho, que a passa para outro, até que ela chegue ao seu destino. Este sistema é incrivelmente útil para o socorro em desastres ou operações militares onde não existem torres de celular, mas também é frágil. Como cada dispositivo atua tanto como emissor quanto como repetidor, um único dispositivo desonesto pode sabotar toda a conversa. Ele pode fingir ser um vizinho prestativo, roubar as mensagens ou simplesmente deixá-las cair na terra. Durante anos, pesquisadores tentaram construir cães de guarda digitais para detectar esses traidores. Eles treinam programas de computador para reconhecer tipos específicos de comportamento malicioso, como um dispositivo que subitamente para de encaminhar mensagens ou um que inunda a rede com solicitações falsas. Esses programas são geralmente testados vendo quão bem conseguem separar atores maldosos conhecidos de bons atores. Se o programa consegue distinguir um ladrão de um trilheiro, ele é considerado bem-sucedido.

No entanto, um novo estudo sugere que essa forma de testar é perigosamente incompleta. Os pesquisadores, trabalhando com uma simulação computacional detalhada de cem dispositivos em movimento, descobriram que um programa pode ser excelente em detectar os cinco tipos específicos de ataques para os quais foi treinado, mas ser completamente cego a um sexto tipo que nunca viu antes. Em seus experimentos, eles criaram um cenário com cinco tipos diferentes de sabotagem: um "buraco negro" (black hole) que engole todo o tráfego, um "buraco cinza" (grey hole) que descarta metade das mensagens, um "buraco de sucção" (sinkhole) que engana os dispositivos para que enviem o tráfego para um beco sem saída, um ataque de "inundação" (flooding) que entope a rede com ruído e um "buraco de minhoca" (wormhole) que cria um túnel secreto entre dois dispositivos distantes. Eles treinaram sete métodos de detecção diferentes para reconhecer essas cinco ameaças. Quando os pesquisadores testaram esses métodos apenas nos ataques que já haviam visto, os programas tiveram um desempenho similarmente bom, com pontuações de precisão altas que faziam todos parecerem vencedores. Mas o teste real veio quando eles esconderam um tipo de ataque dos dados de treinamento e pediram aos programas que o encontrassem em um mar de tráfego normal.

Os resultados foram surpreendentes. Os programas mais sofisticados, que utilizavam redes neurais complexas semelhantes às que impulsionam o reconhecimento de imagens, falharam espetacularmente. Diante de ataques de inundação, sinkhole e wormhole não vistos, essas redes neurais rotularam unanimemente os atores maldosos como dispositivos normais e inofensivos. Elas estavam tão convictas de suas respostas erradas que suas pontuações de confiança eram indistinguíveis de suas respostas corretas. De fato, para ataques de buraco negro e inundação, esses programas inteligentes tiveram um desempenho pior do que o acaso. O único método que mostrou qualquer habilidade real em detectar as ameaças desconhecidas foi uma abordagem muito mais simples baseada em uma floresta de árvores de decisão. Este método funcionou porque, ao contrário das redes neurais, ele conseguia sentir quando estava olhando para algo que não entendia. Quando os dados não se ajustavam ao seu treinamento, as árvores em sua "floresta" discordavam entre si, criando um sinal de incerteza que os outros programas careciam.

O estudo também descobriu uma falha crítica na forma como tais simulações são frequentemente construídas. Um dos ataques, o wormhole, foi inicialmente detectado com precisão quase perfeita, mas os pesquisadores perceberam que isso era uma ilusão. A simulação havia dado aos detectores acesso às coordenadas físicas exatas de cada dispositivo, permitindo que medissem a distância real entre os vizinhos. No mundo real, um dispositivo não pode saber sua localização exata ou a localização exata dos outros; ele pode apenas estimar a distância com base na força do sinal de rádio. Quando os pesquisadores removeram esse "atalho" e forçaram os detectores a depender apenas de informações observáveis, o desempenho para o ataque de wormhole colapsou. Os detectores não consegiam mais distinguir um dispositivo normal de um ponto de extremidade de um wormhole.

Para resolver isso, os pesquisadores encontraram uma pista diferente que não exige saber onde os dispositivos estão. Eles notaram que, em um ataque de wormhole, dois dispositivos atuam como pontos de extremidade do túnel, aparecendo como vizinhos na tabela de roteamento da rede, embora nunca tenham ouvido o sinal de rádio um do outro. Em uma rede normal, um dispositivo só lista um vizinho se tiver recebido com sucesso uma mensagem dele. Os pesquisadores criaram uma regra simples: se um dispositivo vê um vizinho em sua lista que nunca o ouviu falar, isso é um wormhole. Essa única observação, que se baseia em uma regra fundamental de como a rede deve funcionar, separou os atacantes de wormhole de todos os outros dispositivos com total precisão em todos os testes.

O artigo conclui que a forma atual de avaliar sistemas de segurança é enganosa. Um sistema que pontua alto em ataques conhecidos pode ser inútil contra novos ataques. O estudo mostra que a escolha de como um sistema expressa sua confiança importa mais do que a complexidade do modelo em si. Uma verificação simples de uma regra quebrada no protocolo da rede provou ser mais eficaz para o ataque de wormhole, enquanto um tipo diferente de modelo era necessário para detectar o ataque de inundação. Os pesquisadores argumentam que o teste de segurança deve ir além de apenas verificar se um sistema conhece os truques antigos. Deve também testar como o sistema reage quando encontra um tipo completamente novo de problema, garantindo que os cães de guarda digitais possam realmente latir quando virem algo que nunca viram antes.

Resumo Técnico: Quando Ataques Inéditos Parecem Normais

Declaração do Problema

As Redes Ad Hoc Móveis (MANETs) carecem de infraestrutura fixa e autoridade central, tornando os protocolos de roteamento a principal superfície de ataque. Os atuais sistemas de detecção de intrusão (IDS) para MANETs são predominantemente avaliados como problemas de classificação de conjunto fechado (closed-set), onde os modelos são treinados e testados em um conjunto fixo e conhecido de classes de ataque. Esse enquadramento assume que os detectores implantados encontrarão apenas ataques que foram explicitamente treinados para reconhecer.

No entanto, na implantação no mundo real, um modelo treinado para separar cinco classes conhecidas deve lidar com um sexto ataque inédito. O artigo investiga o que acontece quando um modelo encontra um ataque que nunca viu antes. Especificamente, ele questiona se as métricas padrão de conjunto fechado (como acurácia ou F1 score) podem prever de forma confiável o comportamento de um modelo diante de ameaças inéditas, e se os sinais de confiança padrão (como a probabilidade máxima de softmax) podem distinguir entre uma classe conhecida e um ataque desconhecido.

Metodologia

Os autores realizaram uma avaliação controlada usando simulações em ns-3 envolvendo 120 execuções com 100 nós movendo-se via random waypoint em um campo de 1500x1500m. A rede utilizou roteamento AODV sobre IEEE 802.11b.

Design Experimental:

Ataques: Cinco ataques de roteamento foram implementados: Black Hole, Grey Hole, Sinkhole, Flooding e Wormhole.
Modelos: Sete detectores foram avaliados em características e divisões de dados idênticas: Árvore de Decisão, k-NN, SVM, Random Forest (300 árvores), CNN-1D, LSTM e GRU. Adicionalmente, um Autoencoder baseado em GRU foi treinado apenas em tráfego benigno.
Protocolo de Avaliação:
1. Conjunto Fechado (Closed-Set): Validação cruzada de 4 dobras padrão em todos os ataques conhecidos.
2. Conjunto Aberto (Open-Set - Leave-One-Attack-Out): Cada ataque foi isolado do treinamento por vez. O modelo foi então testado no ataque inédito para medir sua capacidade de detectar novidade.
3. Pontuação de Incerteza: Três pontuações de novidade foram comparadas:
  - Probabilidade Máxima de Softmax (baseline padrão).
  - Desacordo de Voto de Ensemble (para Random Forest).
  - Erro de Reconstrução (para Autoencoder).
Observabilidade de Características: O estudo distinguiu entre características observáveis por um nó implantado (estado do protocolo, RSSI) e características derivadas do simulador (coordenadas geométricas reais).

Principais Contribuições

Desacoplamento do Desempenho de Conjunto Fechado e Conjunto Aberto: O estudo demonstra que o alto desempenho em conjunto fechado não correlaciona com a capacidade de conjunto aberto. Embora sete detectores tenham alcançado uma faixa estreita de macro F1 (0.878–0.944) em ataques conhecidos, seu desempenho em ataques inéditos variou drasticamente (AUROC 0.10 a 0.98).
Falha dos Sinais de Confiança Neurais: Arquiteturas neurais (CNN, LSTM, GRU) falharam consistentemente em identificar ataques inéditos. Elas atribuíram ataques inéditos à classe "normal" com alta confiança (atribuição unânime em muitos casos), e suas probabilidades máximas de softmax caíram abaixo do acaso (AUROC 0.10–0.25) para vários ataques.
Desacordo de Ensemble como Sinal de Novidade: O modelo Random Forest foi a exceção. Seu desacordo de voto (a fração de árvores votando para a classe vencedora) serviu como uma estimativa de incerteza robusta, alcançando pontuações AUROC de 0.982 em Black Hole, 0.934 em Grey Hole e 0.965 em Flooding.
A Armadilha do "Wormhole" e Invariantes de Protocolo:
- Resultados iniciais para detecção de Wormhole (AUROC 0.950) basearam-se em características de distância geométrica derivadas de coordenadas reais do simulador, que não estão disponíveis na implantação.
- A remoção dessas características exclusivas do simulador reduziu o desempenho para o nível do acaso (AUROC 0.571).
- Os autores identificaram um invariante de protocolo implantável: a contagem de vizinhos de roteamento dos quais um nó nunca decodificou um quadro ( $\nu$ ). No tráfego honesto, isso é sempre zero. Em um túnel Wormhole, os endpoints registram vizinhos que eles nunca "ouviram".
- O limiar (thresholding) desta única estatística observável alcançou AUROC 1.000 para a detecção de Wormhole, superando todos os modelos aprendidos.
Limitações da Detecção Baseada em Reconstrução: O estudo explica por que os autoencoders falharam em Wormhole (e Grey Hole) ao usar características observáveis. O erro de reconstrução detecta desvios de uma distribuição; se uma característica é constante no tráfego benigno (ex: $\nu=0$ ), o modelo aprende a reconstruir essa constante perfeitamente. A anomalia é uma violação de uma restrição rígida, não um desenho incomum de uma distribuição, tornando o erro de reconstrução ineficaz sem o limiar direto.

Resultados

Conjunto Fechado: Sete detectores abrangeram uma faixa de macro F1 de apenas 0.066 (0.878 a 0.944). O Random Forest teve o melhor desempenho, mas as diferenças não foram estatisticamente significativas entre as dobras, sugerindo que métricas de conjunto fechado não podem classificar modelos de forma confiável para este problema.
Conjunto Aberto (Ataques Inéditos):
- Redes Neurais: Atribuíram ataques inéditos à classe "normal" de forma unânime. Por exemplo, 19/19 nós de Flooding e 20/20 nós de Sinkhole foram classificados como normais.
- Random Forest: Separou com sucesso ataques inéditos de Black Hole, Grey Hole e Flooding do tráfego normal usando o desacordo de voto.
- Autoencoder: Detectou com sucesso Flooding (AUROC 0.996) e Sinkhole (AUROC 0.996), mas falhou em Grey Hole (AUROC 0.374) e Wormhole (AUROC 0.571 sem geometria).
- Wormhole: Nenhum classificador discriminativo alcançou um escore utilizável (o melhor foi LSTM com 0.637). Apenas o invariante de protocolo ( $\nu > 0$ ) alcançou separação perfeita.
Observabilidade de Características: A remoção das características geométricas derivadas do simulador fez com que o escore de detecção de Wormhole caísse de 0.950 para 0.571, destacando o risco de overfitting a artefatos de simulação.

Significância e Alegações

O artigo argumenta que o paradigma de avaliação atual para detecção de intrusão em MANETs é insuficiente. A principal significância reside em três descobertas:

A acurácia de conjunto fechado é um mau substituto para a robustez de conjunto aberto. Um modelo pode ser altamente acurado em ataques conhecidos enquanto é completamente cego a ataques inéditos.
A escolha do mecanismo de incerteza é mais crítica do que a arquitetura do modelo. O desacordo de voto de um Random Forest forneceu um sinal de novidade utilizável onde as probabilidades de softmax de redes neurais falharam catastroficamente.
Invariantes de protocolo podem superar modelos aprendidos. Para ataques que violam restrições rígidas (como o túnel Wormhole), uma verificação simples de um invariante de protocolo é superior ao modelamento da distribuição do tráfego normal.

Os autores concluem que os resultados de detecção de intrusão para MANETs devem ser reportados juntamente com avaliações de "leave-one-attack-out" para revelar pontos cegos. Além disso, a seleção de uma pontuação de confiança ou novidade deve ser tratada como uma decisão de design primária, e não um detalhe de implementação, pois ela determina fundamentalmente se um sistema pode detectar o "inédito".