Robust Unsupervised Network Intrusion Detection via Federated Learning with Selective Aggregation under Anomalous Sample Contamination

Imagine a internet como uma cidade enorme e movimentada, onde bilhões de pequenos dispositivos — geladeiras inteligentes, câmeras de segurança e sensores de fábrica — conversam entre si a cada segundo. Isso é a Internet das Coisas (IoT). Embora essa conectividade torne a vida mais fácil, ela também transforma cada dispositivo em uma porta de entrada potencial para ladrões digitais. Para manter a cidade segura, guardas de segurança chamados Sistemas de Detecção de Intrusão de Rede (NIDS) escaneiam constantemente o tráfego em busca de comportamentos suspeitos. Tradicionalmente, esses guardas aprendem o que é "normal" estudando uma biblioteca de exemplos rotulados, como uma academia de polícia com um arquivo sobre cada criminoso conhecido. Mas, no mundo real, novos tipos de malware aparecem mais rápido do que qualquer pessoa consegue rotular, e pedir uma lista perfeita e limpa de tráfego "bom" é como pedir uma biblioteca com zero erros de digitação.

É aqui que o "aprendizado não supervisionado" entra. Em vez de precisar de um professor para apontar os vilões, esses sistemas tentam aprender a forma do comportamento normal por conta própria e sinalizar qualquer coisa que pareça estranha. No entanto, há um porém: e se a própria biblioteca já estiver contaminada? E se o tráfego "normal" que o sistema está estudando incluir secretamente alguns dispositivos infectados? Se o sistema aprender com esses dados sujos, ele pode começar a pensar que o malware é, na verdade, normal, deixando a cidade totalmente aberta. O artigo que você está prestt prestes a ler aborda exatamente este problema: como construir um guarda de segurança que permaneça atento mesmo quando os dados de treinamento estão secretamente envenenados por alguns poucos agentes maldosos, usando um truque inteligente envolvendo trabalho em equipe e um pouco de investigação matemática.

---

O Poço Envenenado e a Solução de Trabalho em Equipe

No mundo da cibersegurança, imagine que você está tentando ensinar um robô a identificar uma moeda falsa. Você dá a ele um balde de moedas para estudar, esperando que todas sejam reais. Mas, sem que você saiba, algumas moedas falsas entraram no meio. Se o robô estudar muitas dessas falsificações, ele pode começar a pensar: "Oh, este formato estranho é, na verdade, normal!" e falhar em detectar as falsificações reais mais tarde. Este é o problema da "contaminação por amostra anômala". No mundo real, quando coletamos tráfego de rede de milhares de dispositivos IoT para treinar nossa IA de segurança, alguns desses dispositivos podem já estar infectados. Não conseguimos distinguir facilmente quais são, então os dados de treinamento "limpos" que pensamos ter são, na verdade, uma mistura de bons e ruins.

Os autores deste artigo, Shohei Kamiguchi e Takayuki Nishio, propõem uma solução chamada FLANDRE (Federated Learning-assisted Anomalous Node Detection & REmoval — Detecção e Remoção de Nós Anômalos Assistida por Aprendizado Federado). A grande ideia deles é parar de tentar misturar todos os dados em um único balde gigante e, em vez disso, permitir que os dispositivos treinem seus próprios pequenos modelos localmente, compartilhando apenas suas "lições aprendidas" (atualizações matemáticas) com um servidor central. Essa abordagem é chamada de Aprendizado Federado.

Normalmente, as pessoas pensam que o Aprendizado Federado serve apenas para privacidade — manter os dados fora de um servidor central. Mas os autores descobriram um superpoder secreto nele. Eles perceberam que, em uma equipe de 100 dispositivos, se apenas alguns (digamos, 10%) estiverem infectados, os dados "ruins" são uma minoria ínfima. No Aprendizado Federado padrão, o servidor central faz a média de todas as atualizações de todos. Como os dispositivos infectados são tão poucos, suas lições estranhas e "envenenadas" são abafadas pelas centenas de dispositivos "bons". É como tentar mudar o sabor de uma panela gigante de sopa adicionando uma única gota de molho picante; a sopa permanece majoritariamente suave. Os autores decidiram aproveitar essa fraqueza do "a minoria é ignorada" e transformá-la em uma força.

O Jogo de Detetive: Encontrando as Maçãs Podres

No entanto, apenas fazer a média das atualizações não é suficiente se os dispositivos ruins forem muito barulhentos ou se a contaminação for alta. Por isso, o FLANDRE adiciona uma segunda camada de defesa: um mecanismo de Agregação Seletiva. Pense no servidor central como um detetive segurando um mapa de onde cada um está posicionado.

Veja como o detetive funciona:

1. O Aquecimento: Primeiro, o servidor deixa que todos treinem por um tempo.
2. A Verificação de Distância: O servidor observa o quanto o novo modelo de cada dispositivo mudou em comparação ao modelo "médio" do grupo.
3. O Agrupamento (Clustering): Usando uma ferramenta matemática chamada algoritmo de Expectativa-Maximização (EM), o servidor agrupa os dispositivos em dois clusters baseados em quão longe seus modelos estão do centro.
   • Cluster A: Os "Caras Bons". Seus modelos estão próximos da média porque todos estão aprendendo com o tráfego normal.
   • Cluster B: Os "Caras Maus". Seus modelos se afastaram porque estão tentando aprender com dados infectados e estranhos.
4. O Corte: O servidor simplesmente ignora os "Caras Maus" (Cluster B) e usa apenas as atualizações dos "Caras Bons" para atualizar o modelo global principal.

É como um professor percebendo que alguns alunos estão tentando resolver um problema de matemática usando um método completamente diferente (e errado). Em vez de deixar que esses poucos alunos confundam toda a classe, o professor pede silenciosamente que eles se afastem da discussão em grupo, garantindo que a resposta final seja baseada apenas na lógica correta.

O Que Eles Descobriram no Laboratório

Os autores testaram essa ideia em três conjuntos de dados famosos de cibersegurança: ToN IoT, CSE-CIC-IDS2018 e NF-UQ-NIDS-v2. Eles simularam um cenário onde de 10% a 40% do total de dados de treinamento eram, na verdade, maliciosos, escondidos dentro dos conjuntos de dados de alguns dispositivos comprometidos.

Os resultados foram impressionantes. Quando compararam o FLANDRE com outros métodos:

• Treinamento Centralizado Padrão: Quando misturaram todos os dados juntos (mesmo as partes ruins) e treinaram um grande modelo, o desempenho caiu significamente. Por exemplo, no conjunto de dados IDS2018, o F1 score (uma medida de precisão) caiu para 0,590.
• Competidores de Ponta (State-of-the-Art): Eles testaram contra um método de alto nível chamado LOE-S, que tenta separar matematicamente os dados bons e ruins. O LOE-S obteve 0,586 no mesmo conjunto de dados, mal sendo melhor que a abordagem padrão.
• FLANDRE: O novo método deles obteve 0,823 no IDS2018, 0,969 no ToN IoT e 0,838 no NF-UQ-NIDS.

Crucialmente, os escores do FLANDRE foram quase idênticos ao cenário "Ideal" — um mundo perfeito onde os dados de treinamento eram 100% limpos desde o início. No conjunto de dados ToN IoT, o FLANDRE ficou a apenas 0,004 pontos do escore ideal, enquanto os outros métodos ficaram muito atrás. Isso sugere que, ao filtrar os clientes suspeitos, o FLANDRE pode essencialmente "desenvenenar" o processo de treinamento.

Eles também testaram como o sistema lida com diferentes níveis de infecção. Mesmo quando a quantidade de dados ruins na rede aumentava, o FLANDRE permanecia estável. Curiosamente, descobriram que se os dispositivos infectados tivessem uma quantidade muito alta de dados ruins (como 80% de seus arquivos locais serem malware), o sistema ainda funcionava bem, mas se a infecção fosse muito sutil, uma variante específica do método deles (chamada FLANDRE-R, que usa uma medição diferente) tinha um pouco mais de dificuldade. No entanto, o método principal FLANDRE permaneceu robusto em todos os casos.

A Conclusão

Este artigo não afirma ter resolvido todos os problemas de cibersegurança, mas oferece uma maneira inteligente e prática de lidar com um problema muito real: treinar IAs em dados que podem estar secretamente corrompidos. Ao usar o Aprendizado Federado não apenas para privacidade, mas para suprimir naturalmente a influência de alguns poucos atores maldosos, e depois adicionar um passo de "detetive" para expulsar os outliers, os autores criaram um sistema que aprende o que o "normal" realmente parece, mesmo quando a sala de aula está cheia de trapaceiros.

Em suas simulações, o FLANDRE provou que você não precisa saber exatamente quais dispositivos estão infectados para proteger a rede. Você só precisa deixar a maioria votar e ter a coragem de ignorar a minoria barulhenta. É um lembrete de que, às vezes, a melhor maneira de encontrar a verdade é parar de ouvir as pessoas que estão tentando te confundir.