Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

Resumo Técnico: Aprendizado Federado no Mundo Real: Um Estudo Comparativo para Cibersegurança sob Configurações Não-IID e Desbalanceadas

Declaração do Problema
O Aprendizado de Máquina (ML) demonstrou um potencial significativo para análise de tráfego de rede e detecção de intrusão. No entanto, sua eficácia é frequentemente limitada pela necessidade de conjuntos de dados representativos e atualizados, que são difíceis de agregar devido a regulamentações de privacidade e restrições de compartilhamento de dados. O Aprendizado Federado (FL) oferece uma solução ao permitir o treinamento colaborativo de modelos enquanto mantém os dados sensíveis locais. Apesar dessa promessa, o algoritmo canônico de FL, Federated Averaging (FedAvg), exibe convergência e desempenho ruins em ambientes heterogêneos caracterizados por dados não independentes e identicamente distribuídos (não-i.i.d.) e conjuntos de dados desbalanceados. Essas condições são prevalentes em cibersegurança, onde diferentes clientes (por exemplo, nós de rede) encontram padrões de ataque distintos e volumes de tráfego variáveis. A literatura existente carece de uma avaliação abrangente de algoritmos alternativos de FL especificamente dentro do contexto de sistemas de detecção de intrusão de rede (NIDS) sob tais configurações "patológicas".

Metodologia
Este estudo apresenta uma avaliação comparativa sistemática de sete algoritmos de FL aplicados à detecção de intrusão de rede para ataques de Negação de Serviço Distribuída (DDoS). A avaliação é conduzida sob uma configuração severa de não-i.i.d. e desbalanceada, descrita como um cenário "patológico". Nesta configuração:

• Distribuição de Dados: 15 clientes são utilizados, onde cada cliente possui um conjunto de dados contendo tráfego benigno e exatamente um tipo específico de ataque DDoS.
• Desbalanceamento: O volume de dados entre os clientes varia em mais de quatro ordens de magnitude. Embora os conjuntos de dados individuais dos clientes sejam localmente balanceados entre amostras benignas e maliciosas, a federação como um todo é altamente desbalanceada em relação tanto ao tamanho do conjunto de dados quanto à representação do tipo de ataque.
• Algoritmos Avaliados: O estudo compara o baseline FedAvg contra seis métodos avançados:
  • Propósito geral: FedProx (regularização), SCAFFOLD (variáveis de controle) e FedALA (agregação local adaptativa).
  • Específicos para Cibersegurança: DAFL (consciente de disparidade), FedSBS (seleção gananciosa de clientes) e FLAD (abordagem adaptativa para DDoS).
• Configuração Experimental: Os experimentos utilizam conjuntos de dados de referência recentes (CIC-IDS2017, CIC-IDS2018 e CIC-DDoS2019), cobrindo 15 tipos distintos de ataques DDoS. O modelo global é um Perceptron Multicamadas (MLP) treinado usando o framework Flower em recursos apenas de CPU para refletir restrições de leveza.
• Métricas: O desempenho é avaliado com base na precisão de detecção (F1 score), duração do treinamento, overhead de comunicação e padrões de seleção de clientes. Dez execuções independentes com diferentes sementes aleatórias garantem a confiabilidade dos resultados.

Principais Contribuições

1. Adaptação e Revisão: Os autores revisam e adaptam algoritmos de estado da arte de FL, incluindo aqueles originalmente projetados para visão computacional, para os requisitos específicos de NIDS para detecção de DDoS.
2. Avaliação Multidimensional: Diferente de estudos focados apenas na precisão final, este trabalho fornece uma comparação abrangente entre desempenho de detecção, generalização do modelo, tempo de treinamento e overhead de comunicação.
3. Análise sob Condições Patológicas: O estudo investiga o comportamento algorítmico sob heterogeneidade extrema, onde cada cliente observa um perfil de ataque único, destacando os pontos fortes e as limitações de várias estratégias de seleção de clientes, agregação e treinamento local.
4. Reprodutibilidade: Uma implementação de código aberto dos algoritmos avaliados e da configuração experimental (incluindo a configuração do conjunto de dados) é fornecida para permitir a reprodutibilidade.

Resultados
A análise comparativa produz várias descobertas críticas:

• Precisão e Generalização: A maioria dos algoritmos tem dificuldade em generalizar efetivamente para todos os tipos de ataque, particularmente para os ataques WebDDoS, LDAP e LOIC, que são subrepresentados ou possuem distribuições de características distintas. FedAvg, FedProx, SCAFFOLD e FedSBS geralmente alcançam F1 scores abaixo de 0,8 para esses ataques específicos. O FedALA apresenta um desempenho ruim em ataques baseados em TCP. Em contraste, o FLAD demonstra robustez superior, alcançando altos F1 scores (média de 0,97) em todos os tipos de ataque ao ajustar dinamicamente o treinamento com base no desempenho do cliente.
• Tempo de Treinamento e Eficiência:
  • O DAFL incorre na maior duração de treinamento porque exige que todos os 15 clientes realizem o treinamento local em cada rodada, tornando o processo limitado pelo cliente mais lento.
  • O FLAD reduz significamente o tempo total de treinamento (apesar do alto overhead de comunicação) ao selecionar adaptativamente menos clientes por rodada e atribuir mais etapas de treinamento apenas àqueles com menor precisão, excluindo efetivamente clientes que já convergiram.
  • Métodos padrão (FedAvg, FedProx, SCAFFOLD, FedALA) mostram tempos de treinamento comparáveis, com operações locais contabilizando aproximadamente 60% da duração total.
• Overhead de Comunicação:
  • FedAvg, FedProx, FedALA e FedSBS mantêm um baixo overhead de comunicação, semelhante ao baseline.
  • SCAFFOLD, DAFL e FLAD introduzem um overhead maior. O SCAFFOLD troca variáveis de controle; o DAFL exige que todos os clientes baixem o modelo global para validação; o FLAD exige a transmissão de pontuações de precisão e parâmetros de treinamento adaptativos.
• Seleção de Clientes: Algoritmos que empregam seleção de clientes informada (DAFL, FLAD) ou distribuição de carga de trabalho adaptativa superam os que dependem de seleção aleatória (FedAvg, FedProx, SCAFFOLD, FedALA) em termos de precisão final do modelo sob condições não-i.i.d.

Significância e Alegações
O artigo afirma que, para cenários de cibersegurança caracterizados por distribuições de dados altamente heterogêneas e desbalanceadas, a seleção de clientes informada e a distribuição adaptativa de carga de trabalho são mecanismos mais eficazes para melhorar o desempenho de detecção do que modificações no treinamento local ou na agregação global isoladamente.

Os autores argumentam que tratar todos os clientes igualmente (via seleção de probabilidade fixa ou carga de trabalho uniforme) falha em garantir que padrões de ataque raros ou difíceis contribuam suficientemente para o modelo global. Em vez disso, estratégias que priorizam dinamicamente os clientes com base em sua contribuição atual para o processo de aprendizagem (como visto no FLAD e DAFL) permitem que a federação utilize a informação heterogênea de forma mais eficaz. Embora essas abordagens adaptativas incorram em custos adicionais de comunicação e coordenação, o estudo conclui que, para detecção de intrusão de rede, onde atualizações oportunas são críticas para mitigar ameaças em evolução, a compensação favorece a adaptatividade sobre a eficiência estrita de comunicação. As descobertas sugerem que futuras soluções de FL para cibersegurança devem priorizar mecanismos que abordem a heterogeneidade ao nível do cliente diretamente através de gestão de seleção e carga de trabalho.