Protecting Federated Learning from Extreme Model Poisoning Attacks via Multidimensional Time Series Anomaly Detection

Este trabalho apresenta o FLANDERS, um novo filtro de pré-agregação para Aprendizado Federado que utiliza detecção de anomalias em séries temporais multidimensionais para identificar e mitigar ataques de envenenamento de modelos em larga escala, mesmo quando os clientes maliciosos superam em número os participantes legítimos.

O essencial

Imagine que você e seus amigos estão tentando aprender a cozinhar o prato perfeito juntos, mas ninguém quer mostrar a receita secreta ou os ingredientes que tem em casa. Vocês combinam de cada um cozinhar um pouco em sua própria cozinha, enviar apenas o "paladar" do prato (não a receita completa) para um chef central, que mistura tudo para criar uma versão melhorada do prato. Isso é o Aprendizado Federado (Federated Learning).

O problema? E se alguns "amigos" forem, na verdade, espiões de um restaurante concorrente? Eles podem enviar um "paladar" estragado de propósito para estragar o prato final de todos. Isso é chamado de Envenenamento de Modelo.

A maioria dos métodos de defesa atuais funciona como um juiz que diz: "Se mais da metade dos amigos estiverem tentando estragar o prato, nós perdemos". Eles só funcionam bem se houver poucos espiões.

É aqui que entra o FLANDERS, a solução proposta neste artigo. Vamos explicar como ele funciona usando uma analogia simples:

O Grande Detetive de Padrões (FLANDERS)

O FLANDERS é como um detetive de padrões temporais que trabalha para o chef central. Em vez de apenas olhar para o prato que você enviou hoje, ele olha para a sua história de cozinhar.

1. A Previsão (O "Cristal Mágico"):
   O chef (servidor) usa uma bola de cristal chamada Modelo Autoregressivo Matricial. Essa bola de cristal analisa o que você enviou nas últimas semanas e tenta prever o que você deveria enviar hoje.

   • Analogia: Se você sempre envia um bolo de chocolate levemente diferente a cada dia, a bola de cristal sabe exatamente como será o seu próximo bolo.

2. O Teste de Realidade:
   Quando você envia seu prato hoje, o chef compara o que você enviou com o que a bola de cristal previu.

   • Amigo Honesto: O prato chega muito parecido com a previsão. "Ah, faz sentido! Você está seguindo o ritmo normal."
   • Espião (Atacante): O espião tenta enviar algo radicalmente diferente para estragar tudo. A bola de cristal grita: "Ei! Isso não faz sentido! Você nunca enviou um bolo de sabão antes! Isso é suspeito!"

3. O Filtro de Segurança:
   O FLANDERS calcula uma "nota de estranheza" para cada amigo. Se a nota for muito alta (o prato está muito diferente do previsto), ele é descartado antes de entrar na mistura final.

Por que isso é revolucionário?

A grande mágica do FLANDERS é que ele não precisa saber quantos espiões existem.

• O Problema Antigo: Métodos antigos diziam: "Se tivermos mais de 49% de espiões, não conseguimos nos defender". Era como tentar encontrar uma agulha num palheiro, mas o palheiro inteiro virou agulhas.
• A Solução FLANDERS: Ele diz: "Não importa se 90% dos amigos são espiões! Se o espião tentar enviar algo diferente do que ele costuma enviar (ou do que o grupo costuma fazer), a bola de cristal vai pegar ele."

O artigo mostra que, mesmo quando 80% dos participantes são maliciosos, o FLANDERS consegue filtrar os venenosos e deixar o prato final (o modelo de inteligência artificial) ficar saboroso e seguro.

Resumo da Ópera

• O Cenário: Um grupo aprendendo juntos sem compartilhar segredos.
• O Vilão: Um exército de espiões tentando estragar o aprendizado.
• O Herói (FLANDERS): Um sistema que vigia a história de cada participante. Ele sabe que um cozinheiro honesto tem um ritmo previsível. Qualquer um que quebra esse ritmo de forma drástica é identificado como um intruso, não importa quantos intrusos existam.
• O Resultado: O sistema de aprendizado continua funcionando perfeitamente, mesmo quando a maioria dos participantes está tentando sabotá-lo.

Em termos técnicos, o FLANDERS trata os dados enviados como uma série temporal multidimensional (uma sequência de eventos que mudam com o tempo) e usa estatística avançada para encontrar os "outliers" (os que fogem da regra). Mas, na prática, é como ter um detector de mentiras que olha para o comportamento passado para prever o futuro, protegendo o grupo contra invasores em massa.

Resumo técnico

Título: Protegendo o Aprendizado Federado de Ataques Extremos de Envenenamento de Modelos via Detecção de Anomalias em Séries Temporais Multidimensionais

Autores: Edoardo Gabrielli, Dimitri Belli, Zoe Matrullo, Vittorio Miori, Gabriele Tolomei.

1. O Problema

O Aprendizado Federado (FL) permite que múltiplos clientes treinem um modelo global sem compartilhar dados locais, preservando a privacidade. No entanto, o FL é vulnerável a ataques de envenenamento de modelo (model poisoning), onde um adversário controla um subconjunto de clientes para manipular os pesos do modelo global.

O foco deste trabalho são os ataques de envenenamento não direcionados (untargeted), onde o objetivo do atacante é degradar indiscriminadamente a precisão do modelo global durante a inferência.

• Limitação das Defesas Atuais: Mecanismos existentes (como Trimmed Mean, Krum, Bulyan ou FLDetector) geralmente falham quando a proporção de clientes maliciosos é alta (ex: >50%). Muitos dependem de heurísticas simples, assumem que os clientes maliciosos são uma minoria fixa, ou exigem conhecimento prévio do número de atacantes, o que é irrealista em cenários de escala massiva.
• O Cenário Extremo: O artigo aborda o cenário onde os clientes maliciosos superam em número os participantes legítimos (ex: 60% a 80% dos clientes são hostis), um cenário onde as defesas tradicionais colapsam.

2. Metodologia: FLANDERS

Os autores propõem o FLANDERS (Federated Learning meets ANomaly DEtection for a Robust and Secure), um filtro de pré-agregação que não requer conhecimento prévio da proporção de atacantes e integra dependências temporais.

Ideia Central

A hipótese fundamental é que as atualizações de modelos locais de clientes legítimos (resultantes de procedimentos iterativos bem calibrados, como o Gradiente Descendente Estocástico - SGD) exibem padrões regulares e maior previsibilidade ao longo do tempo. Em contraste, as atualizações de clientes maliciosos, que tentam perturbar o modelo, comportam-se como outliers (anomalias) em relação a essa evolução temporal.

Funcionamento Técnico

1. Séries Temporais Matriciais: O servidor trata a sequência de modelos locais enviados pelos clientes em cada rodada do FL como uma série temporal matricial ($\Theta_t$). Cada coluna da matriz representa o vetor de pesos de um cliente.
2. Modelo de Previsão (MAR): O servidor utiliza um Modelo Autoregressivo Matricial (MAR) para prever as atualizações dos clientes na rodada atual ($t$) com base nas observações históricas ($t-1, \dots, t-w$).
   • O modelo estima coeficientes ($\hat{A}, \hat{B}$) minimizando a norma de Frobenius entre as matrizes observadas e previstas.
3. Cálculo de Pontuação de Anomalia:
   • Para cada cliente selecionado, calcula-se a distância (ex: norma $L_2$ quadrada) entre o modelo real enviado ($\theta_c^{(t)}$) e o modelo previsto pelo MAR ($\hat{\theta}_c^{(t)}$).
   • Problema de "Cold Start": Para clientes selecionados pela primeira vez (sem histórico), a anomalia é calculada como a distância entre o modelo local e o modelo global atual.
4. Filtragem: Os clientes são classificados por suas pontuações de anomalia. O servidor retém apenas os $k$ clientes com as menores pontuações (mais previsíveis) para a agregação, descartando os outliers.
5. Atualização do Modelo: Para evitar que atualizações maliciosas corrompam o próprio modelo de previsão (MAR), as colunas identificadas como maliciosas são substituídas por valores legítimos (do modelo global ou da última observação do cliente) antes de re-treinar o MAR.

3. Principais Contribuições

1. Evidência Empírica: Demonstração de que a sequência de modelos de clientes legítimos é estatisticamente mais previsível (maior informação mútua temporal) do que a de atacantes.
2. Novo Filtro (FLANDERS): Primeira solução de pré-agregação baseada em detecção de anomalias em séries temporais multidimensionais, robusta a ataques onde a maioria dos participantes é hostil.
3. Independência de Assunções: Não requer conhecimento prévio da proporção de atacantes nem assume que os atacantes são estáticos (podem alternar entre comportamento legítimo e malicioso).
4. Integração e Reprodução: Integração do método no framework Flower e liberação do código fonte.
5. Melhoria de Robustez: Demonstração de que o FLANDERS melhora significativamente a performance de métodos de agregação existentes (FedAvg, Krum, Bulyan) em cenários não-IID e sob ataques severos.

4. Resultados Experimentais

Os experimentos foram realizados em quatro conjuntos de dados (MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100) com distribuições de dados não-IID.

• Cenários de Ataque: Testado contra ataques Gaussianos (GAUSS), "A Little Is Enough" (LIE), Baseado em Otimização (OPT) e AGR-MM.
• Proporção de Atacantes: Avaliado com 20%, 60% e 80% de clientes maliciosos.
• Desempenho de Detecção:
  • O FLANDERS alcançou Precisão e Recall de 1.0 (100%) na detecção de clientes maliciosos na maioria dos cenários, superando consistentemente o FLDetector (o principal concorrente).
  • O FLDetector falhou em cenários com muitos atacantes e dados não-IID, pois sua métrica baseia-se em uma aproximação de Hessiana que assume consistência entre clientes legítimos, o que não se sustenta em dados heterogêneos.
• Robustez da Agregação:
  • Em ataques extremos (80% de clientes maliciosos), o FedAvg padrão falhou completamente (acurácia próxima ao acaso).
  • Métodos robustos como Multi-Krum e Bulyan falharam sozinhos nesses cenários extremos.
  • Com FLANDERS: A combinação de FLANDERS + FedAvg (ou outros métodos) manteve a acurácia alta, recuperando o desempenho próximo ao cenário sem ataque. Por exemplo, no MNIST com 80% de atacantes, a acurácia subiu de ~0.18 (FedAvg puro) para ~0.84 (FLANDERS + FedAvg).
• Ataques Adaptativos: O método manteve-se robusto mesmo quando os atacantes tentavam "adivinhar" os parâmetros usados pelo servidor para o modelo MAR, embora um atacante onisciente (que conhece exatamente os parâmetros) possa reduzir a eficácia, o método ainda oferece proteção superior em muitos casos.

5. Significado e Conclusão

O trabalho FLANDERS representa um avanço significativo na segurança do Aprendizado Federado, preenchendo uma lacuna crítica: a defesa contra ataques onde os adversários são a maioria.

• Inovação: Ao reformular o problema de detecção de envenenamento como uma tarefa de detecção de anomalias em séries temporais, o método explora a dinâmica temporal das atualizações do modelo, algo que abordagens estáticas ignoram.
• Aplicabilidade: É particularmente relevante para cenários de Cross-Silo FL (onde o número de participantes é menor e a seleção de clientes é mais consistente), mas também oferece proteção em cenários de Cross-Device, embora com custos computacionais maiores.
• Impacto: Permite que algoritmos de agregação padrão (como FedAvg) sejam usados com segurança em ambientes hostis, eliminando a necessidade de heurísticas complexas e frágeis que falham sob pressão extrema.

Limitações Futuras: Os autores reconhecem o custo computacional do treinamento do modelo MAR (especialmente em espaços de parâmetros de alta dimensão) e planejam otimizar isso via amostragem aleatória de parâmetros e algoritmos de inversão de matriz mais eficientes.