Resumo Técnico: FoggyTrust

Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento de modelos distribuídos sem expor os dados dos clientes, mas essa preservação de privacidade cria uma vulnerabilidade a ataques bizantinos. Clientes maliciosos podem envenenar dados locais ou manipular atualizações de modelos para degradar o desempenho do modelo global. Embora existam métodos de agregação robustos como Krum e Trimmed Mean, eles dependem de técnicas estatísticas que são suscetíveis a ataques cuidadosamente elaborados (ex: Ataque Krum, Ataque Trim) que exploram essas propriedades estatísticas.

Uma limitação específica identificada no estado da arte da defesa, FLTrust, é sua dependência de um único conjunto de dados raiz global no lado do servidor para computar pontuações de confiança (trust scores). O FLTrust assume que os dados dos clientes são relativamente Independentes e Identicamente Distribuídos (IID). Em cenários do mundo real, as aplicações de FL frequentemente envolvem distribuições de dados altamente heterogêneas (não-IID). Nesses cenários, um conjunto de dados raiz global pode não ser representativo de todos os grupos de clientes, levando a pontuações de confiança frágeis. Isso pode fazer com que o FLTrust penalize incorretamente atualizações benignas de clientes com distribuições de dados distintas, enquanto falha em detectar atualizações maliciosas que, por acaso, se alinham com o conjunto de dados raiz não representativo. Além disso, os métodos padrão de FL lutam contra o "desvio de cliente" (client drift) em configurações não-IID, onde as atualizações locais se desviam do objetivo global.

Metodologia: FoggyTrust

Os autores propõem o FoggyTrust, uma extensão hierárquica do FLTrust projetada para lidar com ambientes globalmente heterogêneos ao explorar a homogeneidade local. O framework introduz uma arquitetura de dois níveis:

1. Nível Local (Nós de Névoa/Fog Nodes): Em vez de um único servidor global gerenciando todos os clientes, o sistema utiliza "nós de névoa" intermediários. Os clientes são agrupados em clusters baseados em homogeneidade local (ex: localização geográfica ou distribuições de dados semelhantes). Cada nó de névoa mantém seu próprio pequeno conjunto de dados raiz representativo.

   • Os clientes enviam atualizações locais para seus respectivos nós de névoa.
   • O nó de névoa computa pontuações de confiança para essas atualizações usando seu conjunto de dados raiz local (via similaridade de cosseno, de forma semelhante ao FLTrust).
   • As atualizações são submetidas a clipping de ReLU e normalização com base nessas pontuações de confiança locais, sendo então agregadas em uma única "atualização de nó de névoa".

2. Nível Global (Servidor): O servidor global recebe as atualizações agregadas dos nós de névoa.

   • Ao contrário do nível local, o servidor global não computa pontuações de confiança baseadas em um conjunto de dados raiz.
   • Ele agrega as atualizações dos nós de néga usando regras de agregação federada avançadas projetadas para lidar com heterogeneidade e desvio de cliente, tais como FedAvg, FedAdam ou SCAFFOLD.

Esta abordagem hierárquica desacopla a estimativa de confiança da agregação global. A confiança é computada localmente onde os dados são homogêneos, garantindo uma pontuação precisa, enquanto a camada global foca em otimizar a convergência entre grupos heterogêneos.

Principais Contribuições

O artigo delineia três contribuições primárias sobre o método base FLTrust:

1. Computação de Confiança Localizada: Os autores empregam conjuntos de dados raiz através de múltiplos nós de névoa em vez de um único servidor global. Isso localiza as pontuações de confiança para grupos de clientes que são mais homogêneos, garantindo que os dados de referência sejam representativos da distribuição específica do grupo que está sendo agregado.
2. Agregação Hierárquica com Otimizadores Robustos: O framework introduz uma estrutura hierárquica que permite que o agregador de segundo nível (entre os nós de névoa e o servidor global) seja substituído por otimizadores conscientes da heterogeneidade, como SCAFFOLD (para mitigar o desvio de cliente) e FedAdam (para melhorar a adaptabilidade), abordando as fraquezas do FedAvg padrão.
3. Validação no Mundo Real: O método é avaliado não apenas em benchmarks padrão, mas também no Snapshot Safari, um conjunto de dados do mundo real envolvendo o monitoramento de vida selvagem através de diferentes biomas, demonstrando a aplicabilidade do framework em configurações de alto impacto social e segurança crítica.

Resultados Experimentais

Os autores avaliaram o FoggyTrust contra o FLTrust e outros baselines (Krum, Trimmed Mean, Median) em quatro conjuntos de dados: MNIST, Fashion-MNIST, CIFAR-10 e Snapshot Safari, sob vários ataques (Label Flipping, Krum, Trim e Scaling).

• CIFAR-10 (Alta Heterogeneidade): O FoggyTrust demonstrou seus maiores ganhos de desempenho aqui. Sob ataques Krum e Trim, o FoggyTrust alcançou uma melhoria de mais de 50% na precisão em comparação ao FLTrust. Especificamente, o FoggyTrust com SCAFFOLD mostrou ganhos consistentes nos cenários de nenhum ataque, Trim e Scaling, enquanto o FoggyTrust com FedAdam apresentou o melhor desempenho sob ataques Krum.
• MNIST e Fashion-MNIST: O FoggyTrust geralmente superou os baselines sob ataques Trim e Scaling. No entanto, o FLTrust permaneceu competitivo ou superior em ataques de Label Flipping e Krum no MNIST, e sob Label Flipping no Fashion-MNIST.
• Snapshot Safari: Neste cenário heterogêneo do mundo real, o método mais simples (FedAvg) teve o melhor desempenho geral. No entanto, o FoggyTrust conseguiu reduzir a lacuna de desempenho entre o FedAvg e o FLTrust. Notavelmente, sob o Ataque Trim, o FoggyTrust mostrou uma queda de precisão mais suave (0.6455 para 0.6029) comparado ao FLTrust (0.6383 para 0.4297).
• Limitações: O artigo observa que o FoggyTrust não melhora significamente o desempenho contra ataques de Label Flipping (Envenenamento de Dados). Os autores atribuem isso à natureza "silenciosa" desses ataques, onde os gradientes permanecem matematicamente plausíveis, e o número reduzido de clientes por nó de névoa (10 vs. 100 no FLTrust global) limita a margem estatística para erro na estimativa de confiança.

Significância e Alegações

O artigo afirma que o FoggyTrust é o primeiro método de agregação robusto a bizantinos especificamente especializado para aplicações heterogêneas. Sua significância reside em:

• Confiabilidade na Heterogeneidade: Ao localizar a computação de confiança, o método mitiga o descompasso de distribuição entre o conjunto de dados de referência e os dados dos clientes que degrada o FLTrust em configurações não-IID.
• Modularidade: O design de dois níveis permite a integração de diferentes estratégias de agregação no nível global para abordar problemas específicos como o desvio de cliente, combinando mecanismos de robustez com otimização consciente da heterogeneidade.
• Aplicabilidade Prática: A avaliação no Snapshot Safari sugere que redes de confiança hierárquicas são promissoras para sistemas distribuídos de segurança crítica (como o monitoramento de vida selvagem) onde os dados são inerentemente estruturados por geografia ou ambiente, mesmo que o overhead da estimativa de confiança deva ser pesado contra os benefícios em ambientes altamente variáveis intra-grupo.

Os autores concluem que, embora o FoggyTrust introduza complexidade ao sistema, o desacoplamento da estimação de confiança local da agregação global gera benefícios substanciais em ambientes adversariais e heterogêneos, fornecendo um framework principiológico para lidar com a heterogeneidade estruturada de dados.