Resumo Técnico: Aprendizado Federado Robusto a Bizantinos com Pesos de Agregação Aprendíveis

Declaração do Problema

O Aprendizado Federado (FL) permite que múltiplos clientes treinem colaborativamente um modelo global sem compartilhar dados privados. No entanto, o sistema é vulnerável a clientes bizantinos — agentes maliciosos que submetem atualizações de modelo arbitrárias ou corrompidas para comprometer o modelo global. Esse desafio é exacerbado em cenários heterogêneos, onde as distribuições de dados variam significativamente entre os clientes. Em tais cenários, distinguir entre atualizações benignas (influenciadas pela heterogeneidade dos dados) e atualizações maliciosas é difícil.

Os métodos existentes de FL robusto a bizantinos geralmente seguem um processo de dois passos: primeiro, identificam e removem clientes maliciosos e, segundo, atribuem pesos de agregação uniformes aos clientes benignos restantes. Os autores argumentam que essa abordagem de ponderação uniforme é subótima em ambientes heterogêneos. Após remover clientes maliciosos, os clientes benignos restantes podem ainda exibir distribuições de dados desequilibradas (por exemplo, faltando certas etiquetas). A atribuição de pesos uniformes falha em se adaptar a esse desequilíbrio, potencialmente degradando a precisão do modelo ao não priorizar adequadamente classes sub-representadas.

Metodologia

O artigo propõe FedLAW (Aprendizado Federado com Pesos de Agregação Aprendíveis), um novo framework que trata os pesos de agregação como parâmetros aprendíveis, em vez de valores fixos ou atribuições simples pós-filtragem.

1. Formulação do Problema

Os autores formulam o objetivo do FL como um problema de otimização conjunta sobre os parâmetros do modelo global $\theta$ e os pesos de agregação $w$:
$$\min_{\theta \in \mathbb{R}^d, w \in \Delta^+_{t,\ell_0}} \sum_{i=1}^n w_i f_i(\theta)$$
onde $f_i(\theta)$ é a função de perda do cliente $i$. O vetor de pesos $w$ é restrito a um simplex unitário limitado e esparsificado $\Delta^+_{t,\ell_0}$, definido por:

• $\sum w_i = 1$ e $w_i \geq 0$ (restrições padrão do simplex).
• $w_i \leq t$ (limitação da influência individual de cada cliente).
• $\|w\|_0 \leq s$ (restrição de esparsidade, limitando o número de pesos não nulos).

Ao definir $t = 1/(n - b_f)$ e $s = n - b_f$ (onde $b_f$ é o número de clientes bizantinos), a região viável força a exclusão de até $b_f$ clientes (definindo seus pesos como zero) enquanto distribui o peso restante igualmente entre os $n - b_f$ clientes selecionados. Isso transforma o problema binário de "detectar e remover" em um problema de otimização contínua.

2. Algoritmo Proposto

Para resolver essa otimização conjunta não convexa, os autores desenvolvem um algoritmo de minimização alternada (Algoritmo 2) baseado em uma estrutura de otimização aninhada:

1. Passo Interno (Atualização do Modelo): Para pesos $w$ fixos, o servidor aproxima as funções de perda dos clientes com substitutos quadráticos e computa uma atualização do modelo $\theta_{k+1}(w) = \theta_k - \alpha G_k w$, onde $G_k$ contém os gradientes dos clientes.
2. Passo Externo (Atualização dos Pesos): Para o modelo atualizado, o algoritmo otimiza os pesos $w$ para minimizar o objetivo global. Este passo envolve minimizar uma aproximação quadrática da função objetivo em relação a $w$, seguida por uma projeção no simplex unitário limitado e esparsificado.

A atualização dos pesos aproveita tanto informações de perda (para detectar envenenamento de dados) quanto alinhamento de gradientes (para detectar envenenamento de modelo/ataques de gradiente inverso). Clientes maliciosos, cujos gradientes se desviam do cluster coerente de clientes benignos, são naturalmente ponderados para baixo ou excluídos pela restrição de esparsidade.

3. Protocolo de Comunicação

O algoritmo requer duas rodadas de comunicação por época de treinamento:

1. O servidor transmite $\theta_k$; os clientes retornam gradientes e perdas.
2. O servidor computa uma atualização provisória $\tilde{\theta}_{k+1}$, transmite-a e os clientes retornam gradientes e perdas atualizados para computar a atualização final dos pesos e o próximo estado do modelo.
   Os autores observam que, embora isso adicione uma rodada, a convergência acelerada do modelo global frequentemente compensa esse custo, resultando em um número total de rodadas de comunicação comparável ou menor para atingir uma precisão-alvo.

Contribuições Principais

1. Formulação de Otimização Inovadora: O artigo introduz um framework de otimização conjunta onde os pesos de agregação são parâmetros aprendíveis, incorporando a defesa contra bizantinos diretamente no objetivo de aprendizado, em vez de tratá-la como uma etapa de filtragem separada.
2. Desenvolvimento de Algoritmo: É proposto um algoritmo de minimização alternada com um operador de projeção específico para o simplex unitário limitado e esparsificado, garantindo o cálculo eficiente de pesos robustos.
3. Garantias Teóricas:
   • Resiliência a Bizantinos: O Teorema 2 estabelece que o agregador proposto é $(\zeta, b_f)$-resiliente a bizantinos com alta probabilidade, fornecendo um limite de erro explícito que se decompõe em fontes como heterogeneidade de perda, heterogeneidade de gradiente e ruído de amostragem.
   • Convergência: O Teorema 3 prova que o algoritmo converge para uma vizinhança do ótimo para cenários não convexos e fortemente convexos, com o raio de erro escalando com a influência do adversário.
4. Validação Empírica: Experimentos extensivos em MNIST e CIFAR-10 sob cinco tipos de ataque (Inversão de Etiquetas, Gradiente Inverso, Backdoor, Duplo Ataque e LIE) e níveis variados de heterogeneidade de dados demonstram a superioridade do método.

Resultados Experimentais

Os autores avaliaram o FedLAW contra baselines de última geração (Krum, Média Recortada, Bulyan, CwMed, RFA, CClip, Agregador Huber) em diversos cenários:

• Desempenho: O FedLAW superou consistentemente os métodos existentes, particularmente em cenários de alta heterogeneidade ($q=0.9$) e alta fração maliciosa (até 40%). Por exemplo, sob um ataque de gradiente inverso com 40% de clientes maliciosos no MNIST, o FedLAW alcançou 3,6% de precisão de teste superior à da próxima melhor defesa.
• Estabilidade: Diferentemente de outros métodos que divergiram ou sofreram quedas bruscas de precisão sob ataques severos (por exemplo, Duplo Ataque ou altas frações LIE), o FedLAW manteve desempenho robusto com degradação graciosa.
• Dinâmica dos Pesos: Visualizações mostraram que clientes benignos convergiram rapidamente para pesos estáveis e não triviais, enquanto clientes maliciosos foram consistentemente suprimidos para pesos próximos de zero dentro das primeiras 20 épocas.
• Detecção: O método demonstrou alta precisão e recall na identificação de clientes maliciosos, neutralizando efetivamente tanto ataques de envenenamento de dados quanto de envenenamento de modelo.

Significado e Alegações

O artigo afirma que o FedLAW representa um avanço significativo no aprendizado federado seguro ao abordar as limitações da ponderação uniforme em ambientes heterogêneos. Ao integrar a ponderação adaptativa no processo de aprendizado, o método alcança:

• Robustez Aprimorada: Neutraliza efetivamente clientes maliciosos sem exigir conhecimento prévio do número de atacantes ou mecanismos complexos de pré-filtragem.
• Equidade e Adaptabilidade: Equilibra adaptativamente as contribuições de clientes benignos, garantindo que a heterogeneidade dos dados não leve ao descaso de distribuições de dados específicas.
• Fundamentação Teórica: O trabalho fornece garantias rigorosas de convergência e resiliência, vinculando a resiliência estática do agregador à estabilidade dinâmica do algoritmo de aprendizado.

Os autores concluem que suas descobertas destacam os benefícios de integrar agregação adaptativa ao processo de aprendizado, pavimentando o caminho para implantações de FL mais seguras e equitativas em cenários do mundo real, heterogêneos e adversariais.