Resumo Técnico: Um Estudo Comparativo de Estratégias de Agregação em Aprendizado Federado sob Distribuições de Dados Homogêneas e Heterogêneas

Declaração do Problema

O Aprendizado Federado (FL) emergiu como um paradigma para aprendizado de máquina colaborativo que preserva a privacidade dos dados mantendo os dados brutos localizados nos dispositivos dos clientes. No entanto, o desempenho dos sistemas de FL depende criticamente da estratégia de agregação utilizada pelo servidor central para combinar as atualizações locais do modelo. Enquanto o aprendizado centralizado tradicional sofre com preocupações de privacidade e sobrecarga de comunicação, e o aprendizado isolado no dispositivo carece de generalização, o FL enfrenta desafios específicos relacionados à heterogeneidade dos dados (distribuições não-IID).

O problema central abordado é a falta de uma compreensão abrangente de como diferentes mecanismos de agregação se desempenham sob variados graus de heterogeneidade de dados. Estratégias existentes variam de simples média a estimadores robustos e otimizadores adaptativos, mas seus trade-offs em relação à precisão de aprendizado, estabilidade de convergência e eficiência do sistema (tempo de computação e comunicação) não são totalmente caracterizados em diversos conjuntos de dados e configurações de distribuição.

Metodologia

Os autores conduziram uma avaliação experimental abrangente comparando sete estratégias de agregação de FL amplamente utilizadas e de última geração:

1. FedAvg: Média ponderada padrão pelo tamanho dos dados.
2. FedAvgM: FedAvg com momento no lado do servidor.
3. FedAdam: Otimização adaptativa usando Adam no servidor.
4. FedAdagrad: Otimização adaptativa usando Adagrad no servidor.
5. FedMedian: Agregação robusta usando a mediana elemento a elemento.
6. FedProx: Agregação com um termo de regularização proximal para restringir o desvio local.
7. Privacidade Diferencial (DP) no lado do servidor: Recorte adaptativo com injeção de ruído para privacidade.

Configuração Experimental:

• Conjuntos de Dados: MNIST, FMNIST e CIFAR-10.
• Distribuições: Partições de dados Homogêneas (IID) e Heterogêneas (não-IID) geradas usando uma distribuição Dirichlet com parâmetro de concentração $\alpha = 0.5$.
• Configuração: Simulações foram executadas usando o framework Flower com 10 clientes ao longo de 25 rodadas de comunicação. Um segundo experimento em grande escala foi conduzido com 20 clientes e 50 rodadas no MNIST para verificar a consistência.
• Modelos: Redes Neurais Convolucionais (CNNs) adaptadas para os conjuntos de dados específicos.
• Otimizadores: O treinamento no lado do cliente utilizou Adam (selecionado por sua convergência superior ao SGD).
• Métricas:
  • Desempenho de Aprendizado: Precisão e Perda Centralizadas.
  • Eficiência do Sistema: Tempo de agregação, Tempo de treinamento e Tempo de comunicação por rodada.

Principais Contribuições e Resultados

1. Impacto da Heterogeneidade de Dados

O estudo confirma que a heterogeneidade de dados (não-IID) degrada consistentemente o desempenho do modelo em todas as estratégias em comparação com configurações IID. Essa degradação é mais pronunciada no conjunto de dados complexo CIFAR-10. Embora todas as estratégias sofram quedas de precisão e aumento de perda em ambientes não-IID, a magnitude da queda varia significativamente conforme o algoritmo.

2. Desempenho Específico por Estratégia

• Métodos Adaptativos (FedAdam, FedAdagrad):
  • FedAdam alcançou a maior precisão no MNIST sob condições IID e não-IID, demonstrando a eficácia das taxas de aprendizado adaptativas na estabilização da otimização sob heterogeneidade moderada. No entanto, seu desempenho deteriorou-se significativamente no CIFAR-10, sugerindo sensibilidade à alta complexidade do conjunto de dados.
  • FedAdagrad seguiu uma tendência semelhante, mas geralmente exibiu menor precisão no FMNIST e CIFAR-10 em comparação com outras estratégias, provavelmente devido ao decaimento da taxa de aprendizado inerente ao Adagrad, limitando a adaptação a tarefas complexas.
• Métodos Robustos e de Regularização (FedMedian, FedProx):
  • FedMedian demonstrou a maior precisão no FMNIST sob ambas as distribuições. Sua agregação baseada em mediana mitigou efetivamente a influência de atualizações de clientes enviesadas, fornecendo desempenho estável. O trade-off foi um tempo de agregação ligeiramente maior devido a operações de ordenação.
  • FedProx forneceu desempenho estável e consistente em todos os conjuntos de dados, atuando como uma abordagem de "meio-termo". O termo proximal restringiu efetivamente o desvio do cliente, beneficiando particularmente o desempenho no CIFAR-10.
• Métodos Padrão e de Momento (FedAvg, FedAvgM):
  • FedAvg serviu como uma base computacionalmente eficiente, performando bem no MNIST e FMNIST, mas lutando no CIFAR-10.
  • FedAvgM mostrou alta precisão sob condições IID, mas experimentou degradação notável em configurações não-IID (especialmente no MNIST). Os resultados sugerem que o momento no lado do servidor pode amplificar direções de gradiente enviesadas quando as atualizações dos clientes são enviesadas, levando a uma convergência instável.
• Preservação de Privacidade (DP):
  • A estratégia DP (recorte adaptativo com ruído) exibiu precisão substancialmente menor em todos os conjuntos de dados e distribuições. O ruído introduzido para garantir privacidade degradou significativamente o sinal de aprendizado, impedindo uma convergência eficaz. Além disso, incorreu no maior tempo de agregação devido às operações de recorte e injeção de ruído.

3. Eficiência do Sistema

• Tempo de Agregação: Geralmente permaneceu baixo para a maioria das estratégias. FedAvg e FedAvgM tiveram a menor sobrecarga. FedMedian e DP incorreram em tempos mais altos devido à ordenação e injeção de ruído, respectivamente, mas estes não constituíram um gargalo do sistema nas configurações testadas.
• Tempo de Treinamento e Comunicação: Essas métricas foram impulsionadas principalmente pela complexidade do conjunto de dados e características do modelo, e não pela própria estratégia de agregação. As diferenças entre as estratégias foram mínimas.
• Escalabilidade: O aumento do número de clientes (de 10 para 20) e rodadas (de 25 para 50) confirmou as tendências observadas na configuração menor. Métodos adaptativos continuaram a superar os outros, e a lacuna de desempenho entre configurações IID e não-IID estreitou-se ligeiramente para métodos adaptativos, sugerindo que mais rodadas de comunicação permitem uma melhor compensação da heterogeneidade.

Significado e Alegações

O artigo conclui que nenhuma estratégia de agregação única domina em todos os cenários. A eficácia de uma estratégia depende altamente de:

1. Características do Conjunto de Dados: A complexidade (por exemplo, CIFAR-10 vs. MNIST) influencia significativamente qual algoritmo performa melhor.
2. Grau de Heterogeneidade: Estratégias como FedAvgM podem falhar em ambientes altamente enviesados, enquanto métodos robustos como FedMedian ou FedProx baseado em regularização oferecem estabilidade.
3. Requisitos de Sistema e Privacidade: Existe um trade-off claro entre garantias de privacidade (DP) e utilidade do modelo.

Os autores enfatizam que a escolha da estratégia de agregação deve ser guiada por restrições operacionais específicas e propriedades dos dados, em vez de uma abordagem "tamanho único". O estudo fornece evidências empíricas de que, embora métodos adaptativos se destaquem em heterogeneidade moderada, estimadores robustos e regularização são necessários para estabilidade em distribuições enviesadas, e mecanismos de privacidade atualmente impõem um custo significativo à utilidade do modelo.

Trabalho futuro, conforme delineado pelos autores, inclui explorar mecanismos robustos mais avançados (por exemplo, Krum, Multi-Krum) e avaliar essas estratégias em cenários de implantação de FL mais realistas.