Resumo Técnico: Aprendizado Federado via Inferência Bayesiana Variacional

1. Definição do Problema

O Aprendizado Federado (FL - Federated Learning) permite o aprendizado de máquina distribuído preservando a privacidade do cliente. No entanto, as abordagens padrão de FL, como o Federated Averaging (FedAvg), frequentemente sofrem com a degradação de desempenho ao enfrentar dois desafios críticos do mundo real:

1. Heterogeneidade de Dados (Não-i.i.d.): As distribuições de dados dos clientes variam significamente devido a diferenças em hábitos, localizações e preferências.
2. Escassez de Dados: Os clientes muitas vezes possuem dados limitados devido ao alto custo de coleta, levando ao sobreajuste (overfitting) do modelo.

Soluções existentes tentam abordar esses problemas por meio de PFL (Personalized FL) e CFL (Clustered FL). Contudo, modelos PFL frequentemente sofrem sobreajuste em dados insuficientes, e modelos de BFL (Bayesian FL) padrão lutam contra a heterogeneidade extrema. Além disso, o custo de inferência de Redes Neurais Bayesianas (BNNs) é alto devido à necessidade de múltiplas passagens de propagação direta (forward passes) para estimar a incerteza. Este artigo aborda a necessidade de um framework que lide simultaneamente com heterogeneidade, escassez de dados e eficiência de inferência.

2. Metodologia

Os autores propõem um framework de otimização de dois níveis que integra BNNs em PFL e CFL via Inferência Bayesiana Variacional (VI). Diferente da VI tradicional, onde uma priori fixa é assumida para os parâmetros, este framework utiliza a distribuição global treinada pelo servidor como a distribuição a priori para cada cliente. Isso evita o descompasso entre as prioris assumidas e as distribuições reais.

O framework consiste em três algoritmos específicos:

2.1 pFedBayes (Aprendizado Federado Bayesiano Personalizado)

• Mecanismo: Projetado para cenários de dados limitados. Assume que todos os parâmetros da rede seguem distribuições Gaussianas independentes e identicamente distribuídas (i.i.d.).
• Otimização: Os clientes minimizam a soma do erro de reconstrução sobre seus dados locais e a divergência de Kullback-Leibler (KL) entre sua distribuição local e a distribuição global. O servidor agrega as distribuições locais para atualizar a distribuição global.
• Objetivo: Alcançar personalização enquanto utiliza a priori global para evitar o sobreajuste.

2.2 sFedBayes (Aprendizado Federado Bayesiano Personalizado Esparso)

• Mecanismo: Projetado para aumentar a eficiência da inferência. Introduz esparsidade ao assumir que os parâmetros seguem uma distribuição Bernoulli-Gaussiana (uma priori "spike-and-slab").
• Otimização: Semelhante ao pFedBayes, mas inclui uma estrutura de esparsidade treinável. Os parâmetros são podados se a probabilidade de inclusão for baixa.
• Objetivo: Reduzir os custos de armazenamento e computação durante a inferência ao podar parâmetros redundantes, mantendo o desempenho do modelo.

2.3 cFedBayes (Aprendizado Federado Bayesiano Agrupado)

• Mecanismo: Projetado para diversidade estatística extrema. Em vez de aprender uma única distribuição global, o servidor aprende múltiplas distribuições globais (uma por cluster/agrupamento).
• Otimização: Os clientes selecionam dinamicamente a distribuição global (cluster) que melhor se ajusta aos seus dados privados (minimizando a divergência KL) e atualizam sua distribuição local com base nessa priori específica.
• Objetivo: Fornecer garantias adaptativas ao nível do cluster em vez de um único limite uniforme, acomodando melhor clientes com distribuições de dados vastamente diferentes.

3. Principais Contribuições

1. Algoritmos Inovadores: O artigo introduz três algoritmos de BFL personalizado de dois níveis: pFedBayes, sFedBayes e cFedBayes.
2. Garantias Teóricas:
   • Os autores fornecem limites de erro de generalização para as três abordagens.
   • Eles provam que as taxas de erro de generalização média alcançam a otimalidade minimax até um fator logarítmico.
   • Especificamente, mostra-se que o cFedBayes alcança um limite de erro de generalização ao nível do cluster, oferecendo garantias adaptativas superiores ao limite uniforme único do pFedBayes.
3. Eficiência e Esparsidade: O sFedBayes é proposto para abordar o alto custo de inferência das BNNs. A análise teórica mostra que ele atinge taxas de convergência minimax ótimas no regime esparso.
4. Algoritmos de Gradiente Estocástico: Algoritmos de gradiente estocástico correspondentes são desenvolvidos para todos os três métodos, utilizando truques de reparametrização (ex: Gumbel-softmax para variáveis discretas no sFedBayes) para permitir o treinamento de ponta a ponta.

4. Resultados Experimentais

Os autores avaliaram os métodos propostos em quatro conjuntos de dados de referência (MNIST, FMNIST, CIFAR-10, SVHN) sob configurações não-i.i.d. e de agrupamento, comparando-os com baselines de estado da arte (ex: FedAvg, FedProx, pFedMe, IFCA, FedCFL).

• Desempenho em Dados Limitados: O pFedBayes superou significativamente outros métodos de personalização, particularmente em conjuntos de dados pequenos. Por exemplo, no conjunto pequeno de CIFAR-10, o pFedBayes melhorou a precisão personalizada em 12,43% em comparação com o melhor algoritmo SOTA.
• Benefícios da Esparsidade: O sFedBayes demonstrou que uma esparsidade moderada (ex: retendo ~35-45% dos parâmetros) pode manter ou até melhorar ligeiramente a precisão personalizada em comparação com o modelo denso pFedBayes, atuando como um regularizador implícito contra o sobreajuste.
• Efetividade de Agrupamento: O cFedBayes alcançou as maiores precisões em conjuntos de dados de agrupamento (ex: MNIST-MNIST⊥, CIFAR10-CIFAR10⊥), superando baselines de agrupamento como FedCFL e IFCA por aproximadamente 1–2% em precisão global.
• Estimativa de Incerteza: A natureza Bayesiana dos modelos permite a quantificação da incerteza, o que os autores observam que poderia ser usado para filtrar modelos de baixa confiança durante a agregação.

5. Significância e Alegações

O artigo afirma que as abordagens propostas abordam efetivamente os desafios duplos de dados heterogêneos e limitados no Aprendizado Federado. Ao utilizar a distribuição global como uma priori, os modelos evitam as armadilhas de assumir prioris incompatíveis, enquanto aproveitam a robustez da inferência Bayesiana.

Os autores enfatizam que sua análise teórica estabelece a otimalidade minimax, fornecendo uma base rigorosa para os ganhos empíricos observados. Eles afirmam que o cFedBayes oferece um avanço significativo ao fornecer garantias adaptativas ao nível do cluster, em vez de um limite de tamanho único. Finalmente, o artigo posiciona o sFedBayes como uma solução prática para ambientes com restrição de recursos, reduzindo os custos de inferência sem sacrificar a precisão.

O trabalho é apresentado como uma extensão de uma versão anterior de conferência, com melhorias principais incluindo a introdução de esparsidade (sFedBayes), o desenvolvimento de um framework agrupado com limites ao nível do cluster (cFedBayes) e validação experimental extensiva contra modelos SOTA atuais.