Resumo Técnico: Fed-BAC

Declaração do Problema

A Aprendizagem Federada Hierárquica (HFL) aproveita servidores de borda para realizar agregação parcial, reduzindo gargalos de comunicação em ambientes de Computação em Borda Multiacesso (MEC). No entanto, os métodos existentes de HFL enfrentam três limitações críticas ao lidar com heterogeneidade de dados do mundo real:

1. Suposições Estáticas: A maioria dos métodos assume distribuições de dados homogêneas entre servidores de borda, levando a "deriva de cliente" e degradação de precisão (até 20%) ao agregar atualizações de clientes com distribuições de rótulos divergentes.
2. Agrupamento Isolado: Embora abordagens de FL agrupado (por exemplo, IFCA) agrupem clientes semelhantes, elas geralmente treinam modelos totalmente isolados, impedindo a transferência de conhecimento entre clusters.
3. Seleção Ineficiente: A seleção de clientes é frequentemente aleatória ou estática. Abordagens existentes baseadas em bandit operam em arquiteturas planas e falham em otimizar conjuntamente a atribuição de clusters e a seleção de clientes através da topologia de três níveis (nuvem-borda-cliente).

Além disso, métodos de personalização que mantêm resíduos por cliente (por exemplo, Ditto, APFL) incorrem em sobrecarga de parâmetros de $O(N)$, o que se torna impraticável em escala e exacerba os custos de comunicação em sistemas de três níveis.

Metodologia: Framework Fed-BAC

O artigo propõe o Fed-BAC (Agrupamento Aditivo Guiado por Bandit Federado), um framework que integra personalização de clusters aditiva com uma arquitetura de tomada de decisão de bandit de dois níveis.

1. Personalização de Cluster Aditiva

Em vez de treinar modelos de cluster isolados, o Fed-BAC emprega uma decomposição aditiva no espaço de logits. Os logits previstos $\hat{y}$ para um cliente no cluster $k$ são definidos como:
$$\hat{y} = h(x; \Theta_{global}) + f(x; \Theta_k)$$

• $\Theta_{global}$: Uma rede global compartilhada que captura conhecimento comum entre todos os servidores.
• $\Theta_k$: Uma rede específica do cluster que captura variações de distribuição.
  Essa arquitetura permite que todos os $M$ servidores de borda contribuam para o modelo global a cada rodada, permitindo a transferência de conhecimento entre clusters enquanto preserva a especialização por meio de resíduos específicos do cluster.

2. Framework de Bandit de Dois Níveis

O Fed-BAC desacopla a tomada de decisão em dois níveis para abordar a topologia de três níveis:

• Nível de Nuvem (Atribuição de Cluster): Utiliza LinUCB Contextual para atribuir dinamicamente servidores de borda a clusters.

  • Características Contextuais: O bandit utiliza quatro características específicas de FL: razão de perda (atual versus melhor cluster alternativo), equilíbrio do cluster, estabilidade de atribuição e progresso de treinamento.
  • Mecanismo: A cada $\tau_{re}$ rodadas, a nuvem avalia o ajuste de cada servidor ao seu cluster atual versus alternativas. Se a razão de perda de um servidor indicar um melhor ajuste em outro lugar, a atribuição é atualizada. Isso previne "comportamento de rebanho" e permite que o sistema descubra o número ótimo de clusters ativos ($K \le M$).

• Nível de Borda (Seleção de Cliente): Utiliza Amostragem de Thompson (TS) em cada servidor de borda para selecionar um subconjunto de clientes ($B$ de $N_m$) para participação.

  • Mecanismo: Cada servidor mantém uma distribuição a priori Beta para cada cliente. Com base na mudança de precisão de uma única rodada ($r_{TS}$) do modelo de cluster do servidor, as posteriores são atualizadas.
  • Objetivo: Identificar clientes de alta contribuição dinamicamente, reduzindo a sobrecarga de comunicação enquanto mantém o desempenho do modelo.

3. Protocolo de Treinamento

O sistema opera em rodadas síncronas envolvendo:

1. Distribuição: A nuvem envia $\Theta_{global}$ e o $\Theta_k$ específico para cada servidor de borda.
2. Seleção e Treinamento: Os servidores de borda usam TS para selecionar clientes, que realizam SGD local em ambas as redes.
3. Agregação:
   • Agregação na Borda: Média ponderada das atualizações dos clientes.
   • Agregação na Nuvem: Atualização em duas fases. Primeiro, uma agregação global de $\Theta_{global}$ de todos os servidores (usando tamanhos totais de dados dos servidores, não apenas subconjuntos selecionados). Segundo, uma agregação específica do cluster de $\Theta_k$ para cada cluster ativo.

Contribuições Principais

1. Arquitetura de Bandit de Dois Níveis: Um sistema hierárquico de decisão inovador que desacopla a atribuição de clusters (LinUCB na nuvem) da seleção de clientes (Amostragem de Thompson na borda). Isso permite diferentes frequências de atualização adequadas às escalas de tempo de cada decisão.
2. Personalização Aditiva Integrada: A primeira integração de personalização de cluster aditiva dentro de uma arquitetura HFL de três níveis. Diferentemente do IFCA, que isola clusters, o Fed-BAC compartilha uma espinha dorsal global, facilitando a transferência de conhecimento entre grupos.
3. Otimização Conjunta: O framework otimiza conjuntamente a atribuição de clusters e a seleção de clientes, abordando uma lacuna onde os métodos existentes tratam essas tarefas separadamente ou assumem configurações estáticas.

Resultados Experimentais

Os experimentos foram conduzidos em três benchmarks (CIFAR-10, SVHN, Fashion-MNIST) sob particionamento não-IID de Dirichlet moderado ($\alpha=0.5$) e severo ($\alpha=0.1$).

• Ganhos de Precisão: O Fed-BAC alcançou ganhos de precisão distribuída de até +35,5 pontos percentuais sobre o HierFAVG e +8,4 pontos percentuais sobre o IFCA.
• Sensibilidade à Heterogeneidade: A vantagem de desempenho do Fed-BAC aumentou com a severidade da heterogeneidade de dados. Sob heterogeneidade severa ($\alpha=0.1$), o HierFAVG degradou significativamente, enquanto o Fed-BAC manteve alta precisão.
• Eficiência: Apesar de exigir apenas 80% de participação de clientes ($p=0.8$), o Fed-BAC convergiu 1,5–4,8× mais rápido que as linhas de base, dependendo do conjunto de dados e da precisão alvo. Essa aceleração resultou em uma redução de 3,0× a 5,9× nos bytes totais de comunicação para atingir metas de precisão representativas.
• Escalabilidade: Um estudo de escalabilidade no CIFAR-10 com 500 clientes (escala 5×) confirmou que o Fed-BAC mantém sua liderança sobre o HierFAVG (+12,6pp) e o IFCA (+3,3pp), validando sua robustez em escalas de implantação maiores.
• Equidade: O Fed-BAC demonstrou melhoria na equidade entre servidores, exibindo menor variância na precisão por servidor em comparação com o IFCA e o HierFAVG, particularmente sob heterogeneidade severa.

Significado e Alegações

O artigo afirma que o Fed-BAC aborda os desafios críticos de heterogeneidade estatística e eficiência de comunicação na Aprendizagem Federada Hierárquica. Ao combinar decomposição aditiva (permitindo compartilhamento de conhecimento) com decisões adaptativas guiadas por bandit (otimizando tanto a estrutura do cluster quanto a participação do cliente), o framework supera os métodos existentes do estado da arte.

Os autores enfatizam que a abordagem de personalização aditiva torna-se cada vez mais valiosa à medida que as distribuições de dados divergem, confirmando que compartilhar uma espinha dorsal global enquanto mantém resíduos específicos do cluster é superior ao agrupamento totalmente isolado. Os resultados sugerem que o Fed-BAC fornece uma solução escalável para implantações em MEC onde a heterogeneidade de dados é severa e os recursos de comunicação são limitados.

O artigo conclui com modéstia, observando que a avaliação atual utiliza uma única taxa de participação e que trabalhos futuros devem explorar varreduras sistemáticas de taxas de participação, bancadas de teste de hardware de borda do mundo real e garantias formais de convergência para o sistema de bandit não estacionário acoplado.