FedOUI: OUI-Guided Client Weighting for Federated Aggregation

Resumo Técnico: FedOUI – Ponderação de Clientes Guiada por OUI para Agregação Federada

Declaração do Problema

A aprendizagem federada (FL) enfrenta desafios significativos devido à heterogeneidade dos dados entre os clientes, que se manifesta em variações no tamanho da amostra, distribuição de classes, níveis de ruído e dinâmicas de otimização local. Regras de agregação padrão, como FedAvg, normalmente ponderam as atualizações dos clientes com base apenas no tamanho do conjunto de dados ou, em métodos mais avançados, na geometria do gradiente e na robustez. No entanto, essas abordagens frequentemente ignoram sinais internos sobre como o modelo de um cliente organiza seu espaço de entrada durante o treinamento. Consequentemente, os clientes podem produzir atualizações de escala similar enquanto operam em regimes internos vastamente diferentes, levando a uma agregação global subótima.

Metodologia

O artigo propõe o FedOUI, uma regra de agregação no lado do servidor que incorpora uma métrica baseada em ativação e sem rótulos chamada Indicador de Sobreajuste–Subajuste (OUI) para guiar a ponderação dos clientes.

1. A Métrica OUI:
Calculada localmente em cada cliente usando um lote de sonda fixo de tamanho $B$, a OUI mede o equilíbrio dos padrões de ativação na camada penúltima de pré-ativação.

• Para cada unidade $j$ em uma camada com $d$ unidades, uma máscara de ativação binária é gerada para cada amostra no lote de sonda.
• O número de amostras ativas ($s_j$) e a contagem da minoria ($u_j = \min(s_j, B - s_j)$) são calculados.
• O valor OUI do cliente ($o_k$) é a média das contagens de minoria normalizadas em todas as unidades, resultando em um escalar em $[0, 1]$. Um valor próximo de 0,5 indica ativações equilibradas, enquanto valores próximos de 0 ou 1 indicam padrões de ativação altamente enviesados (atípicos).

2. Regra de Agregação no Lado do Servidor:
Em cada rodada de comunicação $t$, os clientes transmitem sua atualização de modelo local ($\Delta_k^t$), contagem de amostras ($n_k$) e valor OUI ($o_k^t$) para o servidor.

• Estimativa de Distribuição: O servidor modela a distribuição dos valores OUI recebidos usando uma distribuição Beta, $Beta(\alpha_t, \beta_t)$, ajustada aos dados da rodada. Isso fornece uma noção de "tipicidade estrutural" para aquela rodada específica.
• Pontuação Estrutural: Uma pontuação estrutural ($s_k^t$) é atribuída a cada cliente com base em sua distância do centro da distribuição Beta ajustada:
  $$s_k^t = 2 \min \{F_t(o_k^t), 1 - F_t(o_k^t)\}$$
  onde $F_t$ é a função de distribuição acumulada. Clientes próximos ao centro da distribuição recebem pontuações mais altas, enquanto aqueles nas caudas (estruturalmente atípicos) recebem pontuações mais baixas.
• Cálculo do Peso: O peso final de agregação ($w_k^t$) combina o tamanho da amostra do cliente e a pontuação estrutural:
  $$w_k^t \propto n_k (\epsilon + s_k^t)$$
  onde $\epsilon$ é uma constante pequena para estabilidade numérica. Isso garante que clientes atípicos contribuam menos para a atualização global, enquanto todos os clientes selecionados permaneçam ativos.

Principais Contribuições

• Sinal Novo para Agregação: O artigo introduz o uso da estrutura de ativação interna (via OUI) como um sinal complementar para agregação em FL, distinto da geometria do gradiente ou do tamanho da amostra.
• Mecanismo Leve e Interpretável: O FedOUI requer sobrecarga computacional mínima (um lote de sonda fixo) e oferece uma regra de reponderação interpretável que suaviza a influência de clientes estruturalmente atípicos sem descartá-los.
• Operação sem Rótulos: A métrica OUI não requer acesso a rótulos de verdade fundamental no lado do cliente, tornando-a adequada para cenários de FL que preservam a privacidade.

Resultados Experimentais

Os autores avaliaram o FedOUI no conjunto de dados CIFAR-10 usando uma pequena CNN em 20 clientes (5 amostrados por rodada) ao longo de 60 rodadas. As comparações foram feitas contra FedAvg, FedProx e FedAlign sob duas configurações principais:

1. Configuração Forte Não-IID (Dirichlet $\alpha=0.1$):

   • O FedOUI alcançou a maior precisão final (0,2343 vs. 0,2163 para FedAvg) e a melhor precisão de pico (0,2820).
   • Também resultou na maior Área sob a Curva (AUC) para precisão de teste (0,1726), indicando melhorias consistentes de desempenho ao longo da trajetória de treinamento.
   • O FedAlign performou significativamente pior neste regime.

2. Configuração de Clientes Ruidosos:

   • O FedOUI alcançou a melhor precisão de pico (0,3183), superando FedAvg e FedProx (ambos ~0,3100).
   • Embora sua precisão final fosse ligeiramente inferior às linhas de base (0,2310 vs. 0,2727), manteve pontuações AUC competitivas, demonstrando robustez quando a qualidade do cliente é degradada.

Significado e Alegações

O artigo afirma que a estrutura de ativação interna fornece uma fonte prática e útil de informações para agregação federada, expandindo o papel desses observáveis da análise de treinamento para o controle ativo de agregação.

• Tratamento de Heterogeneidade: Os resultados sugerem que a ponderação baseada em OUI é particularmente eficaz sob forte heterogeneidade estatística, onde melhora a qualidade da agregação ao identificar e reduzir o peso de clientes operando em regimes estruturalmente atípicos.
• Valor Complementar: O método demonstra que a agregação pode ser aprimorada por sinais além do tamanho do cliente e da geometria do gradiente, oferecendo um mecanismo simples no lado do servidor para adaptar-se às dinâmicas internas dos modelos dos clientes.
• Direções Futuras: Os autores posicionam este trabalho como um passo em direção a uma agenda de pesquisa mais ampla envolvendo sinais estruturais internos para monitoramento e controle de aprendizagem distribuída. Eles propõem trabalhos futuros em conjuntos de dados maiores, OUI por camada, suavização temporal e integração com geometria do gradiente, bem como otimizações a nível de sistema para privacidade e eficiência de comunicação.