Resumo Técnico: FedDAAW

Declaração do Problema

O Aprendizado Federado (FL - Federated Learning) permite o treinamento colaborativo de modelos em clientes distribuídos enquanto preserva a privacidade dos dados. No entanto, a implementação prática do FL é severamente dificultada pela heterogeneidade estatística (distribuições de dados Não-IID) e pela heterogeneidade de sistema (variações nos recursos computacionais e capacidades de comunicação).

As abordagens existentes enfrentam três limitações primárias:

1. Agregação Ineficaz: Algoritmos clássicos como o FedAvg dependem de amostragem aleatória de clientes e ponderação baseada no volume de dados. Isso permite que clientes de baixa qualidade (com distribuição de dados ruim ou recursos limitados) participem, retardando a convergência e "diluindo" o modelo global com atualizações de baixa precisão.
2. Validação Estreita: A maioria dos métodos atuais é validada principalmente em tarefas de classificação de imagens, com evidências limitadas de sua eficácia em processamento de linguagem natural (NLP) ou cenários de regressão.
3. Soluções Compartimentadas: As melhorias existentes frequentemente focam em um único aspecto (ex: robustez via regularização, personalização via desacoplamento arquitetural ou eficiência via compressão) em vez de integrar uma seleção de clientes proativa com uma agregação consciente da qualidade.

Metodologia: FedDAAW

O artigo propõe o FedDAAW (Aprendizado Federado com Seleção Dinâmica de Clientes e Agregação Ponderada Adaptativa à Precisão), um framework leve projetado para otimizar tanto o mecanismo de participação quanto a estratégia de agregação sem exigir compartilhamento de gradientes ou dados auxiliares.

1. Seleção Dinâmica de Clientes Multifatorial

Em vez de amostragem aleatória, o FedDAAW emprega um mecanismo de seleção proativo que avalia os clientes com base em um modelo de pontuação abrangente ($S_i^t$) antes de cada rodada de comunicação. A pontuação é uma soma ponderada de três fatores normalizados:

• Desempenho Histórico ($H_i^t$): Uma média móvel exponencial da acurácia de validação local do cliente ao longo das últimas $k$ rodadas. Isso prioriza clientes com alto desempenho consistente, suavizando flutuações de rodadas isoladas.
• Qualidade dos Dados ($Q_i^t$): Uma métrica composta que combina a proporção de dados locais e a similaridade de cosseno entre os pesos da primeira camada do cliente e os pesos da primeira camada do modelo global. Isso infere indiretamente a consistência da distribuição de dados sem compartilhar dados brutos.
• Recursos do Sistema ($R_i^t$): Uma combinação ponderada da carga atual de CPU/Memória e da largura de banda de rede para evitar que clientes lentos (stragglers) atrasem o processo de treinamento.

Os clientes são selecionados probabilisticamente usando uma função Softmax aplicada a essas pontuações, equilibrando a seleção de clientes de alto valor com a manutenção da diversidade de clientes.

2. Agregação Adaptativa à Precisão

O FedDAAW substitui a ponderação estática ou baseada em volume de dados por uma estratégia dinâmica impulsionada pela precisão:

• Avaliação Local: Os clientes selecionados treinam localmente e fazem o upload de seus parâmetros de modelo junto com sua acurácia de validação local (calculada em um conjunto de teste local privado).
• Ponderação Suavizada: O peso de agregação ($a_i^t$) para cada cliente é calculado usando uma Média Móvel Exponencial (EMA) de sua acurácia atual e da acurácia média histórica. Isso garante que a ponderação seja responsiva ao desempenho atual, mas robusta contra ruídos.
• Atualização Global: O servidor agrega os modelos locais usando esses pesos adaptativos, priorizando efetivamente atualizações de alta qualidade enquanto mantém a propriedade do fecho convexo para estabilidade de convergência.

Principais Contribuições

1. Framework de Módulo Duplo: O artigo introduz um framework unificado que otimiza conjuntamente a seleção de clientes e os pesos de agregação, abordando simultaneamente a heterogeneidade estatística e de sistema.
2. Mecanismo Preservador de Privacidade: O método não requer o compartilhamento de dados brutos, gradientes ou distribuições de rótulos. A avaliação de qualidade depende apenas da acurácia de validação local e comparações leves de vetores de pesos.
3. Generalização entre Tarefas: Diferente de muitos métodos HFL existentes validados apenas em classificação, o FedDAAW é explicitamente projetado e testado em classificação de imagens (MNIST, CIFAR-10), análise de sentimento de texto (IMDB) e regressão (California Housing).
4. Design Leve: O algoritmo evita componentes complexos como aprendizado contrastivo, variáveis de controle ou compressão de modelo, tornando-o fácil de implementar em frameworks de FL existentes.

Resultados Experimentais

Experimentos foram conduzidos sob configurações altamente Não-IID em quatro conjuntos de dados. O FedDAAW superou consistentemente o algoritmo base FedAvg:

• Desempenho de Classificação:
  • MNIST: 98,80% de acurácia (vs. 98,72% para o FedAvg).
  • CIFAR-10: 31,05% de acurácia (vs. 28,44% para o FedAvg), um aumento de 2,61%.
  • IMDB: 83,86% de acurácia (vs. 80,06% para o FedAvg), um aumento de 3,80%.
• Desempenho de Regressão:
  • California Housing: Reduziu o Erro Quadrático Médio (MSE) para 0,2918 (vs. 0,2974 para o FedAvg), uma redução de 1,88% no erro.
• Eficiência de Convergência:
  • O FedDAAW atingiu limiares de desempenho predefinidos em significativamente menos rodadas de comunicação. Por exemplo, no IMDB, ele convergiu em 14 rodadas comparado a 22 rodadas para o FedAvg.

Significância e Alegações

O artigo afirma que o FedDAAW preenche efetivamente a lacuna entre o tratamento teórico da heterogeneidade e a aplicabilidade prática entre tarefas. Sua principal significância reside em:

• Demonstrar a Viabilidade entre Tarefas: Ele fornece evidências de que a seleção dinâmica e a ponderação adaptativa à precisão são eficazes não apenas para classificação de imagens, mas também para tarefas de análise de texto e regressão, áreas onde muitos algoritmos HFL existentes carecem de validação.
• Eficiência sem Complexidade: Alcança melhorias robustas de desempenho e convergência mais rápida sem o overhead de mudanças arquiteturais complexas ou custos de comunicação adicionais (ex: compartilhamento de gradientes).
• Implementação Prática: Ao depender de conjuntos de validação locais padrão e métricas leves, o método é apresentado como uma solução prática para ambientes heterogêneos do mundo real, como redes IoT e computação de borda móvel.

Os autores reconhecem limitações, observando que o estudo está confinado a quatro conjuntos de dados de referência e arquiteturas de modelos padrão, e que validações adicionais em dados reais complexos e ruidosos são necessárias. Trabalhos futuros são propostos para explorar modelos fundamentais maiores e incorporar métricas de equidade e robustez.