FedDAG: Clustered Federated Learning via Global Data and Gradient Integration for Heterogeneous Environments

O artigo apresenta o FedDAG, um framework de Aprendizado Federado Clusterizado que supera as limitações de métodos existentes ao integrar informações de dados e gradientes para uma métrica de similaridade mais holística e adotar uma arquitetura de codificador duplo que permite transferência de características entre clusters, resultando em maior precisão em ambientes heterogêneos.

O essencial

Imagine que você e seus amigos estão tentando aprender a cozinhar o prato perfeito, mas ninguém quer revelar a receita secreta da sua avó ou mostrar os ingredientes que tem na geladeira. Vocês precisam colaborar, mas cada um tem uma cozinha diferente: alguns têm muitos temperos, outros poucos; alguns cozinham apenas doces, outros apenas salgados.

No mundo da Inteligência Artificial, isso se chama Aprendizado Federado. O problema é que, quando os dados de cada pessoa são muito diferentes (o que os cientistas chamam de "não-IID"), o modelo global fica confuso e aprende mal.

Aqui entra o FEDDAG, a nova solução proposta neste artigo. Vamos explicar como ele funciona usando uma analogia de uma Grande Festa de Jantar.

O Problema das Festas Antigas (Métodos Atuais)

Antes do FEDDAG, existiam duas formas principais de organizar essa festa:

1. Apenas pelo Sabor (Dados): O anfitrião olhava apenas para os ingredientes que cada um tinha. Se alguém tinha muitos tomates e outro tinha poucos, eles eram separados. Mas isso ignorava como as pessoas cozinhavam (o estilo).
2. Apenas pelo Passo a Passo (Gradientes): O anfitrião olhava apenas para as anotações de como as pessoas mexiam a panela. Se o movimento era parecido, elas ficavam juntas. Mas isso ignorava se os ingredientes eram compatíveis.

O erro: Esses métodos antigos eram como tentar adivinhar se duas pessoas são "amigas" olhando apenas para uma foto delas ou apenas para a voz delas. Eles não conseguiam ver a pessoa inteira. Além disso, uma vez que você era colocado em um grupo (uma mesa), você só podia conversar com quem estava na mesma mesa. Se a mesa dos "doces" tivesse uma ideia genial sobre "salgados", eles não podiam compartilhar.

A Solução FEDDAG: O Grande Mestre de Cerimônias

O FEDDAG é como um Mestre de Cerimônias superinteligente que organiza a festa de uma forma nova e brilhante. Ele faz três coisas principais:

1. A "Carta de Identidade" Dupla (Dados + Gradientes)

Em vez de olhar só para os ingredientes ou só para o movimento da colher, o FEDDAG pede para cada convidado enviar duas coisas:

• Uma amostra dos ingredientes (dados).
• Um resumo de como eles cozinham (gradientes).

Ele usa uma "balança mágica" para decidir o quanto confiar em cada um. Se um convidado tem poucos ingredientes, a balança dá mais peso ao como ele cozinha. Se ele tem muitos, o peso muda. Isso cria um mapa de amizade muito mais preciso, agrupando as pessoas certas juntas, mesmo que seus dados sejam estranhos.

2. A "Mesa de Troca de Segredos" (Compartilhamento de Representação)

Aqui está a parte mais genial. Nos métodos antigos, se você estava na mesa dos "doces", você só aprendia com doces. Com o FEDDAG, cada mesa tem dois cozinheiros principais:

• O Especialista Local: Ele foca nos pratos típicos da sua mesa (aprende o que é único do seu grupo).
• O Viajante: Ele vai até as outras mesas, aprende os segredos delas e traz de volta para a sua.

Imagine que a mesa dos "doces" precisa de um truque para fazer o bolo não cair. O "Viajante" vai até a mesa dos "salgados", aprende como eles fazem o pão ficar firme, e traz essa técnica de volta. Assim, a mesa dos doces fica melhor sem perder sua identidade. Isso permite que todos aprendam com a diversidade de todos, sem misturar tudo de forma bagunçada.

3. O "Organizador Automático" (Clustering Adaptativo)

Muitos sistemas antigos exigiam que você dissesse: "Vamos fazer 3 mesas". E se 4 fossem melhores? O FEDDAG não precisa que você diga isso. Ele testa várias configurações de mesas automaticamente. Ele usa uma régua especial que pune se as mesas ficarem muito pequenas (com pouca gente) ou muito grandes (com gente demais misturada). Ele encontra o número perfeito de mesas sozinho, sem que ninguém precise adivinhar.

Por que isso é importante?

• Funciona em qualquer lugar: Seja em celulares com pouca bateria, hospitais com poucos dados de um tipo específico de doença, ou lojas de bairro vs. grandes redes.
• Não quebra a privacidade: Ninguém envia a receita completa ou os ingredientes brutos. Eles enviam apenas "resumos matemáticos" (vetores e gradientes) que não revelam o que está na sua geladeira.
• Resultados melhores: Nos testes do artigo, o FEDDAG foi mais preciso do que qualquer outro método atual, especialmente quando os dados eram muito diferentes entre os participantes.

Resumo em uma frase

O FEDDAG é como um organizador de festa que, em vez de separar as pessoas apenas pelo que elas têm na mão, analisa como elas usam o que têm, e permite que os grupos troquem truques de cozinha entre si, criando um modelo de inteligência artificial muito mais esperto e adaptável, sem nunca precisar ver os dados privados de ninguém.

Resumo técnico

1. Problema Abordado

O Aprendizado Federado (FL) permite que clientes treinem modelos colaborativamente sem compartilhar dados brutos. No entanto, a heterogeneidade dos dados entre os clientes (distribuição non-IID) degrada significativamente o desempenho do modelo global. A heterogeneidade manifesta-se de quatro formas principais:

1. Viés de Classe/Rótulo (Label Skew): Distribuição desigual de classes entre clientes.
2. Viés de Características (Feature Skew): Diferentes estilos ou distribuições de características para a mesma classe.
3. Mudança de Conceito (Concept Shift): A mesma classe representa dados fundamentalmente diferentes em diferentes clientes.
4. Deslocamento de Quantidade (Quantity Shift): Diferentes volumes de dados por cliente.

Limitações das Abordagens Existentes (Clustered FL):

• Métodos de Similaridade Incompletos: Abordagens atuais dependem exclusivamente de similaridade baseada em dados (ex: PACFL) ou em gradientes (ex: IFCA, CFL). Isso leva a agrupamentos incorretos, especialmente sob concept shift ou feature skew.
• Isolamento de Conhecimento: Os modelos de cluster são treinados apenas com dados do próprio cluster, impedindo a transferência de representações latentes úteis entre clusters distintos.
• Falta de Adaptabilidade: Muitas técnicas exigem que o número de clusters seja pré-definido ou não conseguem ajustar dinamicamente o agrupamento frente a novas entradas ou mudanças de distribuição.

---

2. Metodologia: O Algoritmo FEDDAG

O FEDDAG (Federated Learning via global DatA and Gradient integration) propõe um framework inovador que integra informações de dados e gradientes para um agrupamento mais preciso e permite o compartilhamento de representações entre clusters.

A. Medida de Similaridade Híbrida e Ponderada

O FEDDAG combina duas métricas de similaridade em uma matriz de adjacência unificada:

1. Similaridade Baseada em Gradientes:
   • Os clientes realizam um treinamento local leve (2 rodadas) para convergir parcialmente os gradientes.
   • Envia-se apenas uma versão esparsa (k-sparse) dos gradientes para o servidor, reduzindo a comunicação.
   • A similaridade é calculada pelo cosseno do ângulo entre os vetores de gradiente esparsos.
2. Similaridade Baseada em Dados (Ponderada por Classe):
   • Em vez de comparar subespaços de dados inteiros (como no PACFL), o FEDDAG realiza comparações classe a classe.
   • Utiliza Decomposição em Valores Singulares (SVD) truncada para extrair vetores principais por classe.
   • Calcula os ângulos principais entre os subespaços de cada classe específica.
   • Ponderação de Quantidade: Atribui pesos às similaridades de cada classe com base na frequência dos dados (para lidar com quantity shift), penalizando diferenças significativas no tamanho dos conjuntos de dados.
3. Fusão Dinâmica:
   • Um vetor de pesos aprendido (via uma MLP leve e perda de entropia) determina a importância relativa dos dados vs. gradientes para cada cliente, gerando uma matriz de proximidade final otimizada.

B. Agrupamento Adaptativo (Clustering)

• Utiliza Agrupamento Hierárquico Aglomerativo (HC).
• Introduz uma métrica federada-aware para selecionar automaticamente o número ótimo de clusters ($Z$) sem pré-definição.
• A função de perda combina:
  • Perda de Compactidade ($L_1$): Promove clusters densos.
  • Penalidade de Degenerescência ($L_2$): Penaliza clusters excessivamente pequenos (evitando over-splitting).
• O algoritmo varre diferentes limiares de distância ($\alpha$) e seleciona a configuração que minimiza a perda total com um número razoável de clusters.

C. Arquitetura de Codificadores Duplos e Compartilhamento Global de Representações (GRS)

Para superar o isolamento entre clusters, o FEDDAG introduz uma arquitetura de dois codificadores para cada modelo de cluster:

1. Codificador Primário ($\Theta^1_f$): Otimizado exclusivamente com os dados locais do próprio cluster. Garante a especialização no domínio local.
2. Codificador Secundário ($\Theta^2_f$): Projetado para aprender características complementares de outros clusters.
   • Grafo de Complementaridade (CC-Graph): Um grafo direcionado identifica quais clusters são fontes de conhecimento para quais outros, baseado na demanda (classes sub-representadas) e oferta (classes bem representadas) de classes, ajustado pela alinhamento dos subespaços de características.
   • Treinamento Cruzado: O codificador secundário de um cluster "aluno" é refinado usando os dados do cluster "fonte" (identificado pelo CC-Graph), permitindo a transferência de características sem expor dados brutos.
   • A saída dos dois codificadores é concatenada e alimentada em um classificador.

---

3. Contribuições Principais

1. Algoritmo FEDDAG: O primeiro framework de FL clusterizado a integrar simultaneamente similaridade de dados (classe a classe) e gradientes, abordando os quatro tipos de heterogeneidade (rótulo, características, conceito e quantidade).
2. Mecanismo de Agrupamento Adaptativo: Uma nova métrica que determina automaticamente o número ótimo de clusters, evitando a necessidade de hiperparâmetros pré-definidos e lidando com a fragmentação excessiva.
3. Compartilhamento de Representação Global (GRS): Uma arquitetura de codificadores duplos que permite a transferência de conhecimento entre clusters distintos, superando a limitação de métodos anteriores que restringem o aprendizado apenas ao interior do cluster.
4. Desempenho Superior: Resultados experimentais consistentes mostrando superioridade sobre o estado da arte (SOTA) em diversos benchmarks e cenários de heterogeneidade.

---

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados padrão (CIFAR-10, FMNIST, SVHN, CIFAR-100) e em um conjunto de dados em larga escala (Google Landmarks), sob diversas distribuições de dados (Label Skew, Concept Shift, Quantity Shift, Feature Skew).

• Comparação com SOTA: O FEDDAG superou consistentemente métodos baseados apenas em dados (PACFL), apenas em gradientes (IFCA, CFL) e métodos de clustering suave (FedSoft, FedRC).
  • Exemplo (CIFAR-10, Label Skew 20% + Quantity Shift): FEDDAG alcançou 90.76% de acurácia, comparado a 86.93% do PACFL e 89.68% do IFCA.
  • Exemplo (Concept Shift): Sob mudança de conceito, o FEDDAG alcançou 69.90% no CIFAR-10, superando o FedBR (62.41%) e o FedSoft (64.34%).
• Ablação de Componentes:
  • A combinação de dados e gradientes para similaridade foi crucial para a precisão do agrupamento.
  • A arquitetura de codificadores duplos com GRS trouxe ganhos adicionais de acurácia, provando que o compartilhamento cruzado de clusters é benéfico e não apenas um aumento de parâmetros.
• Eficiência: O método utiliza gradientes esparsos e vetores principais reduzidos (menos de 1% do tamanho dos dados), mantendo o custo de comunicação baixo. O overhead de agrupamento é feito apenas uma vez (ou raramente), ao contrário de métodos iterativos que reavaliam clusters a cada rodada.

---

5. Significado e Impacto

O FEDDAG representa um avanço significativo na resolução do problema de heterogeneidade no Aprendizado Federado. Ao reconhecer que nem apenas os dados brutos nem apenas os gradientes capturam totalmente a similaridade entre clientes, a abordagem híbrida oferece uma visão mais holística.

A introdução do Compartilhamento de Representação Global (GRS) é particularmente inovadora, pois quebra o paradigma de que clusters devem ser isolados. Ao permitir que clusters "aprendam" uns com os outros através de codificadores secundários treinados em dados complementares, o FEDDAG consegue generalizar melhor e lidar com cenários complexos onde a distribuição de dados muda dinamicamente ou onde certos clientes possuem dados escassos para classes específicas.

Este trabalho estabelece um novo padrão para sistemas FL em ambientes do mundo real, onde a diversidade de dados, a privacidade e a eficiência de comunicação são desafios críticos.