Resumo Técnico: Da Heterogeneidade de Dados à Convergência: Uma Revisão Centrada em Dados sobre Aprendizado Federado

1. Declaração do Probleamento

O Aprendizado Federado (FL) emergiu como um paradigma crítico para o treinamento de modelos compartilhados entre clientes distribuídos sem a centralização dos dados, abordando preocupações com privacidade e escassez de dados. No entanto, as revisões existentes adotam predominantemente uma perspectiva centrada no método ou no sistema, focando em fundamentos gerais, práticas de segurança ou aplicações amplas. Essas revisões frequentemente falham ao não aprofundar nos aspectos específicos dos dados como um motor primário do comportamento do sistema. Consequentemente, há uma carência de uma "síntese sob a lente dos dados" que vincule explicitamente propriedades concretas de dados (traços), protocolos de particionamento e mecanismos de defesa à velocidade de convergência, estabilidade e acurácia final. Profissionais muitas vezes lutam para prever como características específicas de dados (ex: desvio de rótulos, variabilidade intra-classe) ou estratégias de divisão impactarão a dinâmica de treinamento, levando a uma convergência imprevisível e um design de sistema subótimo.

2. Metodologia

Os autores empregaram uma metodologia de pesquisa estruturada e centrada em dados para abordar essa lacuna:

• Estratégia de Busca: As buscas primárias foram realizadas no Google Scholar utilizando combinações de palavras-chave relacionadas a tópicos específicos (ex: "federated learning" + "attack", "heterogeneity") acopladas a "federated learning".
• Critérios de Seleção: Deu-se prioridade a trabalhos altamente citados e recentes (2020–2026). Critérios secundários incluíram a reputação do veículo de publicação (quartis Q1/Q2).
• Evidência de Alta Qualidade: Para a análise específica de como a divisão de dados afeta a convergência, a tabela de evidências foi restrita a publicações de veículos classificados de A a A* (rank CORE), tais como AAAI, ICLR, CVPR, NeurIPS, etc., para garantir uma síntese comparativa de alta qualidade.
• Escopo: O levantamento foca estritamente nos dados como um fator determinante e uma razão para desafios. Exclui restrições de ambiente e nível de sistema (ex: latência de rede, heterogeneidade de hardware), a menos que sejam consequências diretas de escolhas de manipulação de dados.
• Estrutura de Análise: O estudo organiza os achados em torno de quatro Questões de Pesquisa (RQs):
  1. Quais características da fonte de dados afetam a convergência?
  2. Quais fatores impedem que a simulação reflita dados do mundo real?
  3. Como os conjuntos de dados são tipicamente divididos em experimentos anteriores?
  4. Quais são os trade-offs de convergência-privacidade dos métodos de defesa?

3. Principais Contribuições e Achados

RQ1: Traços de Dados e Convergência

O artigo analisa os traços intrínsecos dos dados e classifica sua influência na convergência como Forte, Média ou Leve:

• Impacto Forte:
  • Proveniência: Configurações cross-device (muitos clientes, intermitentes) geralmente levam a uma convergência mais lenta e menos estável em comparação com configurações cross-silo (poucos clientes, confiáveis) devido à maior heterogeneidade estatística e abandono (dropout).
  • Variabilidade Intra-Classe (ICV): Uma maior variabilidade dentro de uma classe (ex: fundos poluídos no SVHN, caligrafia diversa no FEMNIST) infla a variância do gradiente e retarda a convergência.
  • Separação Inter-Classe (ICS): Margens maiores entre classes (ex: MNIST vs. Fashion-MNIST) aceleram a convergência e melhoram a acurácia final.
• Impacto Médio:
  • Desvio de Rótulos (Label Skew): O desequilíbrio nativo de rótulos (comum em dados cross-device) desalinha os gradientes dos clientes, retardando a convergência e reduzindo a acurácia em orçamentos de rodadas finitos.
  • Número de Classes: Mais classes reduzem a separação inter-classe e aumentam a confusão, retardando a convergência (ex: CIFAR-10 vs. CIFAR-100).
  • Dimensão de Características: Dimensões mais altas aumentam a complexidade de amostragem e a variância do gradiente, embora seu efeito seja secundário à geometria.
  • Homofilia de Grafo: Uma maior homofilia alinha a passagem de mensagens com a suavidade dos rótulos, acelerando a convergência em FL de grafos.
• Impacto Leve:
  • Número de Amostras: O aumento da contagem de amostras só ajuda se aumentar a cobertura de rótulos ou reduzir a variância; caso contrário, aumenta primariamente o computo por rodada sem acelerar a convergência.

Os autores fornecem um "mapa de traço-comportamento" (Tabela 3) e uma análise de relação pareada (Figura 1), mostrando que a geometria (ICV/ICS) e a proveniência são os drivers dominantes, enquanto a escala (contagem de amostras) é o fator menos influente.

RQ2 & RQ3: Divisão de Dados e Simulação

O artigo destaca uma lacuna significativa entre a simulação sintética e a implantação no mundo real:

• Limitações de Simulação: Benchmarks padrão frequentemente utilizam divisões iguais simples ou distribuições de Dirichlet sintéticas que falham em capturar heterogeneidades acopladas como tamanhos de clientes de cauda longa, classes ausentes, mudanças de domínio e participação dinâmica.
• Estratégias de Divisão:
  • Baseada em Dirichlet: O método sintético mais comum, controlado pelo parâmetro $\alpha$. Um $\alpha$ pequeno cria um desvio extremo; um $\alpha$ grande aproxima-se de IID.
  • Divisão Natural: Particiona os dados pela proveniência do mundo real (ex: ID de usuário, local de hospital). Isso preserva a heterogeneidade realista (ex: datasets FEMNIST, LEAF), mas é mais difícil de controlar e comparar.
  • Baseada em Clusters & Temporal: Agrupamento por geografia/similaridade ou intervalos de tempo para mimetizar cenários de aplicação específicos.
• Recomendação: Os autores defendem a priorização de divisões naturais sobre divisões de Dirichlet sintéticas para validade externa, enquanto utilizam baselines sintéticas para ablação controlada. Eles enfatizam o relato de diagnósticos quantitativos de heterogeneidade (ex: distribuição de tamanho de cliente, cobertura de classe) para garantir a comparabilidade.

RQ4: Vulnerabilidades e Trade-offs de Defesa

O artigo examina sistematicamente vulnerabilidades relacionadas a dados (Envenenamento, Evasão, Inferência de Membros, Vazamento Não Intencional) e suas defesas usando uma lente de fronteira de Pareto (Utilidade Limpa vs. Utilidade Sob Ataque):

• Envenenamento (Label Flipping/Backdoor): Defesas como FLDetector e DOS podem reduzir o sucesso do ataque para próximo de zero, mantendo ou melhorando ligeiramente a acurácia limpa. O SparseFed oferece uma grande redução de ataque com uma pequena queda na acurácia limpa (~1–3 pp).
• Evasão: Métodos como USD-FL (usando pontuação de conjunto de reserva) e FedDef (pseudo-gradientes) alcançam ganhos significativos de robustez com perda mínima de acurácia limpa.
• Inferência de Membro: Defesas como MIST, **HAMP e Purifier levam as métricas de ataque para níveis de acaso com impactos negligenciáveis ou até positivos na utilidade limpa.
• Exposição Não Intencional (Buffers de Replay): Técnicas como KDRSFL e FedPMR mitigam o vazamento e o esquecimento catastrófico com custos de acurácia quase nulos.
• Insight de Trade-off: A maioria das defesas bem projetadas melhora a robustez com impacto negligenciável na convergência. Proteções mais fortes tipicamente incorrem apenas em um pequeno custo (queda de 1–3% na acurácia), enquanto a Privacidade Diferencial frequentemente envolve trade-offs maiores.

4. Significância e Alegações

O artigo afirma ser o primeiro levantamento a fornecer uma compreensão completa e centrada em dados dos desafios que regem a convergência do FL. Sua significância reside em:

1. Orientação Acionável: Destila lições claras para profissionais, permitindo o design de sistemas com convergência e estabilidade previsíveis ao compreender como traços de dados específicos (ex: ICV, ICS, proveniência) ditam o comportamento de otimização.
2. Preenchimento da Lacuna: Vincula decisões de dados concretas (protocolos de divisão, curadoria de datasets) diretamente aos resultados de otimização, indo além de limites teóricos abstratos para as realidades empíricas observadas em imagens, textos e grafos.
3. Trade-offs Explícitos: Ao mapear as defesas em uma fronteira de Pareto, esclarece quando os ganhos de robustez vêm com custos materiais versus quando eles preservam a acurácia próxima à do modelo limpo.
4. Direções Futuras: Os autores identificam questões em aberto, particularmente em relação à inicialização do modelo (simples vs. pré-treinado) e sua interação com dados não-IID, observando que não existe consenso sobre se inicializações específicas garantem a convergência.

O trabalho serve como um guia fundamental para pesquisadores e profissionais navegarem na complexa interação entre heterogeneidade de dados, estratégias de particionamento e segurança, pavimentando o caminho para sistemas de aprendizado federado mais robustos e abrangentes.