Resumo Técnico: Além de Pesos e Gradientes: Uma Taxonomia de Mensagens de Aprendizado Federado

Definição do Problema

O Aprendizado Federado (FL) tem sido tradicionalmente definido pela troca de pesos ou gradientes de aprendizado profundo entre clientes e um servidor central, um paradigma estabelecido por trabalhos fundamentais como [McMahan et al., 2016]. No entanto, o campo está evoluindo rapidamente para incluir diversos payloads, como dados sintéticos, embeddings intermediários e análise federada. As definições e levantamentos existentes falham em capturar essa amplitude, frequentemente tratando a mensagem federada meramente como um subproduto fixo de otimização ou focando exclusivamente na eficiência de comunicação (ex: compressão, seleção de clientes) em vez da natureza do próprio payload. Consequentemente, há uma falta de um framework coeso para categorizar essas trocas modernas, avaliar seus trade-offs em relação à utilidade e privacidade, ou guiar projetistas de sistemas na seleção de payloads apropriados para hardware e restrições de segurança específicas.

Metodologia

Os autores propõem uma abordagem de três frentes para abordar essa lacuna:

1. Definição Matemática Formal: O artigo afasta-se de limites estatísticos restritivos para propor uma definição funcional de uma mensagem federada. Uma mensagem $M_k$ é definida como o output de um mecanismo local $F_k$ processando um conjunto de dados local $D_k$ e um estado compartilhado $\theta$ (ex: modelo global, prompt de consulta). Crucialmente, a mensagem é derivada dos dados ($M_k \neq D_k$), mas não é o conjunto de dados bruto.
2. Eixos de Avaliação Conceitual: As mensagens são avaliadas com base em dois eixos primários:
   • Utilidade: Se a mensagem melhora a estimativa de um objetivo, métrica ou estado de modelo global quando agregada.
   • Privacidade: Se a transmissão delimita estrutural ou criptograficamente o vazamento de registros individuais, alcançado através de mascaramento intrínseco, limites informacional-teóricos (ex: Privacidade Diferencial) ou encapsulamento criptográfico (ex: Computação Multipartidária Segura).
   • Composição Multi-rodada: O framework contabiliza explicitamente a natureza iterativa do FL, observando que, embora a composição de múltiplas rodadas impulsione a utilidade (convergência), ela degrada estritamente a privacidade ao longo do tempo, necessitando de contabilidade de composição.
3. Construção da Taxonomia e Levantamento da Literatura: Com base nas definições, os autores constroem uma taxonomia categorizando as mensagens em três grupos: Estruturas de Modelo, Sumários Estatísticos e Representações Condicionadas a Dados. Para validar a relevância desta taxonomia, foi realizado um levantamento de 202 publicações recentes usando descoberta baseada em palavras-chave e técnica de bola de neve de citações, filtrando artigos que introduzem ou testam explicitamente formas estruturais de mensagens.

Principais Contribuições

1. Uma Definição Formal de Mensagens Federadas

O artigo estabelece uma definição que acomoda payloads que variam de pesos de aprendizado profundo a estruturas de grafos e dados sintéticos. Ele distingue entre o mecanismo (a função $F_k$) e a mensagem (o output $M_k$), permitindo uma visão unificada de diversos paradigmas de FL.

2. Uma Taxonomia de Três Categorias

Os autores organizam os payloads federados em:

• Estruturas de Modelo e Parâmetros: Inclui atualizações de modelos profundos (pesos/gradientes), modelos paramétricos não-profundos (coeficientes lineares, árvores de decisão, centroides de agrupamento) e políticas de aprendizado por reforço. Estas são abstrações de alta dimensão dos dados locais.
• Sumários Estatísticos: Projetados para Análise Federada (FA), incluem estatísticas básicas (somas, médias), representações de distribuição (histogramas, sketches) e sumários baseados em matrizes. Eles são tipicamente de baixa dimensão e focam em métricas globais em vez de modelagem preditiva.
• Representações Condicionadas a Dados: Objetos explicitamente derivados de amostras locais sob um modelo. Isso inclui embeddings/ativações (usados em Vertical FL), dados sintéticos (gerados via GANs ou modelos de difusão) e alvos de destilação (soft labels/logits).

3. Análise Comparativa de Trade-offs

O artigo fornece uma comparação detalhada destes grupos através de quatro dimensões:

• Computação Local: Modelos profundos exigem alta computação (backpropagation); sumários estatísticos exigem trabalho mínimo; representações condicionadas a dados variam (embeddings são baratos, geração de dados sintéticos é cara).
• Tamanho do Payload: Parâmetros profundos são grandes; sumários estatísticos são muito pequenos; dados sintéticos podem oferecer economia de largura de banda de ordens de magnitude em comparação com atualizações completas de gradiente.
• Agregação Global: Sumários permitem agregação instantânea; modelos profundos requerem média coordenada a coordenada; representações condicionadas a dados frequentemente exigem que o servidor execute loops de treinamento ou etapas de otimização.
• Privacidade e Ferramentas Defensivas: Pesos profundos e embeddings são vulneráveis a ataques de inversão e frequentemente requerem criptografia pesada (Agregação Segura, Criptografia Homomórfica). Sumários estatísticos são transparentes e melhor adequados para Privacidade Diferencial (DP). Dados sintéticos dependem dos limites de generalização dos geradores e requerem DP para evitar memorização.

4. Análise do Cenário Empírico

O levantamento de 202 artigos revela uma mudança significativa no foco da pesquisa desde 2021. Embora "Estruturas de Modelo & Parâmetros" (especificamente atualizações profundas) permaneça dominante, há uma tendência ascendente marcante em "Representações Condicionadas a Dados" (ex: embeddings, dados sintéticos) e "Sumários Estatísticos". A análise indica que aproximadamente 76,9% das contribuições de pesquisa são algoritmos novos, destacando um campo impulsionado pela inovação metodológica em vez de apenas implantação de aplicações.

Resultados e Descobertas

• Diversificação: O ecossistema de FL está se afastando de um foco singular em atualizações de pesos em direção ao compartilhamento especializado de informações.
• Realidade dos Trade-offs: Nenhum tipo de mensagem é universalmente ideal. Payloads de alta granularidade (modelos profundos, dados sintéticos) maximizam a utilidade para tarefas complexas, mas demandam imensa computação local e enfrentam severas vulnerabilidades empíricas de privacidade. Por outro lado, sumários estatísticos oferecem agregação rápida e alta compatibilidade com limites formais de privacidade (DP), mas carecem da profundidade semântica necessária para o aprendizado profundo.
• Implicações Arquiteturais: A escolha do payload dita os limites arquiteturais. Redes móveis, de dispositivos cruzados (cross-device), são naturalmente limitadas a sumários leves e modelos não-profundos, enquanto redes institucionais cross-silo com infraestrutura robusta estão melhor posicionadas para lidar com as cargas criptográficas e computacionais de estruturas de modelos de alta dimensão.

Significância e Alegações

O artigo alega que a definição tradicional de uma mensagem federada tornou-se um gargalo tanto para a pesquisa quanto para a prática. Ao fornecer uma taxonomia estruturada e uma definição formal, os autores visam:

1. Esclarecer Trade-offs: Oferecer uma compreensão mais clara do equilíbrio entre utilidade, custos de comunicação e riscos de privacidade no treinamento descentralizado.
2. Guiar Pesquisas Futuras: Fornecer um caminho estruturado para pesquisadores otimizarem sistemas federados para variados requisitos de hardware e segurança, indo além das atualizações padrão de aprendizado profundo.
3. Mudar o Paradigma: Destacar que a escolha do payload federado não é mais apenas um detalhe técnico, mas uma decisão estratégica que afeta a privacidade, a velocidade e os requisitos de hardware de toda a federação.

Os autores mantêm uma postura modesta, observando que seu levantamento atual de 20 artigos fornece um sinal forte de tendências de mudança, mas que trabalhos futuros envolverão a expansão da busca bibliográfica e o desenvolvimento de frameworks de benchmarking padronizados para validar empiricamente esses trade-offs. Eles não alegam ter resolvido o dilema privacidade-utilidade, mas sim fornecido o framework necessário para navegá-lo.