Resumo Técnico: FedXDS

Definição do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos sem o compartilhamento de dados brutos, mas enfrenta uma degradação significativa de desempenho quando as distribuições de dados dos clientes exibem heterogeneidade estatística (não-IID). Embora abordagens existentes tentem mitigar isso por meio de otimização proximal ou achatamento do panorama de perda (loss landscape), elas frequentemente lutam contra a divergência de atualizações. Por outro lado, compartilhar dados brutos ou características sintéticas para alinhar distribuições melhora a generalização, mas introduz riscos severos de privacidade. A privacidade diferencial (DP) padrão aplicada a dados brutos de alta dimensão (ex: imagens) exige ruído excessivo para garantir a privacidade, levando a uma perda substancial de utilidade. O desafio central abordado por este artigo é como reter os benefícios de desempenho do compartilhamento de dados em ambientes de FL heterogêneos, fornecendo simultaneamente fortes garantias de privacidade e mantendo a eficiência computacional.

Metodologia: FedXDS

Os autores propõem o FedXDS (Aprendizado Federado via Compartilhamento de Dados guiado por XAI), um novo framework que utiliza IA Explicável (XAI) para compartilhar seletivamente apenas as características de dados relevantes para a tarefa. A metodologia consiste em três estágios primários:

1. Seleção de Características Guiada por Atribuição

Em vez de compartilhar imagens brutas, os clientes utilizam métodos de atribuição baseados em propagação para identificar as características de entrada mais críticas para as previsões do modelo.

• Fase de Warmup: Os clientes primeiro treinam um modelo de "warmup" local ($\theta_{warmup}$) usando FedAvg por um número determinado de rodadas.
• Mapeamento de Atribuição: Para cada amostra de entrada $x$, um método de atribuição $\mathcal{A}$ (ex: Propagação de Relevância por Camada, Gradientes Integrados) calcula um mapa de escore de relevância pixel a pixel $h$.
• Mascaramento: Uma máscara binária $m$ é gerada retendo apenas o percentil superior de $s$ das pontuações de atribuição (nível de esparsidade). A entrada é filtrada via multiplicação elemento a elemento: $f_A(x) = x \odot m$. Esta etapa descarta ruídos de fundo e correlações espúrias, retendo apenas características semanticamente significativas.

2. Mecanismo de Preservação de Privacidade

Para proteger as características restantes, o framework emprega Privacidade Diferencial Métrica.

• Redução de Sensibilidade: Ao esparsear a entrada através do mascaramento por atribuição, a sensibilidade ($\Delta f$) da função de seleção de características é estritamente limitada (provado ser $\le 1$ na norma $\ell_2$).
• Injeção de Ruído: Ruído Gaussiano é adicionado às características mascaradas. Como a sensibilidade é reduzida ao descartar dimensões irrelevantes, é necessário significativamente menos ruído para atingir um orçamento de privacidade específico ($\epsilon, \delta$) em comparação com a aplicação de ruído à imagem bruta completa. Isso preserva uma maior utilidade.
• Garantia Formal: O mecanismo satisfaz a privacidade métrica $(\epsilon, \delta)$, onde a perda de privacidade é limitada em relação à distância entre as entradas no espaço métrico.

3. Treinamento Federado com Dados Compartilhados

• Agregação Global: Os clientes fazem o upload de suas características privadas, mascaradas e com ruído para o servidor, que as agrega em um conjunto de dados global $D_g$.
• Otimização Local: Os clientes baixam $D_g$ e otimizam uma função objetivo composta que equilibra o desempenho da tarefa local com o conhecimento proveniente dos dados compartilhados globais:
  $$\min_{\theta} \left[ \mathbb{E}_{(x,y) \sim D_k}[\ell(f_\theta(x), y)] + \lambda \mathbb{E}_{(x,y) \sim D_g}[\ell(f_\theta(x), y)] \right]$$
  Aqui, $\lambda$ controla o equilíbrio entre a especialização local e a integração do conhecimento global.

Principais Contribuições

1. Algoritmo Inovador: A introdução do FedXDS, a primeira abordagem a utilizar técnicas de atribuição de características de XAI para identificar e compartilhar seletivamente elementos de dados específicos entre clientes para mitigar a heterogeneidade.
2. Redução de Dimensionalidade com Preservação de Privacidade: Um mecanismo que utiliza o mascaramento guiado por atribuição para reduzir a dimensionalidade das características brutas antes de aplicar o ruído. Isso permite a privacidade diferencial métrica com níveis de ruído mais baixos, melhorando assim a utilidade em comparação com a DP padrão em dados brutos.
3. Validação de Privacidade Teórica e Empírica: O artigo fornece limites teóricos sobre a sensibilidade e demonstra empiricamente a robustez contra Ataques de Inferência de Membro (MIA) e ataques de Inversão de Características, mostrando que as características mascaradas por atribuição oferecem proteção mais forte do que as características não mascaradas sob orçamentos de privacidade equivalentes.
4. Eficiência: Ao contrário das abordagens baseadas em geradores (ex: GANs ou VAEs) que exigem retreinamento custoso, o FedXDS computa máscaras de atribuição em uma única passagem de retropropagação durante uma fase de warmup, incorrendo em um overhead computacional mínimo.

Resultados Experimentais

Os autores avaliaram o FedXDS em benchmarks padrão (CIFAR-10, CIFAR-100, Tiny-ImageNet) e conjuntos de dados heterogêneos do mundo real (CelebA, FEMNIST) usando o framework LEAF.

• Acurácia: O FedXDS, particularmente quando utiliza a Propagação de Relevância por Camada (FedXLRP), superou consistentemente as linhas de base de estado da arte (incluindo FedAvg, FedProx, FedDyn e métodos de compartilhamento de dados como FedFed e FedFTG).
  • No CIFAR-10 com 100 clientes e alta heterogeneidade ($\alpha=0.05$), o FedXLRP alcançou 83,46% de acurácia, superando significativamente o FedAvg (60,94%) e o FedFed (82,58%).
  • Em conjuntos de dados do mundo real (CelebA, FEMNIST), o FedXDS alcançou a maior acurácia entre todos os métodos testados.
• Velocidade de Convergência: O FedXDS demonstrou eficiência de comunicação superior. Por exemplo, no CIFAR-10 com 10 clientes, atingiu 70% de acurácia em 14 rodadas, enquanto o FedAvg exigiu 49 rodadas.
• Estudos de Ablação:
  • Método de Atribuição: O LRP provou ser superior aos métodos baseados em gradiente (Gradiente $\times$ Entrada, Gradientes Integrados, SmoothGrad) porque produz mapas de relevância estruturalmente coerentes, preservando padrões visuais significativos mesmo sob alta esparsidade.
  • Hiperparâmetros: Um peso de conhecimento intermediário ($\lambda=0.5$) produziu desempenho ideal, e um período de warmup de 10 rodadas foi considerado o equilíbrio ideal para a convergência.
• Análise de Privacidade: Testes empíricos mostraram que as características do FedXDS eram significativamente mais difíceis de reconstruir (menores pontuações SSIM em ataques de inversão de características) e forneceram melhor resistência à inferência de membro em comparação com características não mascaradas ou características de outros métodos de compartilhamento de dados.

Significância e Alegações

O artigo afirma que o FedXDS representa um avanço significativo no enfrentamento do "trilema" do Aprendizado Federado: heterogeneidade, privacidade e eficiência.

• Unindo XAI e FL: O trabalho demonstra pela primeira vez que métodos de XAI, tradicionalmente usados para interpretabilidade, podem ser reaproveitados como uma ferramenta funcional para resolver o problema da heterogeneidade estatística no FL.
• Troca Utilidade-Privacidade: Ao alavancar a esparsidade induzida pelos mapas de atribuição, o método alcança uma troca utilidade-privacidade mais favorável. Argumenta-se que descartar informações irrelevantes para a tarefa não é apenas uma etapa de filtragem, mas um mecanismo de aumento de privacidade que reduz a sensibilidade dos dados, permitindo a injeção de menos ruído.
• Praticidade: A abordagem evita o ônus computacional de modelos generativos, tornando-a adequada para ambientes com restrição de recursos, ao mesmo tempo em que fornece garantias formais de privacidade.

Os autores concluem que os métodos de atribuição são uma ferramenta promissora para melhorar o aprendizado federado, permitindo a transferência eficaz de conhecimento enquanto preservam a privacidade e a eficiência computacional.