Resumo Técnico: FedKT-CSD para Aprendizado Federado de Disparo Único (One-Shot)

Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em dados descentralizados enquanto preserva a privacidade, mas tipicamente sofre com alta sobrecarga de comunicação e convergência lenta, particularmente quando as distribuições de dados dos clientes são heterogêneas. O Aprendizado Federado de Disparo Único (OSFL - One-Shot Federated Learning) aborda as restrições de comunicação limitando a interação a uma única rodada. No entanto, os métodos de OSFL existentes enfrentam um compromisso crítico: muitas vezes carecem de garantias formais de privacidade ou exigem treinamento local computacionalmente caro (por exemplo, treinamento de geradores locais ou destilação de modelos). Quando a Privacidade Diferencial (DP) é aplicada retroativamente a esses métodos, a alta dimensionalidade dos parâmetros do modelo infla a sensibilidade, degradando a utilidade. Além disso, muitas abordagens atuais transmitem pesos de modelos ou dados destilados que podem vazar informações sobre os registros de treinamento individuais.

O desafio central abordado por este trabalho é: Pode-se conceber um framework que aproveite o compartilhamento de representações em um cenário de OSFL para alcançar garantias formais de privacidade e computação leve no cliente simultaneamente?

Metodologia: FedKT-CSD

Os autores propõem o FedKT-CSD (Federated Knowledge Transfer via Collaborative Synthetic Data), um framework inspirado na compressão de imagens neurais. O método utiliza um autoencoder pré-treinado, congelado e público (Encoder $E$ e Decoder $D$) como um espaço latente compartilhado, eliminando a necessidade de treinamento ou adaptação no dispositivo.

1. Processamento no Lado do Cliente (Sem Treinamento)

Cada cliente $i$ possui um conjunto de dados privado $D_i$. O processo envolve uma única passagem direta (forward pass):

• Codificação: As imagens são codificadas em vetores latentes compactos $z_{i,j} = E(x_{i,j})$.
• Clivagem (Clipping): Os vetores latentes são clivados para uma norma $\ell_2$ limitada $R$ para garantir os limites de sensibilidade para DP.
• Computação de Estatísticas: Para cada classe $c$ presente nos dados do cliente, o cliente computa três estatísticas aditivas:
  • Soma dos latentes clivados: $m_c^i = \sum \bar{z}_{i,j}$
  • Soma dos produtos externos: $M_c^i = \sum \bar{z}_{i,j}\bar{z}_{i,j}^\top$
  • Contagem de amostras: $n_c^i$
• Transmissão: Os clientes fazem o upload apenas desses resumos leves (vetores e matrizes) para o servidor. Nenhum dado bruto ou peso de modelo é transmitido.

2. Agregação no Lado do Servidor e Injeção de Ruído

O servidor agrega as estatísticas usando Agregação Segura, que computa somas elemento a elemento entre os clientes sem revelar as contribuições individuais.

• Somas Globais: $S_{\mu,c} = \sum m_c^i$, $S_{\Sigma,c} = \sum M_c^i$ e $n_c = \sum n_c^i$.
• Privacidade Diferencial: Ruído Gaussiano calibrado é adicionado às somas agregadas ($\tilde{S}_{\mu,c}$ e $\tilde{S}_{\Sigma,c}$) com base na sensibilidade do limiar de clivagem $R$. O orçamento de privacidade $(\epsilon, \delta)$ é dividido entre as consultas de média e covariância.
• Pós-processamento: O servidor recupera a média e a covariância ruidosas, aplica correção de viés (para compensar a variância do ruído na média) e projeção Semidefinida Positiva (PSD) (para garantir amostragem válida).

3. Geração de Dados Sintéticos

O servidor amostra vetores latentes das distribuições Gaussianas condicionais à classe resultantes $\mathcal{N}(\mu_c^{DP}, \Sigma_c^{DP})$ e os decodifica usando o decoder congelado $D$ para gerar um conjunto de dados sintéticos protegido por DP $X^*$. Este conjunto de dados é então usado para treinar um modelo global ou para tarefas subsequentes.

Principais Contribuições

1. Geração de Dados Sintéticos com DP de Disparo Único: O artigo demonstra que autoencoders de compressão profunda fornecem um espaço latente compartilhado onde estatísticas condicionais à classe podem ser computadas e agregadas com garantias formais de $(\epsilon, \delta)$-DP. Isso permite um pipeline que requer apenas uma rodada de comunicação e zero treinamento no dispositivo.
2. Desempenho Competitivo sob DP: Apesar de operar sob estritas restrições de privacidade, o FedKT-CSD supera as linhas de base de FL de disparo único não privadas existentes (ex: FedSD2C, DENSE, CoBoosting) em diversos conjuntos de dados e configurações de heterogeneidade.
3. Invariância à Heterogeneidade e Escala: Ao contrário das abordagens de agregação de modelos que sofrem com modelos locais enviesados em cenários heterogêneos, o FedKT-CSD é invariante ao grau de heterogeneidade de dados e ao número de clientes. A natureza aditiva das estatísticas garante que a distribuição global seja reconstruída identicamente, independentemente da partição dos dados.
4. Eficiência Prática: O método é altamente eficiente, com payloads de clientes na ordem de Quilobytes (ex: ~327 KB para 10 classes) e tempos de computação de segundos em hardware de consumo, tornando-o implantável em ambientes com restrições de largura de banda e computação.
5. Utilidade Versátil para Tarefas Subsequentes: O conjunto de dados sintético gerado consiste em imagens reais (não apenas características fixas), permitindo que seja usado para treinar qualquer arquitetura, pré-treinar para FL personalizado ou como dados auxiliares para métodos de múltiplas rodadas.

Resultados Experimentais

Os autores avaliaram o FedKT-CSD em quatro benchmarks de classificação de imagens: ImageNette, CIFAR-100, EuroSAT e BloodMNIST.

• Desempenho vs. Linhas de Base: O FedKT-CSD alcançou resultados de estado da arte entre os métodos de disparo único, frequentemente superando as linhas de base não privadas. Por exemplo, no CIFAR-100 sob heterogeneidade patológica (onde cada cliente vê apenas 10 de 100 classes), as linhas de base colapsaram para ~21% de acurácia, enquanto o FedKT-CSD manteve ~29%. No EuroSAT, atingiu ~80% de acurácia comparado a ~55% da melhor linha de base.
• Avaliação de Privacidade: O método satisfaz a formalidade $(\epsilon=10, \delta=10^{-5})$-DP. Ataques de Inferência de Membros (MIA) resultaram em um AUC de 0.501 (adivinhação aleatória), confirmando a incapacidade de inferir a participação de registros individuais.
• Escalabilidade: O método escala linearmente para 1.000 clientes sem degradação de desempenho, enquanto as linhas de base degradam significativamente conforme os dados são mais dispersos.
• Estudos de Ablação:
  • Heterogeneidade: O desempenho permaneceu estável através de diferentes parâmetros de concentração de Dirichlet ($\alpha$), enquanto as linhas de base degradaram monotonicamente.
  • Taxa de Participação: O método degradou graciosamente mesmo com 10% de participação de clientes.
  • Arquitetura: Uma dimensão latente de $d=128$ com um autoencoder de resolução 64x64 (DC-AE f32c32) ofereceu o melhor equilíbrio entre capacidade representacional e acúmulo de ruído.

Significância e Alegações

O artigo afirma que o FedKT-CSD fecha a lacuna entre baixa comunicação, robustez à heterogeneidade e privacidade rigorosa no aprendizado federado. Ao aproveitar a estrutura de autoencoders pré-treinados, o método transforma o problema do compartilhamento privado de dados na agreção de estatísticas de baixa dimensão e aditivas.

Os autores enfatizam que o conjunto de dados sintético preserva a separação entre classes necessária para classificação sem exigir fotorrealismo, razão pela qual alcança alta acurácia subsequente apesar da aparência grosseira das imagens individuais geradas. O trabalho sugere um princípio de design mais amplo: autoencoders pré-treinados podem servir como um espaço compartilhado e de baixa dimensão onde estatísticas aditivas simples bastam para uma geração de dados de alta qualidade e preservação de privacidade, permitindo sistemas federados escaláveis e eficientes sem o fardo computacional do treinamento local ou os riscos de privacidade da troca de parâmetros.