Federated Learning Architecture: Data Privacy and System Security Approaches

Resumo Técnico: Arquitetura de Aprendizado Federado com Criptografia Homomórfica e Privacidade Diferencial

Definição do Problema
Embora o Aprendizado Federado (FL - Federated Learning) ofereça um paradigma para o treinamento de modelos de aprendizado de máquina sem a centralização de dados brutos, ele permanece vulnerável a ameaças de segurança e privacidade. Especificamente, as atualizações de modelos transmitidas entre os clientes e o servidor central podem ser interceptadas para realizar ataques de inferência de modelo ou reconstrução de dados, potencialmente vazando informações sensíveis sobre os conjuntos de dados locais. Além disso, o próprio servidor central apresenta um ponto único de falha. As abordagens existentes frequentemente lutam para equilibrar os requisitos rigorosos de privacidade de dados com a necessidade de alta precisidade de modelo e eficiência computacional, particularmente em domínios sensíveis como saúde e finanças.

Metodologia
Este estudo propõe uma arquitetura de FL híbrida que integra Criptografia Homomórfica (HE) e Privacidade Diferencial (DP) para assegurar o processo de treinamento.

• Arquitetura e Criptografia: O sistema utiliza o esquema de criptografia homomórfica CKKS (Cheon-Kim-Kim-Song). O CKKS foi selecionado por sua capacidade de realizar computações aproximadas em números de ponto flutuante criptografados, o que é essencial para operações de redes neurais. Neste fluxo de trabalho, os clientes realizam o treinamento local em seus dados. Em vez de enviar pesos em texto simples (plaintext), os clientes criptografam suas atualizações de modelo usando CKKS antes da transmissão. O servidor central agrega essas atualizações criptografadas utilizando o algoritmo Federated Averaging (FedAvg). O resultado agregado é então descriptografado para atualizar o modelo global, garantindo que o servidor nunca acesse os parâmetros do modelo em texto simples.

• Privacidade Diferencial: Para evitar a extração de informações individuais das atualizações do modelo, o estudo emprega mecanismos de DP durante a fase de treinamento local. Utilizando a biblioteca PrivacyEngine, ruído aleatório é adicionado aos gradientes. O sistema opera sob restrições de privacidade $(\epsilon, \delta)$, com parâmetros específicos definidos como $\sigma=5.0$ (multiplicador de ruído), norma máxima de gradiente de $0.5$e$\delta=10^{-5}$.

• Configuração Experimental: A arquitetura proposta foi avaliada em três conjuntos de dados distintos:

  1. Framingham Heart Study: Para previsão de doenças cardiovasculares (4.240 amostras).
  2. Pima Indians Diabetes (PID): Para previsão de diabetes (768 amostras).
  3. Bank Marketing: Para previsão de subscrição de clientes (41.188 amostras).

  Os experimentos simularam um ambiente descentralizado com números variados de clientes (3, 5 e 10). Uma Rede Neural Artificial (ANN) multicamadas, com três camadas totalmente conectadas (256 e 128 neurônios nas camadas ocultas), foi treinada por 5 épocas locais por rodada ao longo de 10 rodadas globais.

Principais Contribuições

1. Estrutura de Segurança Integrada: O artigo demonstra um sistema de FL funcional que aplica simultaneamente a criptografia homomórfica baseada em CKKS para transmissão segura e DP para proteção de gradientes locais.
2. Análise Empírica de Trocas entre Privacidade e Precisão: O estudo fornece uma análise detalhada de como o aumento do número de clientes e a duração do treinamento (número de rodadas) impactam o orçamento de privacidade ($\epsilon$). Observa-se que, conforme o número de clientes aumenta ou os tamanhos dos conjuntos de dados diminuem, o orçamento de privacidade é consumido mais rapidamente devido à necessidade aumentada de adição de ruído por cliente.
3. Avaliação de Desempenho: A pesquisa quantifica o impacto dessas medidas de segurança no desempenho do modelo (Acurácia, Precisão, Recall, F1-score) através de diferentes distribuições de dados e contagens de clientes.

Resultados Experimentais

• Orçamento de Privacidade ($\epsilon$): O estudo encontrou uma correlação direta entre o número de clientes e o orçamento de privacidade. Por exemplo, no conjunto de dados Bank, aumentar os clientes de 3 para 10 resultou no valor de $\epsilon$ na Rodada 10 quase dobrando (de 0.3566 para 0.6785). Da mesma forma, conjuntos de dados menores (como o PID) exibiram valores de $\epsilon$ mais altos em comparação com conjuntos de dados maiores (como o Bank) sob as mesmas configurações de clientes, indicando que a heterogeneidade dos dados e o tamanho da amostra influenciam significativamente o consumo de privacidade.
• Acurácia do Modelo: A integração de DP resultou em uma diminuição mensurável, embora leve, na acurácia do modelo em comparação com as bases de referência não privadas.
  • Conjunto de Dados Bank: Mostrou maior robustez, alcançando 81,85% de acurácia com DP (3 clientes) comparado a 86,20% sem DP.
  • Conjunto de Dados PID: Mostrou uma queda mais pronunciada, com 72,00% de acurácia com DP (3 clientes) versus 75,00% sem.
  • Conjunto de Dados Framingham: Alcançou 69,92% de acurácia com DP (3 clientes) versus 71,47% sem.
• Conclusão sobre os Trade-offs: Os resultados confirmam que, embora as técnicas de preservação de privacidade introduzam um custo de desempenho, o sistema mantém níveis de acurácia significativos, particularmente em conjuntos de dados maiores como o Bank Marketing.

Significância e Alegações
Os autores alegam que esta arquitetura demonstra a viabilidade de implantar IA segura e preservadora de privacidade em setores sensíveis, como saúde e finanças, sem depender da coleta de dados centralizada. O estudo conclui que, embora a heterogeneidade dos dados e o número de clientes afetem significativamente o desempenho do modelo, estratégias como a seleção cuidadosa de parâmetros de DP e o uso de conjuntos de dados maiores podem mitigar as perdas de eficiência.

O artigo reconhece modestamente suas limitações, observando que os experimentos foram conduzidos em um ambiente simulado com um pequeno número de clientes (3, 5, 10) e conjuntos de dados locais relativamente grandes. Os autores afirmam que, em cenários do mundo real com milhares de clientes e dados locais esparsos, a degradação do desempenho é antecipada. Consequentemente, o artigo posiciona seus achados como um passo fundamental, sugerindo que trabalhos futuros devem abordar escalabilidade, eficiência de comunicação e algoritmos de agregação avançados para realizar plenamente o potencial do FL preservador de privacidade em aplicações de larga escala.