Resumo Técnico: Explorando os Compromissos de Parâmetros do CKKS para o Aprendizado Federado Personalizado Preservador de Privacidade

Declaração do Problema

O Aprendizado Federado Personalizado (PFL) permite que clientes treinem modelos adaptados aos seus dados locais e heterogêneos de forma colaborativa sem compartilhar conjuntos de dados brutos. No entanto, o PFL padrão permanece vulnerável a ataques de inferência por parte de servidores "honestos-mas-curiosos", que podem reconstruir dados de treinamento privados ou inferir propriedades sensíveis a partir das atualizações de modelos trocadas. Embora a Criptografia Homomórfica (HE), especificamente o esquema CKKS, ofereça uma solução ao permitir a agregação no lado do servidor sobre atualizações criptografadas, sua aplicação em PFL carece de orientação sistemática. Os profissionais enfrentam uma lacuna crítica: não há um framework principiológico para configurar os parâmetros do CKKS (como os módulos de texto cifrado) que equilibre as demandas concorrentes de privacidade, precisão de decriptografia e eficiência computacional/de comunicação em implantações de PFL.

Metodologia

Os autores introduzem o pFedCKKS, um framework genérico que integra o esquema HE CKKS em fluxos de trabalho de PFL. A metodologia envolve:

1. Modelo de Sistema e de Ameaça: O framework opera em um ambiente de cross-silo com um servidor honesto-mas-curioso e clientes honestos. Um líder confiável (ou um terceiro) gera as chaves CKKS, distribuindo a chave pública e as chaves de avaliação para o servidor e a chave secreta para os clientes.
2. Integração do Fluxo de Trabalho: O processo de treinamento envolve os clientes decriptando parâmetros globais, realizando atualizações locais de PFL (usando algoritmos FedFinetune, FedPer ou Ditto), criptografando os parâmetros globais atualizados e enviando-os ao servidor. O servidor realiza a agregação ponderada homomórfica desses textos cifrados sem decriptação.
3. Análise de Parâmetros: Os autores derivam restrições para os parâmetros do CKKS sob um nível de segurança de 128 bits. Eles identificam que, para o cenário de PFL (que requer apenas uma multiplicação homomórfica), o problema se reduz à seleção de dois valores: o primo interno ($q_1$) e o primo externo ($q_0 = q_2$).
   • $N = 8192$ (fixo para segurança).
   • $L = 1$ (profundidade multiplicativa).
   • Restrições: $q_0 > q_1$ e $\log_2(q_0) + \log_2(q_1) + \log_2(q_2) < 218$.
4. Avaliação Empírica: O framework é implementado usando o framework de FL Flower e a biblioteca TenSEAL. Experimentos são conduzidos em três conjuntos de dados (FEMNIST, CelebA, Sentiment140) através de três algoritmos de PFL. O estudo varia sistematicamente os tamanhos de bits dos primos interno e externo para medir:
   • Comunicação: Uso de largura de banda e overhead em relação às bases não criptografadas.
   • Computação: Overhead de tempo de execução (criptografia/decriptação vs. treinamento local).
   • Precisão: Erro ao nível de parâmetro (norma $L_1$) e acurácia de teste ao nível do modelo.

Principais Contribuições

• Framework pFedCKKS: O primeiro framework genérico que integra o CKKS ao PFL, demonstrando compatibilidade com as principais estratégias de PFL (FedFinetune, FedPer e Ditto).
• Guia Sistemático de Parâmetros: Uma derivação das restrições completas de parâmetros do CKKS para PFL, reduzindo a complexidade de seleção para a escolha apenas dos primos interno e externo.
• Análise de Compromisso (Trade-off): Uma avaliação empírica extensa revelando o compromisso inerente entre precisão e custo. O estudo identifica que o primo interno é o fator dominante para a precisão da decriptação, enquanto ambos os primos influenciam significativamente os custos de comunicação e computação.
• Diretrizes Práticas: A identificação de um ponto operacional ideal que equilibra eficiência e acurácia.

Resultados

• Comunicação: O overhead de comunicação aumenta linearmente com o tamanho de ambos os primos interno e externo. Por exemplo, aumentar o primo interno de 18 para 38 bits (com um primo externo fixo de 40 bits) resultou em mais de 100% de overhead adicional. A escolha do algoritmo de PFL também impacta a largura de banda absoluta; o FedPer reduziu significativamente o overhead no FEMNIST ao transmitir apenas as camadas base compartilhadas, mas o aumentou no Sentiment140, onde as camadas compartilhadas constituíam quase todo o modelo.
• Computação: O overhead de computação é significativo apenas quando as operações CKKS (criptografia/decriptação) dominam o tempo de treinamento local. Em configurações com modelos pequenos (ex: CelebA) ou subconjuntos criptografados pequenos (FedPer no FEMNIST), o treinamento local mascarou o overhead do CKKS, resultando em aumentos de tempo de execução total negligenciáveis. No entanto, quando as operações CKKS eram dominantes, primos maiores levaram a tempos de execução mais altos.
• Precisão:
  • Primo Interno: Este é o fator crítico para a precisão. Um primo interno de 18 bits causou uma degradação severa na acurácia (queda de até 80% em alguns casos) devido à instabilidade numérica e overflow. Aumentar o primo interno para 22 bits melhorou a acurácia, mas ainda mostrou quedas observáveis. 26 bits ou mais mantiveram consistentemente a acurácia do modelo comparável à base não criptografada.
  • Primo Externo: Teve um impacto negligenciável tanto na precisão ao nível de parâmetro quanto ao nível do modelo.
  • Convergência: Modelos com primos internos de 22 bits mostraram degradação de acurácia após o treinamento prolongado (ruído acumulado), enquanto configurações de 26 bits ou superiores convergiram de forma semelhante à base.

Significância e Recomendações

O artigo conclui que, embora o CKKS possibilite o PFL preservador de privacidade, a seleção de parâmetros ingênua pode levar a custos proibitivos ou acurácia de modelo inutilizável. Os autores fornecem uma diretriz concreta para profissionais:

• Configuração Recomendada: Uma configuração de módulo de texto cifrado de (28, 26, 28) (primos externos de 28 bits, primo interno de 26 bits).
• Racional: Esta configuração minimiza os overheads de comunicação e computação enquanto garante que a acurácia do modelo permaneça comparável à base não criptografada. Ela representa o "ponto ideal" onde o aumento do primo interno resulta em retornos decrescentes em termos de acurácia, mas incorre em custos mais altos.

O trabalho valida que a preservação da privacidade no PFL é alcançável com desempenho eficiente quando os parâmetros do CKKS são cuidadosamente ajustados, preenchendo uma lacuna crítica na implementação de tecnologias de aumento de privacidade para o aprendizado federado personalizado.