AdeptHEQ-FL: Adaptive Homomorphic Encryption for Federated Learning of Hybrid Classical-Quantum Models with Dynamic Layer Sparing

Resumo Técnico do AdeptHEQ-FL: Criptografia Homomórfica Adaptativa para Aprendizado Federado de Modelos Híbridos Clássico-Quânticos com Poupamento Dinâmico de Camadas

1. Declaração do Problema

O Aprendizado Federado (FL) enfrenta um tríade de desafios interconectados: heterogeneidade estatística decorrente de dados não idênticos e não independentemente distribuídos (não-IID), vulnerabilidades de privacidade inerentes às atualizações de modelo apesar da localização dos dados, e altos custos de comunicação/computação. Soluções existentes frequentemente abordam essas questões de forma isolada. Frameworks de FL Quântico (QFL) melhoram a expressividade do modelo, mas frequentemente carecem de garantias formais de privacidade ou robustez a dados não-IID. Por outro lado, técnicas de preservação de privacidade como Privacidade Diferencial (DP) e Criptografia Homomórfica (HE) frequentemente degradam a utilidade em cenários não-IID ou incorrem em custos computacionais proibitivos. Além disso, métodos focados em eficiência geralmente negligenciam capacidades quânticas. Existe uma lacuna crítica para um framework unificado que otimize simultaneamente desempenho, privacidade e eficiência dentro de um contexto híbrido clássico-quântico.

2. Metodologia

O framework proposto, AdeptHEQ-FL, integra quatro componentes principais para abordar essas lacunas:

• Arquitetura Híbrida CNN-PQC: O modelo combina uma Rede Neural Convolucional (CNN) clássica para extração de características com um Circuito Quântico Parametrizado (PQC) para processamento aprimorado de características.
  • Componente Clássico: Uma CNN com três blocos convolucionais sequenciais (convolução, ReLU, max-pooling) seguidos por camadas totalmente conectadas extrai características localizadas (bordas, texturas). A saída é achatada em um vetor $f_{CNN} \in \mathbb{R}^{2^n}$.
  • Componente Quântico: As características clássicas são codificadas em um estado quântico de 4 qubits via incorporação de amplitude. O PQC utiliza duas camadas de "Camadas Fortemente Entrelaçadas", compreendendo rotações de qubit único parametrizadas ($R_z, R_y, R_z$) e portas de entrelaçamento Controlled-NOT (CNOT). O circuito produz um vetor de características quânticas de 4 dimensões via medições de Pauli-Z, que é então mapeado para a saída final de classificação por uma camada totalmente conectada clássica.
• Agregação Adaptativa Ponderada por Precisão com Privacidade Diferencial: Para lidar com dados não-IID, o servidor agrega atualizações dos clientes com base em seu desempenho local de validação.
  • Os clientes privatizam sua precisão de validação usando o mecanismo de Laplace para garantir Privacidade Diferencial $(\epsilon, 0)$ por rodada.
  • O servidor calcula pesos de agregação usando um softmax temperado numericamente estável sobre essas precisões privatizadas. Isso prioriza contribuições de clientes de alto desempenho enquanto mantém robustez contra ruído.
• Criptografia Homomórfica (HE) Seletiva: Para garantir privacidade sem incorrer na sobrecarga total da Criptografia Homomórfica Totalmente (FHE), o framework aplica o esquema CKKS seletivamente. Apenas os parâmetros da última camada totalmente conectada (FC4) são criptografados durante a transmissão e agregação. Outras camadas são agregadas em texto puro. O servidor descriptografa a camada FC4 agregada usando sua chave secreta após a soma ponderada.
• Congelamento Adaptativo Dinâmico por Camada: Para minimizar a sobrecarga de comunicação, o framework emprega um mecanismo para congelar camadas clássicas menos impactantes.
  • A importância da camada é pontuada com base na norma L2 das mudanças de parâmetro ao longo das rodadas, suavizada via Média Móvel Exponencial (EMA).
  • Camadas com pontuações abaixo de um limiar fixo (0,001) são congeladas (parâmetros não são atualizados ou transmitidos).
  • Crucialmente, camadas quânticas são explicitamente isentas do congelamento para preservar sua adaptabilidade e expressividade, que são vitais para modelar padrões complexos em dados descentralizados.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Agregação Adaptativa Novel: Um mecanismo de agregação que utiliza precisões de validação de clientes com privacidade diferencial e HE para abordar efetivamente a distribuição de dados não-IID enquanto garante privacidade.
2. Arquitetura Híbrida: Um modelo clássico-quântico unificado integrando CNNs para extração de características com PQCs para aprimorar a expressividade do modelo em ambientes federados.
3. Poupamento Dinâmico de Camadas Eficiente: Uma técnica que reduz a sobrecarga de comunicação congelando adaptativamente camadas clássicas menos impactantes enquanto preserva a flexibilidade das camadas quânticas.
4. Análise Teórica de Convergência: Uma prova formal estabelecendo a convergência do framework, contabilizando a interação de agregação adaptativa, poupamento de camadas e mecanismos de privacidade.

4. Resultados Experimentais

Experimentos foram conduzidos nos conjuntos de dados CIFAR-10, SVHN e Fashion-MNIST usando 10 clientes ao longo de 20 rodadas de comunicação com distribuições não-IID (Dirichlet $\alpha=0,1$).

• Desempenho: O AdeptHEQ-FL (configurado com 4 qubits e 2 camadas) superou tanto um Standard-FedQNN quanto um FHE-FedQNN de última geração em todos os conjuntos de dados.
  • No complexo conjunto de dados CIFAR-10, o AdeptHEQ-FL alcançou uma precisão de 72,61%, representando uma melhoria aproximada de 25,43% sobre o Standard-FedQNN (63,60%) e uma melhoria de 14,17% sobre o FHE-FedQNN (57,89%).
  • Ganhos de desempenho foram observados no SVHN e Fashion-MNIST também, embora mais modestos.
• Eficiência de Recursos: Apesar de usar menos recursos (4 qubits, 2 camadas) em comparação com as linhas de base (6 qubits, 6 camadas), o AdeptHEQ-FL alcançou resultados superiores. Isso é atribuído à estratégia de agregação adaptativa, que pondera atualizações com base na precisão privatizada em vez de tratar todos os clientes igualmente, e ao mecanismo de congelamento de camadas que reduz comunicações desnecessárias.
• Sensibilidade: Reduzir ainda mais os recursos quânticos (por exemplo, 2 qubits, 1 camada) levou à degradação do desempenho, particularmente em conjuntos de dados complexos, indicando que dados complexos requerem capacidade quântica suficiente.

5. Significado e Alegações

O artigo alega que o AdeptHEQ-FL fornece uma solução abrangente que unifica desempenho, privacidade e eficiência em um paradigma de FL clássico-quântico híbrido. Seu significado reside em:

• Integração Sinérgica: Combinar com sucesso a expressividade quântica com garantias formais de privacidade (DP e HE seletiva) e eficiência de comunicação.
• Robustez a Não-IID: Demonstrar tratamento superior de dados não-IID através de agregação ponderada por precisão, superando as limitações da agregação uniforme em abordagens QFL e baseadas em FHE existentes.
• Praticidade: Oferecer um design consciente de recursos que reduz a sobrecarga de comunicação via poupamento dinâmico de camadas enquanto mantém a adaptabilidade dos componentes quânticos.

Limitações Reconhecidas:
Os autores notam que a HE é atualmente aplicada apenas à camada final para viabilidade, deixando outras camadas sem criptografia. O framework foi avaliado em ambientes simulados e ainda não foi testado em hardware quântico real. Adicionalmente, a análise de convergência depende de suposições de suavidade e variância de gradiente limitada que podem não se manter em cenários altamente não convexos. Trabalhos futuros são propostos para estender a cobertura de criptografia, testar em dispositivos físicos e generalizar para conjuntos de dados maiores.