AdeptHEQ-FL: Adaptive Homomorphic Encryption for Federated Learning of Hybrid Classical-Quantum Models with Dynamic Layer Sparing

Resumen Técnico de AdeptHEQ-FL: Cifrado Homomórfico Adaptativo para Aprendizaje Federado de Modelos Híbridos Clásico-Cuánticos con Ahorro Dinámico de Capas

1. Planteamiento del Problema

El Aprendizaje Federado (FL) enfrenta una tríada de desafíos interconectados: heterogeneidad estadística derivada de datos no idénticos y no independientemente distribuidos (non-IID), vulnerabilidades de privacidad inherentes a las actualizaciones del modelo a pesar de la localización de los datos, y altos sobrecostos de comunicación y computación. Las soluciones existentes suelen abordar estos problemas de forma aislada. Los marcos de FL Cuántico (QFL) mejoran la expresividad del modelo, pero a menudo carecen de garantías formales de privacidad o robustez frente a datos non-IID. Por el contrario, técnicas de preservación de privacidad como la Privacidad Diferencial (DP) y el Cifrado Homomórfico (HE) suelen degradar la utilidad en entornos non-IID o incurrir en costos computacionales prohibitivos. Además, los métodos centrados en la eficiencia suelen descuidar las capacidades cuánticas. Existe una brecha crítica para un marco unificado que optimice simultáneamente el rendimiento, la privacidad y la eficiencia dentro de un contexto híbrido clásico-cuántico.

2. Metodología

El marco propuesto, AdeptHEQ-FL, integra cuatro componentes centrales para abordar estas brechas:

• Arquitectura Híbrida CNN-PQC: El modelo combina una Red Neuronal Convolucional (CNN) clásica para la extracción de características con un Circuito Cuántico Parametrizado (PQC) para un procesamiento de características mejorado.
  • Componente Clásico: Una CNN con tres bloques convolucionales secuenciales (convolución, ReLU, agrupación máxima) seguidos de capas totalmente conectadas extrae características localizadas (bordes, texturas). La salida se aplana en un vector $f_{CNN} \in \mathbb{R}^{2^n}$.
  • Componente Cuántico: Las características clásicas se codifican en un estado cuántico de 4 qubits mediante incrustación de amplitud. El PQC utiliza dos capas de "Capas Fuertemente Entrelazadas", que comprenden rotaciones de un solo qubit parametrizadas ($R_z, R_y, R_z$) y puertas de entrelazamiento Controlled-NOT (CNOT). El circuito genera un vector de características cuánticas de 4 dimensiones mediante mediciones de Pauli-Z, el cual se mapea a la salida final de clasificación mediante una capa totalmente conectada clásica.
• Agregación Adaptativa Ponderada por Precisión con Privacidad Diferencial: Para manejar datos non-IID, el servidor agrega las actualizaciones de los clientes basándose en su rendimiento de validación local.
  • Los clientes privatizan su precisión de validación utilizando el mecanismo de Laplace para garantizar $(\epsilon, 0)$-Privacidad Diferencial por ronda.
  • El servidor calcula los pesos de agregación utilizando un softmax templado numéricamente estable sobre estas precisiones privatizadas. Esto prioriza las contribuciones de los clientes de alto rendimiento mientras mantiene la robustez frente al ruido.
• Cifrado Homomórfico (HE) Selectivo: Para garantizar la privacidad sin incurrir en la sobrecarga completa del Cifrado Homomórfico Totalmente (FHE), el marco aplica el esquema CKKS de forma selectiva. Solo los parámetros de la última capa totalmente conectada (FC4) se cifran durante la transmisión y la agregación. Las demás capas se agregan en texto plano. El servidor descifra la capa FC4 agregada utilizando su clave secreta después de la suma ponderada.
• Congelamiento Adaptativo Dinámico por Capa: Para minimizar la sobrecarga de comunicación, el marco emplea un mecanismo para congelar las capas clásicas menos impactantes.
  • La importancia de la capa se puntúa basándose en la norma L2 de los cambios de parámetros a través de las rondas, suavizada mediante un Promedio Móvil Exponencial (EMA).
  • Las capas con puntuaciones por debajo de un umbral fijo (0.001) se congelan (los parámetros no se actualizan ni se transmiten).
  • Críticamente, las capas cuánticas están explícitamente exentas del congelamiento para preservar su adaptabilidad y expresividad, que son vitales para modelar patrones complejos en datos descentralizados.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Agregación Adaptativa Novel: Un mecanismo de agregación que utiliza precisiones de validación de clientes con privacidad diferencial y HE para abordar eficazmente la distribución de datos non-IID mientras garantiza la privacidad.
2. Arquitectura Híbrida: Un modelo unificado clásico-cuántico que integra CNNs para la extracción de características con PQC para mejorar la expresividad del modelo en entornos federados.
3. Ahorro Dinámico de Capas Eficiente: Una técnica que reduce la sobrecarga de comunicación congelando adaptativamente las capas clásicas menos impactantes mientras preserva la flexibilidad de las capas cuánticas.
4. Análisis Teórico de Convergencia: Una prueba formal que establece la convergencia del marco, teniendo en cuenta la interacción de la agregación adaptativa, el ahorro de capas y los mecanismos de privacidad.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos CIFAR-10, SVHN y Fashion-MNIST utilizando 10 clientes durante 20 rondas de comunicación con distribuciones non-IID (Dirichlet $\alpha=0.1$).

• Rendimiento: AdeptHEQ-FL (configurado con 4 qubits y 2 capas) superó tanto a un Standard-FedQNN como a un FHE-FedQNN de última generación en todos los conjuntos de datos.
  • En el complejo conjunto de datos CIFAR-10, AdeptHEQ-FL logró una precisión del 72.61%, lo que representa una mejora aproximada del 25.43% sobre Standard-FedQNN (63.60%) y una mejora del 14.17% sobre FHE-FedQNN (57.89%).
  • También se observaron ganancias de rendimiento en SVHN y Fashion-MNIST, aunque más modestas.
• Eficiencia de Recursos: A pesar de utilizar menos recursos (4 qubits, 2 capas) en comparación con las líneas base (6 qubits, 6 capas), AdeptHEQ-FL logró resultados superiores. Esto se atribuye a la estrategia de agregación adaptativa, que pondera las actualizaciones basándose en la precisión privatizada en lugar de tratar a todos los clientes por igual, y al mecanismo de congelamiento de capas que reduce la comunicación innecesaria.
• Sensibilidad: Reducir aún más los recursos cuánticos (por ejemplo, 2 qubits, 1 capa) condujo a una degradación del rendimiento, particularmente en conjuntos de datos complejos, lo que indica que los datos complejos requieren una capacidad cuántica suficiente.

5. Significado y Afirmaciones

El artículo afirma que AdeptHEQ-FL proporciona una solución integral que unifica el rendimiento, la privacidad y la eficiencia en un paradigma de FL híbrido clásico-cuántico. Su importancia radica en:

• Integración Sinérgica: Combinar exitosamente la expresividad cuántica con garantías formales de privacidad (DP y HE selectiva) y eficiencia de comunicación.
• Robustez Non-IID: Demostrar un manejo superior de datos non-IID mediante agregación ponderada por precisión, superando las limitaciones de la agregación uniforme en los enfoques existentes de QFL y basados en FHE.
• Practicidad: Ofrecer un diseño consciente de los recursos que reduce la sobrecarga de comunicación mediante el ahorro dinámico de capas mientras mantiene la adaptabilidad de los componentes cuánticos.

Limitaciones Reconocidas:
Los autores señalan que el HE se aplica actualmente solo a la última capa por razones de manejabilidad, dejando otras capas sin cifrar. El marco fue evaluado en entornos simulados y aún no ha sido probado en hardware cuántico real. Además, el análisis de convergencia se basa en suposiciones de suavidad y varianza de gradiente acotada que podrían no sostenerse en entornos altamente no convexos. Se propone trabajo futuro para extender la cobertura de cifrado, probar en dispositivos físicos y generalizar a conjuntos de datos más grandes.