Resumen Técnico: Exploración de las Compensaciones de Parámetros de CKKS para el Aprendizaje Federado Personalizado con Preservación de la Privacidad

Planteamiento del Problema

El Aprendizaje Federado Personalizado (PFL, por sus siglas en inglés) permite que los clientes entrenen modelos adaptados a sus datos locales y heterogéneos de forma colaborativa sin compartir conjuntos de datos brutos. Sin embargo, el PFL estándar sigue siendo vulnerable a ataques de inferencia por parte de servidores "honestos pero curiosos", que pueden reconstruir datos de entrenamiento privados o inferir propiedades sensibles de las actualizaciones de modelos intercambiadas. Si bien el Cifrado Homomórfico (HE), específicamente el esquema CKKS, ofrece una solución al permitir la agregación en el lado del servidor sobre actualizaciones cifradas, su aplicación en el PFL carece de una guía sistemática. Los profesionales se enfrentan a un vacío crítico: no existe un marco conceptual para configurar los parámetros de CKKS (como los módulos de texto cifrado) que equilibre las demandas contrapuestas de privacidad, precisión de descifrado y eficiencia computacional/de comunicación en los despliegues de PFL.

Metodología

Los autores introducen pFedCKKS, un marco genérico que integra el esquema HE CKKS en los flujos de trabajo de PFL. La metodología consiste en:

1. Modelo de Sistema y de Amenaza: El marco opera en un entorno de silos cruzados (cross-silo) con un servidor honesto pero curioso y clientes honestos. Un líder de confianza (o un tercero) genera las claves de CKKS, distribuyendo la clave pública y las claves de evaluación al servidor, y la clave secreta a los clientes.
2. Integración del Flujo de Trabajo: El proceso de entrenamiento implica que los clientes descifran los parámetros globales, realizan actualizaciones locales de PFL (usando algoritmos como FedFinetune, FedPer o Ditto), cifran los parámetros globales actualizados y los envían al servidor. El servidor realiza una agregación ponderada homomórfica de estos textos cifrados sin realizar el descifrado.
3. Análisis de Parámetros: Los autores derivan las restricciones para los parámetros de CKKS bajo un nivel de seguridad de 128 bits. Identifican que para el entorno de PFL (que requiere solo una multiplicación homomórfica), el problema se reduce a la selección de dos valores: el primo interno ($q_1$) y el primo externo ($q_0 = q_2$).
   • $N = 8192$ (fijo para seguridad).
   • $L = 1$ (profundidad multiplicativa).
   • Restricciones: $q_0 > q_1$ y $\log_2(q_0) + \log_2(q_1) + \log_2(q_2) < 218$.
4. Evaluación Empírica: El marco se implementa utilizando el framework de FL Flower y la librería TenSEAL. Los experimentos se realizan en tres conjuntos de datos (FEMNIST, CelebA, Sentiment140) a través de tres algoritmos de PFL. El estudio varía sistemáticamente los tamaños de bits de los primos internos y externos para medir:
   • Comunicación: Uso de ancho de banda y sobrecarga relativa a las líneas base no cifradas.
   • Computación: Sobrecarga de tiempo de ejecución (cifrado/descifrado frente al entrenamiento local).
   • Precisión: Error a nivel de parámetro (norma $L_1$) y precisión de la prueba del modelo.

Contribuciones Clave

• Marco pFedCKKS: El primer marco genérico que integra CKKS en PFL, demostrando compatibilidad con las principales estrategias de PFL (FedFinetune, FedPer y Ditto).
• Guía Sistemática de Parámetros: Una derivación de las restricciones completas de los parámetros de CKKS para PFL, reduciendo la complejidad de la selección a la elección de solo los primos internos y externos.
• Análisis de Compensación (Trade-off): Una extensa evaluación empírica que revela la compensación inherente entre precisión y costo. El estudio identifica que el primo interno es el factor dominante para la precisión del descifrado, mientras que ambos primos influyen significativamente en los costos de comunicación y computación.
• Directrices Prácticas: La identificación de un punto de operación óptimo que equilibra la eficiencia y la exactitud.

Resultados

• Comunicación: La sobrecarga de comunicación aumenta linealmente con el tamaño de ambos primos, el interno y el externo. Por ejemplo, aumentar el primo interno de 18 a 38 bits (con un primo externo fijo de 40 bits) resultó en una sobrecarga adicional de más del 100%. La elección del algoritmo de PFL también impacta el ancho de banda absoluto; FedPer redujo significativamente la sobrecarga en FEMNIST al transmitir solo las capas base compartidas, pero la aumentó en Sentiment140, donde las capas compartidas constituían casi la totalidad del modelo.
• Computación: La sobrecarga de computación es significativa solo cuando las operaciones de CKKS (cifrado/descifrado) dominan el tiempo de entrenamiento local. En entornos con modelos pequeños (ej. CelebA) o subconjuntos cifrados pequeños (FedPer en FEMNIST), el entrenamiento local enmascaró la sobrecarga de CKKS, resultando en incrementos de tiempo de ejecución total insignificantes. Sin embargo, cuando las operaciones de CKKS eran dominantes, los primos más grandes condujeron a mayores tiempos de ejecución.
• Precisión:
  • Primo Interno: Este es el factor crítico para la precisión. Un primo interno de 18 bits causó una degradación severa de la precisión (caídas de hasta el 80% en algunos casos) debido a la inestabilidad numérica y el desbordamiento (overflow). Aumentar el primo interno a 22 bits mejoró la precisión, pero aún mostró caídas observables. 26 bits o más mantuvieron consistentemente la precisión del modelo comparable a la línea base sin cifrar.
  • Primo Externo: Tuvo un impacto negligible tanto en la precisión a nivel de parámetro como a nivel de modelo.
  • Convergencia: Los modelos con primos internos de 22 bits mostraron degradación de precisión tras un entrenamiento prolongado (ruido acumulado), mientras que las configuraciones de 26 bits o superiores convergieron de manera similar a la línea base.

Significación y Recomendaciones

El artículo concluye que, si bien CKKS permite el PFL con preservación de la privacidad, una selección de parámetros ingenua puede conducir a costos prohibitivos o a una precisión de modelo inutilizable. Los autores proporcionan una directriz concreta para los profesionales:

• Configuración Recomendada: Una configuración de módulo de texto cifrado de (28, 26, 28) (primos externos de 28 bits, primo interno de 26 bits).
• Justificación: Esta configuración minimiza las sobrecargas de comunicación y computación, asegurando al mismo tiempo que la precisión del modelo permanezca comparable a la línea base sin cifrar. Representa el "punto ideal" donde aumentar el primo interno más allá de este punto ofrece rendimientos decrecientes en precisión pero incurre en mayores costos.

El trabajo valida que la preservación de la privacidad en PFL es alcanzable con un rendimiento eficiente cuando los parámetros de CKKS se ajustan cuidadosamente, llenando un vacío crítico en el despliegue de tecnologías de mejora de la privacidad para el aprendizaje federado personalizado.