Federated Learning Architecture: Data Privacy and System Security Approaches

Resumen Técnico: Arquitectura de Aprendizaje Federado con Cifrado Homomórfico y Privacidad Diferencial

Planteamiento del Problema
Si bien el Aprendizaje Federado (FL, por sus siglas en inglés) ofrece un paradigma para entrenar modelos de aprendizaje automático sin centralizar los datos brutos, sigue siendo vulnerable a amenazas de seguridad y privacidad. Específicamente, las actualizaciones de los modelos transmitidas entre los clientes y el servidor central pueden ser interceptadas para realizar ataques de inferencia de modelos o de reconstrucción de datos, lo que podría filtrar información sensible sobre los conjuntos de datos locales. Además, el propio servidor central presenta un punto único de falla. Los enfoques existentes suelen tener dificultades para equilibrar los rigurosos requisitos de la privacidad de los datos con la necesidad de una alta precisión del modelo y eficiencia computacional, particularmente en dominios sensibles como la salud y las finanzas.

Metodología
Este estudio propone una arquitectura de FL híbrida que integra el Cifrado Homomórfico (HE) y la Privacidad Diferencial (DP) para asegurar el proceso de entrenamiento.

• Arquitectura y Cifrado: El sistema utiliza el esquema de cifrado homomórfico CKKS (Cheon-Kim-Kim-Song). Se seleccionó CKKS por su capacidad para realizar computaciones aproximadas sobre números de punto flotante cifrados, lo cual es esencial para las operaciones de redes neuronales. En este flujo de trabajo, los clientes realizan el entrenamiento local sobre sus datos. En lugar de enviar los pesos en texto plano, los clientes cifran sus actualizaciones de modelo utilizando CKKS antes de la transmisión. El servidor central agrega estas actualizaciones cifradas utilizando el algoritmo de Promedio Federado (FedAvg). El resultado agregado se desencripta para actualizar el modelo global, asegurando que el servidor nunca acceda a los parámetros del modelo en texto plano.

• Privacidad Diferencial: Para evitar la extracción de información individual de las actualizaciones del modelo, el estudio emplea mecanismos de DP durante la fase de entrenamiento local. Utilizando la biblioteca PrivacyEngine, se añade ruido aleatorio a los gradientes. El sistema opera bajo restricciones de privacidad $(\epsilon, \delta)$, con parámetros específicos establecidos en $\sigma=5.0$ (multiplicador de ruido), norma máxima de gradiente de $0.5$y$\delta=10^{-5}$.

• Configuración Experimental: La arquitectura propuesta fue evaluada en tres conjuntos de datos distintos:

  1. Estudio de Corazón de Framingham: Para la predicción de enfermedades cardiovasculares (4,240 muestras).
  2. Pima Indians Diabetes (PID): Para la predicción de diabetes (768 muestras).
  3. Marketing Bancario (Bank Marketing): Para la predicción de suscripción de clientes (41,188 muestras).

  Los experimentos simularon un entorno descentralizado con un número variable de clientes (3, 5 y 10). Se entrenó una Red Neuronal Artificial (ANN) multicapa con tres capas totalmente conectadas (256 y 128 neuronas en las capas ocultas) para 5 épocas locales por ronda durante 10 rondas globales.

Contribuciones Clave

1. Marco de Seguridad Integrado: El artículo demuestra un sistema de FL funcional que aplica simultáneamente el cifrado homomórfico basado en CKKS para la transmisión segura y DP para la protección de gradientes locales.
2. Análisis Empírico de las Compensaciones entre Privacidad y Precisión: El estudio proporciona un análisis detallado de cómo el aumento del número de clientes y la duración del entrenamiento (número de rondas) impacta el presupuesto de privacidad ($\epsilon$). Se observa que a medida que aumenta el número de clientes o disminuyen los tamaños de los conjuntos de datos, el presupuesto de privacidad se consume más rápidamente debido a la mayor necesidad de adición de ruido por cliente.
3. Evaluación de Desempeño: La investigación cuantifica el impacto de estas medidas de seguridad en el desempeño del modelo (Precisión, Exactitud, Recall, F1-score) a través de diferentes distribuciones de datos y recuentos de clientes.

Resultados Experimentales

• Presupuesto de Privacidad ($\epsilon$): El estudio encontró una correlación directa entre el número de clientes y el presupuesto de privacidad. Por ejemplo, en el conjunto de datos de Bank, aumentar los clientes de 3 a 10 resultó en que el valor de $\epsilon$ en la Ronda 10 casi se duplicara (de 0.3566 a 0.6785). Del mismo modo, los conjuntos de datos más pequeños (como PID) exhibieron valores de $\epsilon$ más altos en comparación con los conjuntos de datos más grandes (como Bank) bajo las mismas configuraciones de clientes, lo que indica que la heterogeneidad de los datos y el tamaño de la muestra influyen significativamente en el consumo de privacidad.
• Exactitud del Modelo: La integración de DP resultó en una disminución medible, aunque ligera, en la exactitud del modelo en comparación con las líneas base no privadas.
  • Conjunto de Datos de Bank: Mostró la mayor robustez, logrando un 81.85% de exactitud con DP (3 clientes) frente al 86.20% sin DP.
  • Conjunto de Datos PID: Mostró una caída más pronunciada, con un 72.00% de exactitud con DP (3 clientes) frente al 75.00% sin él.
  • Conjunto de Datos de Framingham: Logró un 69.92% de exactitud con DP (3 clientes) frente al 71.47% sin él.
• Conclusión sobre las Compensaciones: Los resultados confirman que, si bien las técnicas de preservación de la privacidad introducen un costo de desempeño, el sistema mantiene niveles de exactitud significativos, particularmente en conjuntos de datos más grandes como los de Bank Marketing.

Significancia y Reivindicaciones
Los autores afirman que esta arquitectura demuestra la viabilidad de desplegar IA segura y con preservación de la privacidad en sectores sensibles como la salud y las finanzas sin depender de la recolección de datos centralizada. El estudio concluye que, si bien la heterogeneidad de los datos y el número de clientes afectan significativamente el desempeño del modelo, estrategias como la selección cuidadosa de los parámetros de DP y el uso de conjuntos de datos más grandes pueden mitigar las pérdidas de eficiencia.

El artículo reconoce modestamente sus limitaciones, señalando que los experimentos se realizaron en un entorno simulado con un número pequeño de clientes (3, 5, 10) y conjuntos de datos locales relativamente grandes. Los autores afirman que en escenarios del mundo real con miles de clientes y datos locales dispersos, se anticipa una degradación del desempeño. Por consiguiente, el artículo posiciona sus hallazgos como un paso fundacional, sugiriendo que el trabajo futuro debe abordar la escalabilidad, la eficiencia de comunicación y algoritmos de agregación avanzados para materializar plenamente el potencial del FL con preservación de la privacidad en aplicaciones de gran escala.