Towards Explainable Privacy Preservation in Federated Learning via Shapley Value-Guided Noise Injection

Resumen Técnico: FedSVA

1. Planteamiento del Problema

El Aprendizaje Federado (FL) permite entrenar modelos colaborativos sin compartir datos locales, pero sigue siendo vulnerable a ataques de privacidad sofisticados, como la inversión de modelos y la inferencia de pertenencia, donde adversarios pueden reconstruir datos sensibles a partir de las actualizaciones del modelo.

Para mitigar esto, se utiliza la Privacidad Diferencial (DP), que inyecta ruido calibrado en las actualizaciones del modelo. Sin embargo, los métodos actuales de DP en FL presentan dos deficiencias críticas:

• Falta de explicabilidad: La escala del ruido se determina mediante heurísticas o factores indirectos (como el progreso del entrenamiento o calendarios de tiempo), sin una conexión clara con la contribución real de los datos privados.
• Compromiso subóptimo entre privacidad y utilidad: Esto lleva a dos escenarios negativos: inyección excesiva de ruido que degrada la precisión del modelo, o ruido insuficiente que deja vulnerabilidades de seguridad.

El objetivo es desarrollar un mecanismo de programación de ruido dinámico que sea explicable, preciso y guiado por la contribución real de los atributos privados al entrenamiento.

2. Metodología: FedSVA

Los autores proponen FedSVA, un mecanismo de privacidad basado en DP que integra Valores de Shapley (de la teoría de juegos cooperativos) para cuantificar la influencia de los atributos de datos en el aprendizaje local.

El sistema opera en cada cliente mediante dos módulos principales:

• Módulo de Estimación de Privacidad (PE):

  • Divide el conjunto de datos local del cliente en subconjuntos basados en atributos (ej. datos privados vs. no privados).
  • Utiliza los Valores de Shapley para calcular la contribución marginal de cada atributo al rendimiento del modelo (precisión de validación local).
  • Calcula una tasa de contribución de privacidad ($R^p_i$), que representa qué tan crítico es el subconjunto de datos privados para el entrenamiento actual.

• Módulo de Inyección de Ruido (NI):

  • Mapea la tasa de contribución $R^p_i$ a la varianza del ruido gaussiano ($\sigma^2_i$).
  • Lógica dinámica: Si los datos privados tienen una alta contribución al modelo, se inyecta más ruido para garantizar una protección estricta. Si la contribución es baja, se reduce el ruido para preservar la utilidad del modelo.
  • Esto asegura garantías formales de DP $(\epsilon, \delta)$ adaptadas al riesgo real de cada ronda de entrenamiento.

3. Contribuciones Clave

1. Primer mecanismo explicable: FedSVA es el primer enfoque en FL que integra Valores de Shapley con Privacidad Diferencial para crear una estrategia de inyección de ruido interpretable y basada en la contribución de los datos.
2. Análisis teórico riguroso:
   • Se proveen garantías formales de privacidad $(\epsilon, \delta')$ por ronda y compuestas a lo largo de $T$ rondas.
   • Se demuestra la convergencia del algoritmo de optimización federada bajo la presencia de ruido acotado, estableciendo límites superiores para el error de pérdida.
3. Rendimiento superior: Validación experimental que demuestra un equilibrio privacidad-utilidad mejorado frente a los métodos más avanzados (SOTA), junto con una defensa robusta contra ataques de reconstrucción.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos CIFAR-10 (con ResNet-18) y FEMNIST (con CNN), comparando FedSVA contra cuatro métodos de referencia (NbAFL, TV DP, Sens DP, DPA DP).

• Precisión (Utilidad): FedSVA superó consistentemente a todos los métodos de referencia en todas las configuraciones de presupuesto de privacidad ($\epsilon$).
  • Ejemplo: En CIFAR-10 con $\epsilon=0.2$, FedSVA alcanzó una precisión final del 75.98%, superando significativamente a DPA DP (65.21%) y NbAFL (48.67%).
• Eficiencia del Ruido: FedSVA inyecta sustancialmente menos ruido que los métodos estáticos y logra una programación más precisa que los métodos dinámicos existentes, inyectando ruido solo cuando la contribución de los datos privados es significativa.
• Defensa contra Ataques: Frente a ataques de reconstrucción basados en ACGAN, FedSVA logró un aumento del 149.07% en la distancia FID (Fréchet Inception Distance) en comparación con el modelo sin privacidad (FedAvg), demostrando una protección efectiva sin necesidad de ruido excesivo.
• Análisis de Granularidad: Se evaluó el impacto de dividir los datos en $N$ atributos. Se encontró que la partición binaria ($N=2$: privado vs. no privado) ofrece el mejor equilibrio entre precisión y tiempo de cómputo, ya que particiones más finas aumentan exponencialmente el costo computacional de los Valores de Shapley sin ganancias significativas en precisión.

5. Significado e Impacto

Este trabajo es significativo porque aborda la "caja negra" de la privacidad en el Aprendizaje Federado. Al vincular directamente la cantidad de ruido con la contribución cuantificable de los datos privados, FedSVA ofrece:

• Transparencia: Los administradores del sistema pueden entender por qué se inyecta una cierta cantidad de ruido en cada ronda.
• Eficiencia: Maximiza la utilidad del modelo minimizando el ruido innecesario, lo cual es crucial para aplicaciones del mundo real donde la precisión es vital.
• Escalabilidad: Aunque el cálculo de Shapley es costoso, el estudio sugiere que una granularidad simple ($N=2$) es suficiente para obtener beneficios sustanciales sin sobrecargar el sistema, y el costo es puramente computacional local, sin añadir sobrecarga de comunicación.

En conclusión, FedSVA representa un avance hacia mecanismos de privacidad más inteligentes, explicables y eficientes en entornos de aprendizaje federado.