Towards Explainable Privacy Preservation in Federated Learning via Shapley Value-Guided Noise Injection

1. Problématique

Le Federated Learning (FL) permet d'entraîner des modèles de manière collaborative sans partager les données brutes, mais il reste vulnérable à des attaques sophistiquées (inversion de modèle, inférence d'appartenance, reconstruction de données) même lorsque les participants sont « honnêtes mais curieux ».

Pour contrer ces menaces, la Privacité Différentielle (DP) est utilisée en injectant du bruit dans les mises à jour locales. Cependant, les mécanismes DP existants souffrent de deux limitations majeures :

• Manque d'explicabilité : Le niveau de bruit est souvent déterminé par des heuristiques (progression de l'entraînement, nombre de clients) sans lien clair avec la contribution réelle des données privées à la performance du modèle.
• Compromis sous-optimal : Cette opacité conduit soit à un bruit excessif (dégradation de l'utilité du modèle), soit à un bruit insuffisant (protection inadéquate).

L'objectif est donc de concevoir un mécanisme de DP explicable et précis, où le bruit injecté est directement guidé par la contribution quantifiable des attributs privés.

2. Méthodologie : FedSVA

Les auteurs proposent FedSVA, un mécanisme de protection de la vie privée qui intègre les Valeurs de Shapley (théorie des jeux coopératifs) pour guider l'injection de bruit. Le processus se déroule côté client en trois étapes principales :

A. Module d'Estimation de la Vie Privée (Privacy Estimation - PE)

• Partitionnement : Chaque client divise son jeu de données local $D_i$ en sous-ensembles basés sur des attributs (ex: attributs privés $D^p_i$ vs non-privés $D^a_i$).
• Calcul des Valeurs de Shapley : Pour quantifier l'influence des attributs privés sur l'apprentissage local, le client évalue la contribution de chaque attribut en utilisant les Valeurs de Shapley. Cela implique de former des modèles auxiliaires sur différentes combinaisons d'attributs et de mesurer leur utilité (précision de validation).
• Taux de Contribution ($R^p_i$) : La valeur de Shapley des attributs privés est normalisée par rapport à la somme totale des contributions pour obtenir un taux $R^p_i$. Un $R^p_i$ élevé indique que les données privées sont cruciales pour la performance du modèle.

B. Module d'Injection de Bruit (Noise Injection - NI)

• Ajustement Dynamique : Le bruit gaussien injecté n'est pas fixe. Sa variance $\sigma_i^2$ est calibrée dynamiquement en fonction de $R^p_i$.
• Formule de calibrage : La tolérance au risque de fuite est définie comme $T^p_i = R^p_i - \ln(\delta^2)$. La déviation standard du bruit est alors calculée comme :
  $$\sigma_i = \frac{2C\sqrt{\max(T^p_i, \beta_i)}}{\epsilon |D_i|}$$
  où $C$ est la norme de clipping des gradients, $\epsilon$ le budget de confidentialité, et $\beta_i$ une base minimale de protection.
• Principe : Si la contribution des données privées est faible, moins de bruit est injecté (préservant l'utilité). Si la contribution est forte, le bruit augmente pour assurer une protection stricte.

C. Analyse Théorique

• Garantie de DP : FedSVA offre une garantie $(\epsilon, \delta')$-DP par tour, où $\delta'$ dépend de $R^p_i$.
• Convergence : L'article prouve que FedSVA converge sous des hypothèses standards (fonction de perte lisse, gradients bornés). La borne d'erreur dépend quadratiquement du nombre de clients sélectionnés et linéairement du bruit injecté, confirmant que la convergence est maintenue malgré l'ajout de bruit.

3. Contributions Clés

1. Premier mécanisme explicite : FedSVA est la première approche FL reliant explicitement l'injection de bruit DP aux contributions des attributs via les Valeurs de Shapley.
2. Analyse théorique rigoureuse : Fourniture de garanties formelles de confidentialité et d'une analyse de convergence pour l'optimisation fédérée.
3. Performance supérieure : Démonstration expérimentale d'un compromis vie privée/utilité (privacy-utility trade-off) supérieur aux méthodes de l'état de l'art.

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR-10 (avec ResNet-18) et FEMNIST (avec CNN), en présence de clients « honnêtes mais curieux » lançant des attaques de reconstruction via ACGAN.

• Précision (Utilité) : FedSVA surpasse systématiquement les méthodes de référence (NbAFL, TV DP, Sens DP, DPA DP).
  • Exemple : Sur CIFAR-10 avec $\epsilon = 0.2$, FedSVA atteint 75,98 % de précision finale, contre 65,21 % pour DPA DP et 48,67 % pour NbAFL.
• Injection de Bruit : FedSVA injecte significativement moins de bruit que les méthodes statiques et ajuste plus précisément le bruit que les méthodes dynamiques existantes, en ne le faisant que lorsque la contribution privée est significative.
• Défense contre les attaques : FedSVA offre une protection robuste contre les attaques de reconstruction. Bien qu'il injecte moins de bruit, il augmente le score FID (Frechet Inception Distance) de 149 % par rapport au modèle FedAvg non protégé, rendant les images reconstruites illisibles.
• Efficacité : Le partitionnement binaire ($N=2$ : privé vs non-privé) offre le meilleur équilibre entre précision et temps de calcul. Des partitions plus fines augmentent la complexité computationnelle de manière exponentielle sans gain de précision significatif.

5. Signification et Conclusion

FedSVA représente une avancée majeure vers une confidentialité explicable dans le Federated Learning. En remplaçant les heuristiques aveugles par une quantification mathématique de la contribution des données privées, le système permet de :

• Minimiser la dégradation de la performance du modèle (utilité).
• Garantir une protection stricte là où elle est réellement nécessaire.
• Fournir une justification transparente des niveaux de bruit appliqués.

L'article conclut que FedSVA atteint un état de l'art dans le compromis vie privée/utilité et suggère que les travaux futurs se concentreront sur l'approximation des calculs de Shapley pour réduire la complexité et permettre un déploiement à grande échelle.