Privacy-Utility Tradeoffs in Hierarchical Federated Learning Under Combined Differential Privacy and CKKS Homomorphic Encryption for Distributed Healthcare Networks

Résumé Technique : Compromis Vie Privée-Utilité dans l'Apprentissage Fédéré Hiérarchique sous la Combine de la Confidentialité Différentielle et du Chiffrement Homomorphe CKKS

Énoncé du Problème

L'intégration de l'Intelligence Artificielle dans le secteur de la santé fait face à des obstacles opérationnels majeurs concernant la confidentialité et la sécurité des données. Les systèmes centralisés présentent des points de défaillance uniques, risquant de violer des réglementations telles que le RGPD et la loi HIPAA. Bien que l'Apprentissage Fédéré (FL) permette un entraînement collaboratif sans partage de données brutes, les approches de préservation de la vie privée existantes traitent souvent la Confidentialité Différentielle (DP) et le Chiffrement Homomorphe (HE) de manière isolée.

• Les implémentations uniquement basées sur la DP protègent contre les attaques par inférence sur les mises à jour du modèle, mais laissent les paramètres en clair exposés lors de la transmission, échouant ainsi à garantir la confidentialité de la transmission.
• Les schémas uniquement basés sur le HE sécurisent la transmission mais échouent souvent à quantifier le coût de précision lié à l'injection de bruit ou l'interaction entre le chiffrement et l'utilité du modèle.
• Des approches hybrides existent, mais manquent d'une évaluation systématique du compromis vie privée-utilité au sein d'un cadre d'Apprentissage Fédéré Hiérarchique (HFL) à travers diverses bourses de confidentialité ($\epsilon$).

Par conséquent, il existe une lacune non quantifiée concernant la question de savoir si la combinaison de la DP au niveau du client et du HE au niveau de l'institution introduit une dégradation de la précision mesurable au-delà du bruit d'injection de la DP, spécifiquement dans le contexte des réseaux de santé distribués.

Méthodologie

Les auteurs proposent un cadre HFL à trois niveaux conçu pour refléter la structure organisationnelle des réseaux de santé distribués (Clients $\to$ Institutions $\to$ Agrégateur Global). Le système intègre deux mécanismes de confidentialité distincts :

1. DP $(\epsilon, \delta)$ au niveau du client : Appliquée localement à chaque client avant la transmission. Cela implique l'écrêtage du gradient (à la norme $C$) et l'injection d'un bruit gaussien calibré ($\sigma$) pour limiter la fuite d'informations.
2. HE CKKS au niveau de l'institution : Le schéma Cheon-Kim-Kim-Song (CKKS) est appliqué pour chiffrer les mises à jour privatisées. Les institutions agrègent ces chiffrés directement en utilisant la propriété homomorphe additive de CKKS, ne déchiffrant que la moyenne pondérée finale avant de la transmettre à l'agrégateur global.

Configuration Expérimentale :

• Jeux de Données : MNIST (chiffres manuscrits) et MIT-BIH Arrhythmia (signaux ECG), représentant des modalités de formes d'ondes physiologiques et d'images.
• Topologie : Trois institutions, chacune comprenant trois clients.
• Bourses de Confidentialité : Évaluées pour $\epsilon \in \{2, 4, 6, 8\}$ avec $\delta = 10^{-5}$.
• Configuration : Les paramètres CKKS ont été fixés (degré de module polynomial 8192, $n_{slots}=4096$) pour toutes les expériences.
• Reproductibilité : Les résultats sont rapportés sous forme de moyenne $\pm$ écart type sur trois graines aléatoires indépendantes (42, 123, 7).

Principales Contributions

1. Cadre Intégré : Une architecture de FL hiérarchique qui impose la DP au niveau du client et le HE CKKS au niveau de l'institution, garantissant qu'aucune donnée brute ni mise à jour de modèle en clair n'est exposée.
2. Évaluation Empirique Systématique : Une évaluation rigoureuse du compromis vie privée-utilité à travers deux jeux de données pertinents pour la santé et quatre bourses de confidentialité.
3. Isolation de la Dégradation de l'Utilité : Une démonstration empirique que le HE CKKS introduit zéro perte de précision mesurable lorsqu'il est appliqué à l'agrégation des gradients. Cela isole le bruit de la DP comme seule source de dégradation de l'utilité, établissant une séparation claire entre les coûts de confidentialité (DP) et les coûts de secret (HE).

Résultats

Précision et Utilité :

• Performance de Référence : Le pipeline HFL a atteint une précision élevée sans mécanismes de confidentialité : $99,65\%$ (MNIST) et $97,73\%$ (MIT-BIH).
• Impact de la DP : La DP a introduit une perte de précision bornée.
  • MNIST : La perte variait de $1,88\%$ ($\epsilon=2$) à $1,25\%$ ($\epsilon=8$).
  • MIT-BIH : La perte variait de $12,23\%$ ($\epsilon=2$) à $6,15\%$ ($\epsilon=8$). La perte plus élevée dans MIT-BIH est attribuée à la sensibilité de la classification des formes d'ondes physiologiques à la perturbation des gradients par rapport aux motifs d'images.
• Impact du HE : La comparaison entre les configurations DP-seule et DP+HE n'a révélé aucun écart de direction dans la précision. Par exemple, à $\epsilon=2$, la précision de MNIST était identique ($97,77\%$) pour les deux configurations. La différence ($\Delta_{HE}$) était effectivement nulle ($0,00\%$ à $\pm 0,01\%$), confirmant que le chiffrement ne dégrade pas l'utilité du modèle.

Surcharge (Overhead) :

• Coût Computationnel : La surcharge du HE est concentrée au niveau du client.
  • Le chiffrement côté client a représenté la part dominante du temps (ex: $4,42$s pour MNIST, $9,74$s pour MIT-BIH par round).
  • L'agrégation et le déchiffrement au niveau de l'institution étaient légers ($1,00$s et $0,27$s pour MNIST, respectivement).
• Coût de Communication : La DP a augmenté la taille de la mise à jour du modèle d'environ $60\%$ en raison de l'injection de bruit. Le HE n'a introduit aucun coût de communication supplémentaire, car la taille du chiffré a été gérée dans la structure de surcharge existante.

Signification et Revendications

L'article affirme fournir un fondement empirique pour le déploiement du FL respectueux de la vie privée dans la santé en démontrant que :

1. La confidentialité peut être atteinte sans perte d'utilité : L'utilisation du HE CKKS sécurise la transmission et l'agrégation sans compromettre la performance prédictive, séparant le coût de la confidentialité du coût de la vie privée.
2. La DP est le principal goulot d'étranglement de l'utilité : Toute dégradation de la précision observée est attribuable au bruit de la DP, qui diminue de manière monotone à mesure que la bourse de confidentialité s'assouplit.
3. Reproductibilité : Les résultats sont stables entre les graines indépendantes, avec des écarts types inférieurs à $0,13\%$ pour MNIST et $1,31\%$ pour MIT-BIH.

Les auteurs notent des limitations, spécifiquement que l'utilisation de distributions de données IID équilibrées isole le signal de confidentialité de l'hétérogénéité des données, ce qui signifie que les pertes de précision rapportées représentent une limite inférieure pour les déploiements hétérogènes. De plus, le champ d'application actuel limite le HE au niveau client-institution, laissant le niveau institution-global pour de futures explorations via le Calcul Multi-Parties Sécurisé (SMPC). La résilience byzantine et l'auditabilité par blockchain sont explicitement exclues de ce travail.