Résumé Technique : Analyse de la Confidentialité Différentielle Convergente pour l'Apprentissage Fédéré Général

1. Énoncé du Problème

L'apprentissage fédéré (FL) combiné à la confidentialité différentielle (DP) offre un paradigme pour entraîner des modèles sur des données privées clients à grande échelle sans fuite directe de données. Cependant, les analyses théoriques existantes des cadres FL-DP reposent fortement sur le théorème de composition (par exemple, $(\epsilon, \delta)$-DP ou DP de Rényi). Ces approches traditionnelles produisent généralement des bornes de confidentialité qui divergent (deviennent arbitrairement lâches) à mesure que le nombre de rounds de communication $T$ augmente.

Cette divergence implique une conclusion contre-intuitive et non étayée empiriquement : les cadres FL-DP pourraient éventuellement perdre toute capacité de protection de la confidentialité sous des perturbations bruyantes de niveau constant lors d'un entraînement à long terme. Cela crée un écart significatif entre les prédictions théoriques (suggérant un échec inévitable de la confidentialité) et les résultats expérimentaux (qui montrent souvent une confidentialité stable). Le défi central réside dans l'analyse de la confidentialité des méthodes FL avec des objectifs non convexes et des mises à jour locales hétérogènes, où l'entraînement local multi-étapes introduit des modèles biaisés qui complexifient l'analyse de sensibilité standard.

2. Méthodologie

Les auteurs proposent une analyse complète basée sur la Confidentialité Différentielle $f$ ($f$-DP), en utilisant spécifiquement la Confidentialité Différentielle Gaussienne (GDP), qui offre une définition de la confidentialité sans perte informationnelle via le compromis entre les erreurs de type I et de type II dans les tests d'hypothèses.

Les composants méthodologiques clés incluent :

• Technique d'Interpolation Décalée : Pour éviter les bornes lâches associées à l'amplification de la confidentialité standard par itération, l'article adopte une séquence d'interpolation décalée. Au lieu d'analyser la relation directe entre les modèles globaux sur des jeux de données adjacents sur $T$ rounds, les auteurs définissent une séquence auxiliaire $\tilde{w}_t$ qui interpole entre les trajectoires des deux jeux de données adjacents. Cela permet une analyse d'amplification de la confidentialité plus serrée sur un intervalle spécifique $[t_0, T]$.
• Décomposition de la Sensibilité Globale : Le terme de sensibilité globale $\|\phi(w_t) - \phi'(\tilde{w}_t)\|$ est décomposé en deux composantes :
  1. Sensibilité des Données : L'erreur résultant de l'entraînement sur des jeux de données différents à partir de la même initialisation.
  2. Sensibilité du Modèle : L'erreur résultant de l'entraînement sur le même jeu de données à partir d'initialisations différentes.
     Les auteurs dérivent des bornes spécifiques pour ces sensibilités sous les algorithmes Noisy-FedAvg et Noisy-FedProx.
• Optimisation des Coefficients d'Interpolation : La borne de confidentialité est formulée comme un problème de minimisation sur les coefficients d'interpolation $\lambda_t$ et un round de départ $t_0$. Pour assurer la convergence, les auteurs relâchent le problème en fixant $t_0 = 0$, éliminant ainsi la divergence causée par l'écart de stabilité initial tout en maintenant une borne serrée sur la sensibilité accumulée.
• Stratégies de Taux d'Apprentissage : L'analyse couvre quatre stratégies distinctes de décroissance du taux d'apprentissage : constante, décroissance cyclique, décroissance par étapes et décroissance itérative.

3. Contributions Clés

L'article fournit la première analyse de confidentialité convergente pour les méthodes FL-DP générales sous des objectifs non convexes et lisses. Les contributions spécifiques sont :

• Confidentialité Convergente pour Noisy-FedAvg : Les auteurs prouvent que la confidentialité au pire cas de Noisy-FedAvg ne diverge pas par rapport au nombre de rounds de communication $T$. Ils fournissent des bornes convergentes serrées pour quatre stratégies différentes de décroissance du taux d'apprentissage. Cela remet en question la croyance de longue date selon laquelle les budgets de confidentialité doivent augmenter indéfiniment avec la durée de l'entraînement.
• Confidentialité Stable pour Noisy-FedProx : En analysant le terme proximal dans Noisy-FedProx, les auteurs démontrent que la confidentialité au pire cas converge vers une borne inférieure constante générale. Ils montrent que le coefficient proximal $\alpha$ agit comme un régularisateur qui peut découpler la confidentialité de l'intervalle d'entraînement local $K$, à condition que $\alpha > L$ (où $L$ est la constante de lissage).
• Agnosticisme du Cadre : Les bornes $f$-DP dérivées peuvent être converties sans perte vers d'autres cadres standards, y compris $(\epsilon, \delta)$-DP et DP de Rényi (RDP), offrant des compréhensions fines pour les systèmes FL-DP existants.
• Résolution Théorique de la Discrepance : L'analyse résout l'écart entre la divergence théorique et la stabilité empirique, démontrant que le bruit de niveau constant suffit à maintenir des garanties de confidentialité convergentes dans le FL.

4. Résultats

Les résultats théoriques sont résumés dans le Tableau 1 et le Tableau 3 de l'article :

• Noisy-FedAvg :
  • Sous des taux d'apprentissage constants, la borne de confidentialité converge vers une valeur dépendante de $K$, $m$ (échelle des clients) et $\sigma$ (bruit), mais reste bornée lorsque $T \to \infty$.
  • Sous des taux d'apprentissage décroissants par étapes et itérativement, la borne de confidentialité converge vers une forme proportionnelle à $\sqrt{2 - 1/T}$, assurant la convergence.
  • Les bornes sont plus serrées que les travaux précédents qui exigeaient souvent que la variance du bruit $\sigma^2$ évolue avec $T$ ou $TK$.
• Noisy-FedProx :
  • La borne de confidentialité converge vers une borne inférieure constante indépendante de $T$ et $K$.
  • La borne est inversement proportionnelle à $\sqrt{\alpha}$, indiquant qu'un coefficient proximal $\alpha$ plus grand améliore significativement la confidentialité (réduit la sensibilité) sans nécessiter d'augmentation du bruit.
• Validation Empirique :
  • Les expériences sur MNIST et CIFAR-10 avec LeNet-5 et ResNet-18 confirment que la sensibilité globale se stabilise à mesure que l'entraînement progresse, indépendamment de $T$ ou $K$.
  • Les études de sensibilité montrent que l'augmentation du nombre de clients ($m$) réduit la sensibilité ($O(1/\sqrt{m})$), tandis que l'intervalle local $K$ affecte le taux de convergence mais pas la borne asymptotique.
  • Les attaques par inférence d'appartenance et inversion de gradient confirment que les taux de réussite des attaques se stabilisent plutôt que d'approcher 100 % sous un bruit constant, validant la théorie de la confidentialité convergente.

5. Signification

L'article prétend établir une base théorique solide pour la fiabilité de la confidentialité dans les cadres FL-DP. Sa signification réside dans :

1. Correction des Idées Reçues Théoriques : Il réfute l'inférence selon laquelle le FL-DP perd inévitablement la protection de la confidentialité lors d'un entraînement à long terme sous un bruit constant, alignant la théorie sur les observations empiriques.
2. Permettre l'Entraînement à Long Terme : En prouvant des bornes convergentes, le travail suggère que les systèmes FL peuvent fonctionner pendant de longues périodes sans nécessiter d'augmentations illimitées de l'intensité du bruit, ce qui dégraderait autrement l'utilité du modèle.
3. Compromis Optimisation-Confidentialité : L'analyse de Noisy-FedProx révèle que la régularisation locale (le terme proximal) peut servir de mécanisme pour atteindre une solution "gagnant-gagnant", améliorant simultanément la stabilité de l'optimisation et les garanties de confidentialité.
4. Guidance de Conception : Les résultats fournissent des informations exploitables pour la conception de systèmes FL, tels que les avantages des échelles de clients plus grandes et la sélection stratégique de la décroissance du taux d'apprentissage et des coefficients proximaux pour maximiser la confidentialité sans compromettre la convergence.

Les auteurs concluent que leur travail comble une lacune théorique critique, démontrant que des interactions locales et globales correctement structurées dans le FL peuvent préserver des assurances de confidentialité rigoureuses sans compromettre fondamentalement le cadre d'apprentissage.