Résumé Technique : Apprentissage Modulé pour la Régression Privée et Distribuée avec un Échantillon par Client

Énoncé du Problème

Ce travail aborde une limitation critique des paradigmes standards d'Apprentissage Fédéré (FL) et d'apprentissage à Différentielle Privée (DP) : l'hypothèse selon laquelle les appareils clients possèdent des ensembles de données locaux suffisamment grands pour calculer des mises à jour de gradient significatives. Dans de nombreux scénarios réels — tels que les trackers de fitness, les capteurs portés sur le corps et les moniteurs d'événements quotidiens — les clients ne peuvent détenir qu'un seul échantillon de données (ou très peu).

Dans ce régime « un échantillon par client », le FL standard basé sur DP-SGD échoue car :

1. Mises à jour locales peu fiables : Un gradient local calculé sur un seul point est extrêmement bruyant et peu fiable pour estimer les coefficients du modèle, en particulier lors des premières étapes de l'entraînement.
2. Amplification du bruit de confidentialité : Le bruit injecté pour satisfaire la différentielle privée dégrade davantage l'utilité de ces mises à jour locales déjà faibles, rendant la convergence du modèle global inefficace.

L'article pose la question suivante : Pouvons-nous permettre un apprentissage distribué utile et à différentielle privée lorsque chaque client ne contribue qu'un seul point de données ?

Méthodologie

Les auteurs proposent un cadre d'Apprentissage Modulé. Au lieu que les clients envoient des coefficients de modèle (comme dans le FL standard) ou des gradients bruts, les clients transmettent une représentation transformée de manière privée de leur unique échantillon de données. Le serveur agrège ensuite ces représentations pour récupérer une estimation non biaisée du gradient centralisé.

Mécanisme Central : Transformation Modulée par Cosinus

Le protocole fonctionne par rounds. À chaque round $t$, le serveur maintient un modèle global $\beta_t$ et sélectionne une direction de modulation $v_t$ (orthogonale à $\beta_t$).

1. Traitement côté Client :
Étant donné un échantillon privé $(x_i, y_i)$, le client effectue les étapes suivantes :

• Modulation : Le client échantillonne une phase aléatoire $\phi_i \sim \text{Unif}[0, 2\pi]$ et calcule un vecteur de caractéristiques modulé :
  $$g_i = (1 - \alpha)x_i + \lambda \cos(\omega \langle x_i, v_t \rangle + \phi_i) v_t$$
  Ici, $\alpha, \lambda, \omega$ sont des hyperparamètres. Le terme $(1-\alpha)x_i$ préserve le signal, tandis que le terme cosinus introduit une perturbation contractive préservant la confidentialité.
• Injection de bruit : Pour garantir la confidentialité différentielle locale (LDP) $(\epsilon, \delta)$, le client ajoute un bruit gaussien $\xi_i \sim \mathcal{N}(0, \sigma_{DP}^2 I)$ :
  $$\tilde{g}_i = g_i + \xi_i$$
• Transmission : Le client envoie la paire $(\tilde{g}_i, y_i)$ au serveur. Notez que $y_i$ est traité comme public/non sensible dans cette configuration spécifique, tandis que $x_i$ est l'entrée privée.

2. Agrégation et Débiaisage côté Serveur :
Le serveur reçoit $\{(\tilde{g}_i, y_i)\}_{i=1}^K$ et effectue des corrections algébriques pour éliminer le biais introduit par la modulation et le bruit :

• Estimation de la covariance : Le serveur calcule la covariance empirique des caractéristiques reçues et soustrait les termes de biais connus (la variance de modulation et la variance du bruit) :
  $$\hat{\Sigma}_x = \frac{1}{(1-\alpha)^2} \left( \frac{1}{K}\sum \tilde{g}_i \tilde{g}_i^\top - \frac{\lambda^2}{2} v_t v_t^\top - \sigma_{DP}^2 I \right)$$
  Le théorème 3.1 et le corollaire 3.2 prouvent que $\hat{\Sigma}_x$ est un estimateur non biaisé de la vraie covariance des données $\Sigma_x = \frac{1}{K}\sum x_i x_i^\top$.
• Récupération du gradient : Le serveur construit un estimateur de gradient non biaisé $G$ :
  $$G = \hat{\Sigma}_x \beta_t - \frac{1}{1-\alpha} \frac{1}{K} \sum y_i \tilde{g}_i$$
  Ce $G$ satisfait $\mathbb{E}[G] = \nabla L(\beta_t)$, correspondant au gradient centralisé non privé en espérance.

Variantes

• Modulation Multi-Vecteurs : Pour réduire la constante de Lipschitz (et donc le bruit requis $\sigma_{DP}$), les auteurs généralisent la méthode pour utiliser $m$ vecteurs orthonormés. Cela réduit la borne de sensibilité de $|1-\alpha| + \lambda\omega$ à $|1-\alpha| + \frac{\lambda\omega}{\sqrt{m}}$.
• Estimateur Non Itératif (One-Shot) : L'article dérive également un estimateur de moments sous forme fermée qui résout $\beta$ en une seule étape, évitant ainsi les coûts de composition de confidentialité des méthodes itératives.

Contributions Clés

1. Estimation de Gradient Non Biaisée à partir d'Échantillons Uniques : L'article démontre que, en transformant les données via une carte spécifique modulée par cosinus et en appliquant un débiaisage post-traitement, un serveur peut récupérer une estimation de gradient non biaisée même lorsque les clients ne détiennent qu'un seul échantillon chacun.
2. Optimisation du Compromis Confidentialité-Utilité :
   • La méthode établit une borne inférieure de Cramér-Rao sur l'erreur de reconstruction, prouvant que les paramètres de modulation ($\lambda, \omega$) augmentent activement la difficulté de reconstruire l'entrée privée $x_i$ au-delà de la protection offerte par le bruit gaussien seul.
   • La variante multi-vecteurs est montrée pour réduire la variance de bruit requise par un facteur lié à $\sqrt{m}$, améliorant l'utilité pour un budget de confidentialité fixe.
3. Garanties Théoriques :
   • Non-biais : Preuve rigoureuse que l'estimateur du serveur est non biaisé.
   • Convergence : L'article établit la normalité asymptotique de l'estimateur et dérive des bornes de variance, montrant les taux de convergence pour la descente de gradient stochastique projetée.
   • Comptabilité de la Confidentialité : La méthode utilise une comptabilité de différentielle privée concentrée à zéro (zCDP), qui offre des bornes de composition plus serrées que la DP standard $(\epsilon, \delta)$ pour les rounds séquentiels.
4. Bornes Inférieures de Reconstruction : Les auteurs dérivent une borne inférieure théorique sur l'erreur quadratique moyenne de tout attaquant non biaisé tentant de reconstruire $x_i$ à partir du message transmis, quantifiant directement la protection de la confidentialité en termes de paramètres du protocole.

Résultats Expérimentaux

Les auteurs ont évalué l'approche sur cinq ensembles de données de régression réels (par exemple, émissions de CO2, équité dans la durée du mariage, choix de mode) où chaque exemple d'entraînement était traité comme un client distinct.

• Comparaison : Les estimateurs Modulé Itératif et Modulé One-Shot proposés ont été comparés à une base de référence DP-SGD FedAvg ajustée.
• Constats :
  • Confidentialité Élevée (Faible $\epsilon$) : L'estimateur Modulé One-Shot a surpassé les méthodes itératives. Parce qu'il repose sur une seule publication privée, il évite la perte de confidentialité cumulative (composition) inhérente au DP-SGD itératif, le rendant plus robuste lorsque le budget de confidentialité est extrêmement serré.
  • Confidentialité Modérée/Faible (Forte $\epsilon$) : L'estimateur Modulé Itératif s'est amélioré régulièrement avec plus de rounds et a fini par surpasser la méthode one-shot et la base de référence DP-SGD sur la plupart des tâches.
  • Performance de la Base de Référence : Le DP-SGD a considérablement peiné dans ce régime car le bruit nécessaire pour protéger un seul échantillon par round, cumulé sur plusieurs rounds, a submergé le signal.

Importance et Revendications

L'article prétend résoudre un régime spécifique où l'apprentissage fédéré standard est inapplicable : l'apprentissage à partir d'appareils avec des données extrêmement limitées (un échantillon) sous des contraintes de confidentialité strictes.

• Changement de Paradigme : Contrairement au FL privé traditionnel qui partage des mises à jour de modèle (gradients/poids), cette approche partage des représentations de données privatisées. Ce changement permet au serveur d'effectuer des corrections statistiques globales impossibles lorsque les clients n'envoient que des gradients locaux bruités.
• Praticité : La méthode permet aux appareils disposant de données minimales d'apprendre collaborativement des modèles de régression précis sans sacrifier la confidentialité individuelle ni exiger de grands ensembles de données locaux.
• Rigueur Théorique : Le travail fournit un cadre théorique complet, incluant des preuves de non-biais, une analyse de variance, des garanties de convergence et des bornes inférieures de reconstruction, établissant que la méthode n'est pas seulement heuristique mais statistiquement solide.

Les auteurs concluent que cette approche rend possible le déploiement de l'apprentissage automatique préservant la confidentialité dans des scénarios précédemment considérés comme impossibles en raison de la rareté des données et des exigences de confidentialité.