Résumé technique : Quand un nombre réduit de coordonnées suffit-il en DP-SGD ?

Énoncé du problème

La descente de gradient stochastique avec confidentialité différentielle (DP-SGD) est la méthode standard pour l'entraînement de modèles d'apprentissage profond avec des garanties de confidentialité formelles. Cependant, elle souffre de limitations intrinsèques dans les contextes de haute dimensionnalité, particulièrement lors de l'entraînement à partir de zéro sans données publiques ou points de contrôle pré-entraînés. Le problème central est la dépendance à la dimensionnalité : le DP-SGD injecte un bruit gaussien isotrope sur l'ensemble des $d$ coordonnées des paramètres. L'espérance de la norme au carré de ce bruit augmente linéairement avec la dimension ambiante ($E[\|z\|^2] = d\sigma^2 C^2$). À mesure que la taille du modèle ($d$) augmente, l'énergie du bruit dégrade la convergence et l'utilité du modèle, affectant souvent de manière disproportionnée les domaines sensibles (par exemple, les dossiers cliniques) où des données de substitution publiques ne sont pas disponibles.

L'article examine si un entraînement privé peut être effectué en ne mettant à jour qu'un sous-ensemble de coordonnées ($k \ll d$) sans perdre le signal d'optimisation. Le défi central consiste à identifier un support de coordonnées à « haute énergie » (un ensemble de paramètres présentant une magnitude de gradient significative) en utilisant uniquement des données privatisées, de telle sorte que la réduction de l'énergie du bruit compense la perte de signal due au gel des $d-k$ coordonnées restantes.

Méthodologie : TP-TopK

Les auteurs proposent TP-TopK (Two-Phase TopK DP-SGD), un cadre d'entraînement privé à coordonnées éparses conçu pour le contexte « à partir de zéro, sans données publiques ». La méthode opère en deux phases :

Phase 1 : Mise en chauffe DP (Découverte du support)

• Processus : Le modèle subit une courte mise en chauffe (warm-up) en DP-SGD sur l'ensemble des paramètres pendant $T_1$ étapes.
• Évaluation (Scoring) : À chaque étape, les gradients par exemple sont écrêtés (clipped) et agrégés avec un bruit gaussien. L'algorithme accumule les carrés des gradients privatisés pour chaque coordonnée.
• Débruitage : Pour estimer le véritable signal de gradient, la variance du bruit accumulé est soustraite. Le score pour la coordonnée $p$ est calculé comme suit :
  $$a_p = \frac{1}{T_1} \sum_{t=1}^{T_1} \tilde{g}_{t,p}^2 - \left(\frac{\sigma_1 C_1}{B}\right)^2$$
  où le terme soustrait représente la variance du bruit DP par coordonnée.
• Sélection : Le support actif $A$ est sélectionné comme étant les $k$ coordonnées ayant les scores les plus élevés ($A = \text{TopK}(a, k)$).
• Confidentialité : Étant donné que les scores et la sélection du support sont des post-traitements déterministes du transcript privatisé, ils n'entraînent aucun coût de confidentialité supplémentaire.

Phase 2 : DP-SGD restreint au support

• Processus : L'entraînement se poursuit pendant $T_2$ étapes, mais l'optimiseur est restreint au support actif $A$.
• Mécanisme : Les gradients sont masqués sur $A$ avant l'écrêtage et l'injection de bruit. Un bruit gaussien est ajouté uniquement aux $k$ coordonnées actives.
• Réduction du bruit : L'énergie de bruit effective perçue par l'optimiseur passe de $d\sigma^2 C^2/B^2$ à $k\sigma^2 C^2/B^2$, ce qui réduit l'énergie du bruit par étape.

Contributions clés

1. Garanties théoriques

• Confidentialité : Les auteurs prouvent que TP-TopK satisfait la $(\varepsilon, \delta)$-différentielle confidentialité. Le coût total de confidentialité est la somme des coûts de la confidentialité de Rényi (RDP) des deux phases, l'étape de sélection du support n'entraînant aucun coût en raison de l'immunité par post-traitement.
• Convergence : Une borne de stationnarité non convexe est dérivée pour la Phase 2. La borne démontre que le terme de bruit DP dépend de la dimension active $k$ (ou $\bar{k}$ dans le cas général) plutôt que de la dimension complète $d$. La borne se décompose en progrès d'optimisation, biais d'écrêtage, variance de mini-lot et terme de perturbation DP réduit.
• Critère de qualité du support : Un critère en une étape est établi : la restriction de coordonnées est bénéfique si l'énergie de gradient rejetée sur les coordonnées gelées est inférieure à l'énergie de bruit DP économisée.
• Borne de fiabilité : Une borne de probabilité de mauvais classement (misranking) est fournie, montrant que le support appris surpasse de manière fiable la sélection aléatoire lorsque la durée de la mise en chauffe ($T_1$) est suffisante et que l'écart de signal entre les coordonnées est important par rapport au niveau de bruit.

2. Évaluation empirique

La méthode a été évaluée sur MNIST, Fashion-MNIST (FMNIST) et CIFAR-10, ainsi que sur une tâche d'imagerie médicale sensible (EyePACS pour la rétinopathie diabétique).

• Lignes de base (Baselines) : Comparaisons effectuées avec le DP-SGD complet, la sélection de coordonnées aléatoires (TP-Rand) et les variantes en ligne (ON-TopK, ON-Rand). Tous les modèles ont été appariés sur les ratios actifs, les budgets de confidentialité et les étapes d'entraînement.
• Résultats :
  • Appris vs Aléatoire : TP-TopK a systématiquement surpassé TP-Rand, avec les gains les plus importants observés sur le jeu de données complexe CIFAR-10 (ex: +1,23 % à $\varepsilon=1$).
  • Sparse vs Dense : TP-TopK a nettement surpassé le DP-SGD complet sur CIFAR-10 (jusqu'à +10,25 % à $\varepsilon=3$), démontrant que la réduction du bruit compense la perte de signal.
  • Domaine médical : Dans l'expérience EyePACS (entraîné à partir de zéro sans données publiques), le DP-SGD complet s'est effondré vers une prédiction de la classe majoritaire (Rappel $\approx$ 0,04). TP-TopK a permis de récupérer un rappel de la classe minoritaire de 0,52 tout en maintenant un AUC élevé, démontant une utilité dans les domaines critiques pour la confidentialité et pauvres en données.

Signification et affirmations

L'article affirme que TP-TopK fournit un mécanisme viable pour l'entraînement privé dans les contextes où les données publiques sont indisponibles, un scénario où les méthodes existantes de sous-espace ou de parcimonie échouent souvent.

• Atténuation du bruit : En restreignant l'injection de bruit à un support appris, la méthode réduit efficacement la « malédiction de la dimensionnalité » du DP-SGD sans nécessiter de données externes.
• Récupération du signal : La phase de mise en chauffe identifie avec succès les coordonnées à haute énergie en utilisant des gradients privatisés, permettant à la phase d'entraînement principale de concentrer les ressources de calcul et de confidentialité sur les paramètres les plus informatifs.
• Gestion des compromis : Le travail met en évidence un arbitrage entre le budget de confidentialité alloué à la découverte du support (Phase 1) et le budget restant pour l'optimisation (Phase 2). Les résultats empiriques suggèrent qu'un optimum intérieur (ex: allouer environ 30 % du budget à la mise en chauffe) maximise les performances.
• Applicabilité : La méthode est particulièrement efficace lorsque la dimension active est faible et que l'énergie du gradient est concentrée, des conditions souvent rencontrées dans les tâches d'apprentissage profond où un sous-ensemble de paramètres dirige l'optimisation au début de l'entraînement.

Les auteurs concluent que bien que la méthode repose sur l'hypothologie que l'énergie du gradient est concentrée (ce qui est vérifié empiriquement pour les ensembles de données testés), elle offre une approche robuste et théoriquement fondée pour améliorer l'utilité du DP-SGD dans des environnements contraints en ressources et sensibles à la confidentialité.