Résumé Technique : Réviser l'Amplification de la Confidentialité par Sous-échantillonnage dans le DPSGD à Libération Sélective

1. Énoncé du Problème

La descente de gradient stochastique différentiellement privée (DPSGD) est la norme de facto pour l'apprentissage profond respectant la confidentialité, mais elle souffre d'une dégradation significative de l'utilité et d'une convergence lente. Ces problèmes découlent du écrêtage des gradients (qui introduit un biais en écartant des signaux), de l'injection de bruit gaussien (qui augmente la variance) et de la sensibilité de l'algorithme aux hyperparamètres.

Un travail récent, spécifiquement l'algorithme Differentially Private Selective Update and Release (DPSUR), a tenté d'atténuer ces problèmes en ne libérant sélectivement les mises à jour du modèle que lorsqu'elles améliorent les performances. Cependant, les auteurs identifient deux failles critiques dans le cadre existant de DPSUR :

1. Comptabilité de la confidentialité erronée : DPSUR suppose une probabilité d'échantillonnage de Poisson uniforme ($q$) pour toutes les mises à jour acceptées. Il ne tient pas compte du fait que le mécanisme de « libération sélective » agit comme un filtre dépendant des données. Ce filtrage modifie la probabilité d'échantillonnage effective des points de données individuels dans les lots acceptés, ce qui peut conduire à une sous-estimation de la fuite de confidentialité et à une violation des garanties de confidentialité rigoureuses.
2. Surcharge de calcul : DPSUR repose sur un lot de validation distinct pour évaluer la qualité de la mise à jour, ce qui entraîne des coûts de calcul et une latence importants.
3. Désalignement des gradients : La stratégie d'écrêtage minimal de DPSUR peut encore entraîner un désalignement et un biais des gradients.

2. Méthodologie : DPSR-CG

Les auteurs proposent le DPSR-CG (Differentially Private Selective Release based on Clipped Gradients), un nouveau cadre conçu pour répondre aux limitations théoriques et pratiques de DPSUR.

Mécanismes Fondamentaux

• Filtration par Métrique Intrinsèque : Au lieu d'utiliser un lot de validation séparé et un calcul de perte, DPSR-CG utilise le biais d'écrêtage (la différence dans les normes de gradient accumulées) comme une métrique intrinsèque pour déterminer la qualité de la mise à jour. Cela élimine la surcharge de calcul des étapes de validation.
• Mise à l'échelle du Gradient et du Biais : L'algorithme emploie un mécanisme de mise à l'échelle du gradient (inspiré de DPSGD-Global) plutôt qu'un écrêtage minimal strict. Cela préserve l'alignement directionnel relatif des gradients tout en bornant la sensibilité. La même logique de mise à l'échelle est appliquée au métrique de biais d'écrêtage utilisé pour la décision de libération.
• Acceptation Conditionnelle : Une mise à jour est acceptée uniquement si la variation du biais écrêté et bruité ($\tilde{\Delta E}$) dépasse un seuil mis à l'échelle ($\beta \cdot C_t$). Si la condition n'est pas remplie, la mise à jour est rejetée, et le modèle conserve son état précédent sans faire progresser le compteur d'itérations.

Analyse de Confidentialité Rigoureuse

La contribution théorique de l'article se centre sur un nouveau cadre de comptabilité de la confidentialité qui corrige l'erreur d'« inflation de la probabilité d'échantillonnage » des travaux précédents :

• Filtration Adaptative : Les auteurs modélisent le processus de sélection comme un filtre dépendant des données conditionné par l'historique de filtration ($\mathcal{F}_{t-1}$).
• Bornage du Pire Cas : Ils dérivent une borne rigoureuse pour la probabilité d'échantillonnage effective ($q_{sup}$). En utilisant le théorème de Bayes et les propriétés de la distribution gaussienne, ils prouvent que la probabilité conditionnelle qu'un échantillon soit inclus dans un lot accepté est bornée par un facteur constant par rapport au taux d'échantillonnage de base $q$.
• Théorème 3.1 : L'article établit que le ratio d'inflation de probabilité ($\rho_{max}$) est strictement borné, permettant l'utilisation du Théorème de Composition Adaptative pour la Confidentialité de Rényi (RDP). Cela garantit que le budget de confidentialité est calculé sur la base du taux d'échantillonnage effectif du pire cas, empêchant la fuite « non contrainte » affirmée pour DPSUR.

3. Contributions Clés

1. Identification des Lacunes de Confidentialité : Les auteurs démontrent que les algorithmes de libération sélective existants (comme DPSUR) négligent la variation de la probabilité d'échantillonnage introduite par le mécanisme de libération, ce qui compromet la rigueur de leurs garanties de confidentialité.
2. Nouvel Algorithme (DPSR-CG) : Ils proposent un nouvel algorithme qui utilise le biais d'écrêtage comme métrique de sélection et la mise à l'échelle du gradient pour gérer la sensibilité, éliminant ainsi le besoin d'étapes de validation coûteuses.
3. Comptabilité de Confidentialité Rigoureuse : Une analyse de confidentialité mathématiquement saine est fournie, qui borne la probabilité d'échantillonnage effective du pire cas ($q_{sup}$), permettant des garanties $(\epsilon, \delta)$-DP strictes sous composition adaptative.
4. Analyse de Convergence : L'article fournit une borne de convergence théorique pour DPSR-CG sous des hypothèses non convexes, décomposant l'erreur en erreur d'initialisation, pénalité de bruit de sélection et variance de la perturbation du gradient.

4. Résultats Expérimentaux

Les auteurs ont évalué DPSR-CG sur quatre jeux de données : MNIST, CIFAR-10, IMDB et Fashion-MNIST (FMNIST), en le comparant au DPSGD standard et à cinq variantes de pointe (incluant DPSUR).

• Utilité du Modèle : DPSR-CG a systématiquement surpassé tous ses concurrents sur tous les jeux de données et tous les budgets de confidentialité ($\epsilon \in \{1, 2, 3\}$). Notamment, sur les jeux de données d'images, DPSR-CG a dépassé les bases non privées à $\epsilon=3$, alors que la littérature précédente suggérait que DPSUR n'atteignait cela que sur CIFAR-10 avec des budgets plus larges ($\epsilon=4$).
• Efficacité du Budget de Confidentialité : Les auteurs ont recalculé la probabilité d'échantillonnage effective ($q_{sup}$) pour DPSUR en utilisant leur nouveau cadre de comptabilité. Ils ont constaté que sous des garanties de confidentialité strictes, les étapes d'entraînement effectives de DPSUR seraient réduites de près de moitié en raison de l'inflation de probabilité, expliquant pourquoi ses performances se dégradent lors d'une analyse rigoureuse.
• Robustesse : DPSR-CG a démontré sa robustesse contre les attaques d'inférence de l'appartenance de type Black-Box/Shadow et White-Box/Partial, réduisant les taux de succès des attaques à des niveaux proches du hasard ($\approx 0,50$).
• Ablation : Les expériences ont confirmé que le mécanisme de libération sélective lui-même apporte un gain de performance par rapport aux bases non sélectives, et que DPSR-CG surpasse DPSUR même lorsque les deux utilisent les mêmes mécanismes de mise à l'échelle de gradient, validant la supériorité de la métrique intrinsèque et de la comptabilité de confidentialité corrigée.

5. Signification et Revendications

L'article affirme que DPSR-CG représente une avancée significative dans le domaine de l'apprentissage profond différentiellement privé en résolvant une incohérence théorique fondamentale des méthodes de libération sélective précédentes.

• Rigueur Théorique : La principale importance réside dans la correction de l'erreur de comptabilité de la confidentialité. Les auteurs soutiennent que les affirmations précédentes de haute utilité dans la libération sélective étaient potentiellement basées sur des coûts de confidentialité sous-estimés. En bornant rigoureusement la probabilité d'échantillonnage effective, DPSR-CG offre une méthode qui est à la fois théoriquement saine et pratiquement efficace.
• Efficacité : En remplaçant la validation externe par une métrique basée sur le gradient intrinsèque, la méthode réduit la surcharge de calcul tout en maintenant ou en améliorant la précision du modèle.
• Performance : Les résultats empiriques suggèrent que la combinaison de la mise à l'échelle du gradient, de la filtration intrinsèque et d'une comptabilité de confidentialité rigoureuse permet au modèle d'échapper plus efficacement aux mauvais minima locaux que le DPSGD standard, atteignant une précision de pointe sous des contraintes de confidentialité strictes.

Les auteurs concluent que bien que la libération sélective soit un paradigme puissant, son succès dépend d'une analyse de confidentialité mathématiquement cohérente qui tient compte de la nature dépendante des données du processus de sélection. Des travaux futurs sont proposés pour étendre ce paradigme à l'apprentissage fédéré et aux modèles de fondation.