Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy

1. Problématique

L'apprentissage automatique différentiellement privé (DP) vise à limiter la capacité d'un adversaire à inférer des informations sensibles sur les données d'entraînement. La garantie de confidentialité dépend de la relation d'adjacence choisie entre deux jeux de données :

• Adjacence Ajout/Suppression (Add/Remove - AR) : Deux jeux de données sont adjacents si l'un peut être obtenu en ajoutant ou en supprimant un seul enregistrement. C'est le standard actuel (ex: bibliothèques comme Opacus) et il protège principalement contre les attaques d'inférence de membership (savoir si un individu spécifique était dans le jeu de données).
• Adjacence Substitution (Substitute - S) : Un jeu de données est obtenu en remplaçant un enregistrement par un autre. Cette relation protège contre l'inférence des attributs d'un individu (ex: son étiquette ou label) même si l'on sait qu'il fait partie du jeu de données.

Le problème central : Les implémentations pratiques utilisent l'adjacence AR pour le comptage de la confidentialité (privacy accounting). Cependant, les auteurs démontrent que pour les applications où l'objectif est de protéger les attributs individuels (comme les labels dans le fine-tuning supervisé), l'adjacence AR surestime considérablement la protection réelle. Les garanties de confidentialité rapportées sous AR sont trop optimistes face aux attaques d'inférence d'attributs qui nécessitent une analyse sous l'adjacence S.

2. Méthodologie

Pour quantifier cet écart, les auteurs ont développé une nouvelle suite d'outils d'audit (auditing) spécifiquement conçus pour l'adjacence de substitution, dans un modèle de menace "Hidden-State" (l'adversaire n'a accès qu'au modèle final, pas aux gradients intermédiaires).

A. Conception de "Canaries" (Échantillons Pièges)

Les auteurs proposent plusieurs algorithmes pour créer des paires de jeux de données voisins $(D, D')$ où $D'$ est obtenu en remplaçant un enregistrement cible $z$ par un canary $z'$. Ils distinguent deux espaces de création :

1. Espace des Gradients (Gradient-Space) :
   • L'adversaire conçoit des gradients $g_z$ et $g_{z'}$ de norme maximale ($C$) et de directions opposées.
   • Cela permet de maximiser la distinction théorique entre les deux modèles entraînés sur $D$ ou $D'$.
   • Scénario S2 : Création de gradients artificiels pour auditer des modèles (utile pour le Federated Learning).
2. Espace d'Entrée (Input-Space) :
   • L'adversaire ne peut manipuler que les données d'entrée.
   • Canary d'entrée (S3) : Création d'un échantillon $z'$ dont le gradient est opposé à celui de $z$.
   • Canary mal étiqueté (S4) : Modification du label d'un échantillon pour minimiser la similarité des gradients.
   • Canary naturel adversarial (S5) : Sélection d'un échantillon réel dans un jeu de données auxiliaire qui maximise la différence de gradient par rapport à $z$.

B. Protocole d'Audit

L'audit suit un protocole de test d'hypothèse :

1. Entraîner un modèle sur $D$ (avec $z$) ou $D'$ (avec $z'$) selon un choix aléatoire binaire.
2. L'adversaire observe le modèle final et calcule un score de distinction (ex: différence de logits ou changement de paramètres $\theta_T - \theta_0$).
3. En répétant l'expérience des milliers de fois, on estime le taux d'erreur (FPR/FNR) pour déduire une borne inférieure empirique de $\epsilon$ (le coût de confidentialité).

C. Comparaison Théorique

Les auteurs comparent trois courbes :

• $\epsilon_{AR}$ : Borne théorique calculée avec un compteur AR (standard).
• $\epsilon_{S}$ : Borne théorique calculée avec un compteur de substitution (plus strict).
• $\epsilon_{Group}$ : Borne obtenue en appliquant le théorème de confidentialité de groupe (considérer la substitution comme une suppression + un ajout), souvent utilisée comme approximation.
• $\epsilon_{Audit}$ : La fuite de confidentialité mesurée empiriquement via les canaries.

3. Contributions Clés

1. Algorithmes de Canaries pour la Substitution : Proposition de méthodes pour générer des canaries optimaux (en espace de gradients et d'entrée) spécifiquement pour auditer l'adjacence de substitution.
2. Preuve Empirique de l'Écart : Démonstration que les résultats d'audit sous substitution dépassent systématiquement les garanties $\epsilon_{AR}$, mais correspondent étroitement aux prédictions des compteurs de substitution $\epsilon_{S}$.
3. Mise en garde contre les Bibliothèques Standards : Mise en évidence que les praticiens utilisant des bibliothèques DP par défaut (basées sur AR) pour protéger des attributs (labels) risquent de sous-estimer gravement les risques d'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de vision par ordinateur (ViT-B-16 sur CIFAR-10), de traitement du langage (Sentence-BERT sur SST-2) et des MLP entraînés de zéro (Purchase100).

• Cas des Canaries de Gradients (S2) : Les audits sont très précis. La fuite de confidentialité mesurée ($\epsilon_{Audit}$) viole clairement les bornes AR mais suit parfaitement les bornes de substitution ($\epsilon_{S}$).
• Cas des Canaries d'Entrée (S3, S4, S5) :
  • Pour les modèles fine-tunés (sur CIFAR-10, SST-2), même les canaries d'entrée montrent une fuite supérieure aux garanties AR, confirmant la vulnérabilité des modèles finaux.
  • Pour les modèles entraînés de zéro (Purchase100), les canaries d'entrée sont moins efficaces (l'optimisation non convexe et l'initialisation aléatoire brouillent le signal), mais les canaries de gradients restent robustes et confirment la vulnérabilité.
• Impact du taux d'échantillonnage (Subsampling rate $q$) : L'efficacité des audits diminue lorsque $q$ est faible, car le canary est moins souvent vu par le modèle. Cependant, même à faible $q$, la tendance montre que la protection AR est insuffisante.
• Comparaison avec la Confidentialité de Groupe : L'approche par confidentialité de groupe (Théorème 4.1) fournit une borne supérieure pour la substitution, mais elle est moins serrée (plus pessimiste) que le comptage numérique direct de la substitution.

5. Signification et Implications

• Changement de Paradigme pour la Protection des Attributs : Si l'objectif est de protéger la confidentialité des attributs (ex: "Quel est le diagnostic de ce patient ?" plutôt que "Ce patient est-il dans le dataset ?"), l'adjacence AR est inadéquate. Les praticiens doivent utiliser des compteurs de substitution.
• Risque pour le Fine-Tuning : Les modèles fine-tunés sont particulièrement vulnérables aux attaques d'inférence d'attributs via des canaries d'entrée, même avec des taux d'échantillonnage élevés souvent utilisés pour améliorer le compromis confidentialité-utilité.
• Limites et Futur : Les auteurs notent que leurs canaries d'entrée sont sensibles aux hyperparamètres (learning rate, clipping bound). L'avenir de la recherche réside dans la conception de canaries d'entrée robustes aux hyperparamètres et capables de fournir des audits serrés pour des objectifs non convexes réels.

Conclusion : Le choix de la relation d'adjacence lors du rapport des garanties DP est critique. Utiliser l'adjacence Ajout/Suppression pour des scénarios nécessitant la protection des attributs individuels crée un faux sentiment de sécurité, car elle surestime la protection réelle face aux attaques d'inférence d'attributs.