Résumé Technique : Intégration de la Corrélation des Caractéristiques dans la Confidentialité Différentielle avec des Applications en ERM-DP

Énoncé du Problème

La Confidentialité Différentielle (CD) standard impose des contraintes de confidentialité uniformes sur toutes les caractéristiques d'un ensemble de données, traitant chaque caractéristique comme également sensible. Cette hypothèse conduit souvent à des compromis confidentialité-utilité excessivement conservateurs dans les applications réelles où la sensibilité des caractéristiques est hétérogène. Par exemple, dans les données de santé, les lectures de tension artérielle peuvent être hautement sensibles, tandis que les groupes d'âge le sont moins. Cependant, ces caractéristiques sont fréquemment corrélées ; révéler l'âge peut involontairement divulguer des informations sur les distributions de tension artérielle.

Les approches de CD « semi-sensibles » existantes tentent de résoudre ce problème en traitant certaines caractéristiques comme publiques et d'autres comme privées. Cependant, ces méthodes supposent souvent l'indépendance entre les caractéristiques sensibles et non sensibles. Lorsque des corrélations existent, traiter une caractéristique comme publique peut toujours compromettre la confidentialité de la caractéristique sensible avec laquelle elle est corrélée, entraînant des violations potentielles de la vie privée. À l'inverse, l'application d'un bruit uniforme à toutes les caractéristiques (CD standard) déforme inutilement l'ensemble de données, dégradant l'utilité. L'article identifie un vide dans la littérature existante : l'absence de cadres qui prennent rigoureusement en compte les corrélations entre les caractéristiques sensibles et non sensibles pour améliorer l'utilité sans sacrifier les garanties de confidentialité.

Méthodologie : Cadre CorrDP

Les auteurs proposent CorrDP (Confidentialité Différentielle consciente des Corrélations), une définition assouplie de la CD qui intègre les corrélations des caractéristiques dans la contrainte de confidentialité.

1. Définition de CorrDP

CorrDP modifie la définition standard de la CD en introduisant une métrique de distance $d(D, D')$ entre deux bases de données voisines $D$ et $D'$.

• Bases de données voisines : Définies comme différant par au plus une entrée, où la différence se produit soit dans les caractéristiques sensibles ($S$), soit dans les caractéristiques non sensibles ($U$), mais pas simultanément dans les deux.
• Métrique de distance : La contrainte de confidentialité est assouplie en fonction de la corrélation entre la caractéristique modifiée et les caractéristiques sensibles.
  $$P(A(D) \in R) \leq e^{\frac{\epsilon}{d(D, D')}} P(A(D') \in R) + \delta$$
• Choix de la métrique : L'article utilise la distance de variation totale (TV) pour quantifier la corrélation. Plus précisément, $d(D, D')$ est définie comme la distance TV maximale entre les distributions conditionnelles des caractéristiques sensibles étant donné les caractéristiques non sensibles, avant et après le changement.
  • Si le changement porte sur une caractéristique sensible, $d(D, D') = 1$ (CD standard).
  • Si le changement porte sur une caractéristique non sensible indépendante des caractéristiques sensibles, $d(D, D') = 0$ (aucun coût de confidentialité).
  • Si le changement porte sur une caractéristique non sensible corrélée aux caractéristiques sensibles, $d(D, D') \in (0, 1)$, assouplissant le budget de confidentialité à $\epsilon / d(D, D')$.

2. Mécanismes et Algorithmes

Les auteurs adaptent les mécanismes standards au cadre CorrDP :

• Mécanisme de Laplace CorrDP : Introduit une « sensibilité corrélée » $\Delta_C f$ qui pondère la sensibilité des caractéristiques non sensibles par leur distance TV par rapport aux caractéristiques sensibles. Cela permet une injection de bruit réduite sur les caractéristiques non sensibles.
• CorrDP-SGD (Descente de Gradient Stochastique) : Appliqué à la Minimisation du Risque Empirique (ERM-DP).
  • Calibration du bruit : La variance du bruit $\sigma_i^2$ pour la $i$-ème caractéristique est ajustée. Pour les caractéristiques sensibles ($i \in S$), un bruit standard est utilisé. Pour les caractéristiques non sensibles ($i \in U$), l'échelle du bruit est réduite d'un facteur dépendant de $\max\{TV(i), m_s^2/m^2\}$, où $m_s$ est le nombre de caractéristiques sensibles et $m$ la dimension totale.
  • Gestion des corrélations inconnues : Lorsque la distance TV est inconnue, les auteurs proposent une procédure d'estimation utilisant une borne supérieure de confiance de la distance TV empirique. Ils démontrent que cette étape d'estimation, lorsqu'elle est correctement bornée, préserve les garanties de confidentialité et d'utilité.

3. Garanties Théoriques

• Confidentialité : Les algorithmes proposés satisfont la propriété $(\epsilon, \delta)$-CorrDP.
• Utilité : Pour les fonctions de perte convexes (incluant les modèles linéaires généralisés tels que les MCO et la régression logistique), l'écart d'utilité (risque empirique excédentaire) est borné par :
  $$R(\theta_{priv}) = \tilde{O}\left( \frac{\sqrt{m_s + \min\{\sum_{i \in U} TV(i), m_s/4\}}}{n\epsilon} \right)$$
  Cela représente une amélioration par rapport à la borne standard ERM-DP de $\tilde{O}(\sqrt{m}/(n\epsilon))$ lorsque le nombre de caractéristiques sensibles $m_s$ est faible par rapport aux caractéristiques totales $m$, et que les caractéristiques non sensibles sont faiblement corrélées aux caractéristiques sensibles.
• Borne inférieure : L'article établit une borne inférieure quasi-identique, confirmant que l'amélioration de l'utilité est théoriquement optimale.

Contributions Clés

1. Nouveau Cadre (CorrDP) : Introduction d'une notion de CD qui intègre explicitement les corrélations des caractéristiques via une métrique de distance (distance TV), se réduisant à la CD standard lorsque toutes les caractéristiques sont sensibles.
2. Utilité Améliorée en ERM-DP : Conception d'algorithmes CorrDP-SGD intégrant un bruit dépendant de la distance. Les résultats théoriques montrent une amélioration de l'utilité d'un facteur $\sqrt{m/m_s}$ dans des conditions légères.
3. Estimation de la Distance : Une procédure pour estimer la distance TV inconnue à partir de l'ensemble de données en utilisant des bornes supérieures de confiance, garantissant que l'erreur d'estimation ne compromet ni la confidentialité ni les garanties d'utilité.
4. Extension aux Réseaux de Neurones : Adaptation du cadre aux réseaux de neurones, réduisant spécifiquement le bruit dans la première couche où les caractéristiques non sensibles sont traitées, produisant des performances améliorées par rapport au SGD-DP standard.
5. Validation Empirique : Expériences sur des ensembles de données synthétiques et réels (Adult, Sepsis, Carte de Crédit, Coût Médical) démontrant que CorrDP surpasse systématiquement la CD standard et les bases de référence « Partielles » (abandon des caractéristiques sensibles), atteignant une précision comparable aux méthodes « Semi » (ignorant les corrélations) mais avec des garanties de confidentialité plus fortes.

Résultats

• Données Synthétiques : Dans les tâches de régression ridge, CorrDP a obtenu des écarts d'utilité plus faibles (meilleure précision) que la CD standard sur divers budgets de confidentialité ($\epsilon$), en particulier dans les régimes de haute confidentialité. Elle a performé de manière comparable à la base de référence « Semi » (qui ignore les corrélations) mais avec une protection de la vie privée rigoureuse.
• Ensembles de Données Réels :
  • Adult (Prédiction de Revenu) : CorrDP a surpassé la base de référence Semi et a subi une baisse de précision de moins de 4 % par rapport aux modèles non privés dans les régimes de haute confidentialité.
  • Sepsis (Prédiction de Survie) : En utilisant un réseau de neurones à 2 couches, CorrDP a égalé les performances de Semi et a constamment surpassé la CD standard.
  • Carte de Crédit et Coût Médical : Des tendances similaires ont été observées, CorrDP atteignant une utilité proche de celle de Semi tout en maintenant des garanties de confidentialité strictes.
• Estimation de la Distance TV : La méthode d'estimation proposée a géré avec succès les corrélations inconnues, les échelles de bruit étant ajustées dynamiquement en fonction de la force de corrélation estimée (par exemple, dans l'ensemble de données Adult, la caractéristique « profession » nécessitait un bruit plus élevé en raison d'une forte corrélation avec les caractéristiques sensibles).

Importance et Revendications

L'article revendique que CorrDP offre une manière principielle d'assouplir les contraintes de confidentialité en présence de corrélations de caractéristiques sans compromettre les garanties rigoureuses de confidentialité. En quantifiant la « fuite » des caractéristiques non sensibles vers les caractéristiques sensibles via la distance TV, le cadre permet une injection de bruit dépendante de la distance.

Les auteurs soulignent que leur approche :

• Ne repose pas sur des données publiques ou des hypothèses spécifiques sur la géométrie du gradient (contrairement à d'autres méthodes d'amélioration de l'utilité).
• Fournit une généralisation naturelle de la CD standard et de la CD semi-sensible.
• Démontre que la prise en compte des corrélations permet une utilité nettement supérieure dans des contextes de grande dimension où seule une sous-ensemble de caractéristiques est véritablement sensible.

Ce travail est présenté comme une étape vers un apprentissage automatique préservant la vie privée plus pratique, reconnaissant que les données réelles contiennent souvent des niveaux de sensibilité hétérogènes et des dépendances complexes que la CD standard ne parvient pas à exploiter pour des gains d'utilité. Les auteurs notent des limitations, telles que le coût computationnel de l'estimation des distances TV dans les hautes dimensions et l'exigence de partitions clairement définies entre sensibles et non sensibles, pointant vers ces aspects comme des pistes pour des recherches futures.