Résumé Technique : Remodelage Anisotrope du Bruit Guidé par le Jacobien pour Améliorer l'Utilité des Représentations sous Privacité Différentielle Locale

Énoncé du Problème

La Privacité Différentielle Locale (LDP) est une primitive fondamentale pour la collecte de données distribuées, éliminant le besoin d'un curateur de données de confiance en permettant aux propriétaires de données de randomiser leurs données localement. Cependant, les mécanismes LDP standards souffrent d'un compromis sévère entre confidentialité et utilité. Pour garantir la confidentialité en tout point arbitraire de l'espace des données, les mécanismes conventionnels injectent du bruit uniformément (de manière isotrope) sur toutes les dimensions, basés sur la sensibilité du pire cas. Cette approche agnostique à la tâche dégrade considérablement l'utilité des données, en particulier dans les espaces de haute dimension où l'échelle du bruit s'amplifie avec la dimensionnalité. Les efforts existants pour atténuer ce problème, tels que les méthodes par coordonnées ou conscientes de la pertinence, reposent souvent sur un accès direct aux données privées pour l'entraînement ou échouent à exploiter pleinement la structure géométrique de l'espace de représentation des données par rapport aux tâches en aval.

Méthodologie

Les auteurs proposent un cadre novateur qui remodèle le bruit isotrope en une distribution anisotrope pour atténuer le bruit dans les sous-espaces pertinents pour la tâche tout en préservant le budget de confidentialité. L'approche opère sans nécessiter l'accès aux données privées pour le processus de mise en forme du bruit, s'appuyant plutôt sur la connaissance publique du modèle en aval.

Concept Central : Identification de Sous-espace Guidée par le Jacobien

La méthode exploite l'insight géométrique selon lequel un espace de représentation de données peut être décomposé en un espace des lignes pertinent pour la tâche et un espace nul non pertinent pour la tâche par rapport à un modèle en aval.

• Modèles Linéaires : L'espace des lignes est engendré par la matrice de poids $W$, et l'espace nul est constitué des vecteurs annihilés par $W$.
• Modèles Non Linéaires : Pour les modèles non linéaires (par exemple, les réseaux de neurones profonds), les auteurs utilisent la matrice Jacobienne $J_T(z_0) = \partial T(z_0)/\partial z$ évaluée à une représentation spécifique $z_0$. Cela fournit une approximation linéaire locale, définissant des espaces des lignes et des espaces nuls locaux. Les perturbations dans l'espace nul n'affectent pas la sortie du modèle, tandis que les perturbations dans l'espace des lignes le font.

Le Pipeline Proposé

L'approche consiste en une fonction de pré-traitement $f$, un mécanisme de randomisation LDP standard $\mathcal{M}$, et une fonction de post-traitement $g$.

1. Identification de l'Espace : En utilisant des données publiques et un modèle en aval pré-entraîné, les auteurs calculent une matrice Jacobienne agrégée pour identifier l'espace actif global (directions sensibles à la tâche) et l'espace nul (directions insensibles à la tâche).
2. Pré-traitement (Transformation et Bornage) :
   • La représentation d'entrée $z$ est transformée via une matrice de rotation inverse et de mise à l'échelle $L^{-1}$. Cette matrice est construite de telle sorte que l'espace des lignes soit étendu (étirement de l'espace) et l'espace nul soit contracté.
   • Une fonction de bornage de sensibilité (par exemple, le recadrage de la norme $\ell_1$) est appliquée dans cet espace transformé. Cette étape est cruciale : bien que l'étirement de l'espace des lignes augmente la sensibilité théorique (nécessitant plus de bruit), la fonction de bornage plafonne la sensibilité à un seuil $\rho$. Cela permet au mécanisme d'injecter du bruit basé sur une sensibilité contrôlée et bornée plutôt que sur la sensibilité potentiellement massive de l'espace étiré.
3. Randomisation : Un mécanisme de bruit isotrope (par exemple, Laplace ou Gaussien) est appliqué à la représentation transformée et bornée $\bar{z}$.
4. Post-traitement (Remodelage) : La sortie est transformée en retour via la matrice $L$. Cette étape inverse la mise à l'échelle et la rotation du pré-traitement.
   • Résultat : Le bruit isotrope injecté dans l'espace intermédiaire est remodelé en bruit anisotrope dans l'espace original. Le bruit est atténué le long de l'espace des lignes sensible à la tâche (en raison de la mise à l'échelle inverse) et amplifié le long de l'espace nul non sensible à la tâche.

Propriétés Théoriques Clés

• Préservation de la Confidentialité : La méthode repose sur l'immunité au post-traitement de la privacité différentielle. Puisque la fonction de post-traitement $g$ est une bijection linéaire déterministe et indépendante des données appliquée à la sortie d'un mécanisme $\epsilon$-LDP, la garantie de confidentialité est préservée sans coût supplémentaire en matière de confidentialité.
• Agnosticisme du Mécanisme : L'approche est compatible avec divers mécanismes LDP (Laplace, Gaussien, PrivUnit2, PrivUnitG) et peut être intégrée comme un wrapper.
• Optimisation : Les facteurs d'échelle pour le bruit anisotrope sont dérivés via des multiplicateurs de Lagrange pour minimiser l'échelle de bruit pondérée, où les poids sont déterminés par les valeurs singulières du Jacobien agrégé (représentant l'importance de la tâche).

Contributions Clés

1. Identification de Sous-espace Basée sur le Jacobien : L'article est pionnier dans l'utilisation des matrices Jacobienes provenant de modèles en aval publics pour identifier les sous-espaces critiques pour la tâche afin de façonner le bruit LDP, applicable aux modèles linéaires et non linéaires.
2. Remodelage de Bruit Anisotrope : Il introduit une méthode pour convertir le bruit LDP isotrope standard en bruit anisotrope, réduisant le bruit dans les dimensions critiques et l'augmentant dans les dimensions non pertinentes, améliorant ainsi l'utilité en aval.
3. Amélioration de l'Utilité Préservant la Confidentialité : Contrairement aux méthodes antérieures conscientes de la tâche qui peuvent nécessiter des données privées pour l'entraînement de l'encodeur/décodeur, cette méthode n'utilise que des modèles et des données publics, évitant tout risque de fuite de confidentialité pendant la phase de configuration.
4. Intégration avec le Bornage : Les auteurs démontrent que la combinaison du bornage de sensibilité dans un espace transformé avec un remodelage anisotrope atténue efficacement l'échelle du bruit dans les sous-espaces critiques.

Résultats Expérimentaux

La méthode a été évaluée sur trois tâches en aval : régression de séries temporelles (données London Smart Meter) et classification d'images (MNIST, CIFAR-10 et CIFAR-10-C avec diverses corruptions).

• Régression (LHSM) : Sur le jeu de données London Smart Meter, l'intégration de l'approche proposée (PA) avec des mécanismes standards a produit des améliorations significatives. Par exemple, à $\epsilon = 0.5$, Laplace+PA a réduit l'Erreur Quadratique Moyenne Racine (RMSE) de 17,63 à 1,05 (amélioration d'environ 17 fois) par rapport au Laplace standard.
• Classification (CIFAR-10-C) : Sous une corruption sévère de luminosité (Sévérité 5), la méthode a considérablement amélioré la précision de classification.
  • À $\epsilon = 7.5$, l'intégration de PA avec PrivUnit2 a amélioré la précision de 0,2933 à 0,4978 (augmentation d'environ 20 points de pourcentage).
  • De même, PrivUnitG est passé de 0,2858 à 0,4860.
  • La méthode a systématiquement surpassé les références, y compris l'approche consciente de la tâche de Cheng et al. [2022], qui peinaient avec des modèles non linéaires et des jeux de données complexes comme CIFAR-10.
• Études d'Ablation : Les expériences ont confirmé que le pré-traitement (alignement de l'espace et bornage) et le post-traitement (re-mise à l'échelle) sont indispensables. Le retrait de l'un ou l'autre composant a fait chuter les performances à des niveaux proches du hasard. L'étude a également montré que la méthode est robuste face à différents types de corruption (Brouillard, Flou de Défocalisation, Bruit Gaussien) et niveaux de sévérité.

Signification et Revendications

L'article revendique offrir une approche principielle pour améliorer le compromis confidentialité-utilité en LDP en exploitant les propriétés géométriques des modèles en aval.

• Généralisation : La méthode est soulignée pour sa capacité à se généraliser aux modèles non linéaires sans nécessiter de données privées pour la configuration du façonnage du bruit, une limitation des approches conscientes de la tâche précédentes.
• Efficacité : Elle réalise des gains d'utilité substantiels (par exemple, ~20 % d'amélioration de la précision sur CIFAR-10-C) sans compromettre la garantie de confidentialité ni nécessiter un ré-entraînement complexe du mécanisme de confidentialité lui-même.
• Modestie : Les auteurs reconnaissent qu'une analyse théorique formelle de la perte d'utilité induite par le recadrage dans des tâches complexes reste un défi ouvert, car le compromis dépend de la distribution sous-jacente des données. Ils positionnent leur travail comme une étape significative vers une inférence LDP pratique et à haute utilité, mais notent que l'établissement d'une méthodologie analytique généralisée pour les effets du recadrage est une direction pour la recherche future.

En résumé, l'article présente un cadre agnostique au mécanisme et guidé par le Jacobien qui remodèle le bruit pour s'aligner sur la sensibilité de la tâche, améliorant considérablement l'utilité des données pour les tâches d'inférence en aval sous des contraintes strictes de privacité différentielle locale.