Large-Sample Bayesian Approximations for Privatized Data

1. Énoncé du problème

Le papier aborde le défi de l'inférence statistique sur des données protégées par la Confidentialité Différentielle (CD).

• Contexte : Les principaux producteurs de données (par exemple, le Bureau du recensement des États-Unis, Google, Apple) utilisent la CD pour publier des jeux de données. Cela implique d'ajouter du bruit aléatoire aux statistiques pour empêcher la ré-identification des individus.
• Le défi : Le bruit ajouté rend les données originales inobservables et rend la distribution d'échantillonnage des statistiques privatisées intraitable.
• Limites des méthodes existantes :
  • Approches bayésiennes : Nécessitent souvent des modèles entièrement génératifs, des priors conjugués, ou souffrent de la « malédiction de la dimensionnalité » (par exemple, l'échantillonnage par rejet échelle à grande échelle).
  • Approches fréquentistes : Les approximations asymptotiques échouent souvent pour des problèmes complexes, tandis que les méthodes basées sur la simulation (comme le bootstrap paramétrique) sont coûteuses en calcul et reposent sur des hypothèses paramétriques restrictives.
• Objectif : Développer une méthode de calcul réalisable, évolutive et théoriquement justifiée pour l'inférence bayésienne sur des données privatisées, fonctionnant avec de grandes tailles d'échantillon ($n$) et des statistiques de haute dimension sans nécessiter d'hypothèses paramétriques fortes.

2. Méthodologie : PUMBA

Les auteurs proposent PUMBA (Private Uncertainty Measurement via Bayesian Asymptotics). La méthode est un algorithme d'échantillonnage approximatif en deux étapes, inspiré de Guha et Reiter (2025) mais rigoureusement justifié par la théorie des grands échantillons.

Cadre central

Le problème est modélisé de manière hiérarchique :

1. Paramètres $\theta \sim \pi(\theta)$.
2. Statistiques suffisantes $T_n = \sum_{i=1}^n t(x_i)$ générées à partir de $p_n(T_n | \theta)$.
3. Statistiques privatisées $s_{dp}$ publiées via un mécanisme de bruit additif : $s_{dp} = T_n + \Delta_T Z$ (où $Z$ est un bruit, par exemple Laplace ou Gaussien).

L'objectif est d'échantillonner à partir du posterior privé $\pi(\theta | s_{dp})$. L'échantillonnage direct est difficile car la vraisemblance marginale implique une intégrale intraitable. PUMBA approxime le posterior joint $\pi(\theta, T_n | s_{dp})$ via un processus en deux étapes :

Étape 1 : Imputation de la statistique confidentielle ($T_n | s_{dp}$)
Au lieu d'utiliser le posterior exact $p_n(T_n | s_{dp}) \propto m(s_{dp} | T_n) p_n(T_n)$, les auteurs proposent une approximation asymptotique :
$$p_{T_n}^\infty(T_n | s_{dp}) \propto m(s_{dp} | T_n) \cdot \mathbb{I}(T_n \in \mathcal{T}_n)$$

• Justification : Sous de légères conditions de régularité, lorsque $n \to \infty$, la densité prédictive a priori $p_n(T_n)$ devient « plate » par rapport à la vraisemblance aiguë induite par le mécanisme de confidentialité $m(s_{dp} | T_n)$. Ainsi, $p_n(T_n | s_{dp})$ converge vers la densité du mécanisme de confidentialité tronquée au support de $T_n$.
• Mécanisme : Cela permet d'échantillonner $T_n$ directement à partir de la distribution du bruit (par exemple, une Laplace ou une Gaussienne tronquée) sans avoir besoin de spécifier un prior qui résulterait en une distribution prédictive plate.

Étape 2 : Échantillonnage des paramètres ($\theta | T_n$)
Une fois $T_n$ imputé, la méthode échantillonne $\theta$ à partir du posterior non privé $\pi_n(\theta | T_n)$.

• Approximation : Pour de grands $n$, les auteurs invoquent le théorème de Bernstein-von Mises (BvM). Le posterior non privé est approximé par une distribution normale centrée sur un estimateur efficace $\hat{\theta}(T_n)$ avec une covariance basée sur l'information de Fisher.
• Avantage : Cela élimine le besoin d'un échantillonnage MCMC complexe dans la deuxième étape, permettant un échantillonnage analytique direct ou une estimation Monte Carlo simple.

Algorithme 1 (PUMBA)

1. Échantillonner $T_n^{(1)}, \dots, T_n^{(R)}$ i.i.d. à partir de $p_{T_n}^\infty(T_n | s_{dp})$.
2. Pour chaque $T_n^{(i)}$, échantillonner $\theta^{(i)} \sim \pi^*(\theta | T_n^{(i)})$ (où $\pi^*$ est soit le posterior non privé exact, soit l'approximation normale BvM).
3. L'ensemble $\{\theta^{(i)}\}$ approxime le posterior privé $\pi(\theta | s_{dp})$.

3. Contributions théoriques clés

Le papier fournit des preuves asymptotiques rigoureuses justifiant les approximations utilisées dans PUMBA, comblant les lacunes des travaux précédents (Guha et Reiter, 2025) :

1. Validité de l'étape 1 (Théorème 1) : Les auteurs prouvent que la distance de variation totale entre le posterior exact $p_n(T_n | s_{dp})$ et l'approximation $p_{T_n}^\infty(T_n | s_{dp})$ converge vers zéro presque sûrement lorsque $n \to \infty$. Cela repose sur les théorèmes de limite locale (pour les données continues et discrètes) et suppose que le mécanisme de confidentialité est une famille de localisation (par exemple, bruit additif).
2. Validité de l'étape 2 (Théorème 2) : Ils prouvent que le remplacement du posterior non privé exact par une approximation BvM ($\pi_\infty$) est également asymptotiquement valide. La distance de variation totale entre le posterior joint vrai et le posterior joint approximé converge vers zéro.
3. Propriétés fréquentistes : Bien que motivée par la théorie bayésienne, les auteurs démontrent via des simulations que PUMBA atteint des propriétés fréquentistes conservatrices (par exemple, des probabilités de couverture $\ge$ niveau nominal, des taux d'erreur de type I contrôlés).
4. Généralité : Contrairement aux méthodes précédentes, PUMBA ne nécessite ni des priors conjugués ni des spécifications de prior spécifiques pour obtenir une distribution prédictive plate ; il fonctionne pour presque tout prior propre.

4. Résultats expérimentaux

Études de simulation

• Moyenne de données bornées : PUMBA a été comparé à une méthode oracle (Wang et al., 2018) et à un estimateur plug-in.
  • Résultat : PUMBA a atteint une couverture de 95,2 % (cible 95 %) avec un intervalle légèrement plus large que l'oracle mais une couverture nettement meilleure que la méthode plug-in (86,6 %), qui n'a pas tenu compte de l'incertitude de la variance.
• Régression linéaire simple : PUMBA a été comparé à une approche « Naïve » (ignorant le bruit) et à un MCMC d'augmentation de données (DA MCMC) avec un modèle gaussien mal spécifié.
  • Résultat : La méthode naïve a fortement sous-couvert (par exemple, 9,5 % de couverture à $n=30$). La couverture du DA MCMC a chuté à mesure que $n$ augmentait (0,263 à $n=1000$) en raison d'une mauvaise spécification du modèle. PUMBA a maintenu une couverture stable et conservatrice (~95-99 %) sur toutes les tailles d'échantillon.
  • Efficacité : PUMBA était supérieur en termes de calcul, atteignant des taux d'échantillonnage effectifs jusqu'à 3 800 fois plus rapides que le DA MCMC à $n=1000$.

Application sur données réelles : Propriété immobilière aux États-Unis (ACS 2022)

Les auteurs ont appliqué PUMBA pour analyser les facteurs de la propriété immobilière en utilisant les données de l'American Community Survey 2022 (privatisées via une simulation du mécanisme du Recensement Décennal 2020 avec CD).

• Variables : Ethnie, chômage, pauvreté, assurance, coûts du logement, densité de population.
• Comparaison :
  • Non-CD (Vérité terrain) : Régression standard sur les données originales.
  • Naïve : Régression sur les données privatisées en ignorant le bruit.
  • PUMBA : Méthode proposée.
• Constats :
  • L'approche naïve a produit des conclusions erronées, identifiant faussement le « Chômage » et « Aucune assurance » comme des facteurs significatifs en raison du bruit non pris en compte.
  • PUMBA s'est aligné sur la vérité terrain Non-CD, identifiant correctement ces variables comme non significatives.
  • PUMBA a correctement pris en compte le bruit de confidentialité, empêchant les faux positifs tout en maintenant la puissance pour les variables significatives (par exemple, ethnie, pauvreté).

5. Importance et limites

Importance :

• Évolutivité : PUMBA est la première méthode à fournir un cadre bayésien général et réalisable en calcul pour les données privatisées à grande échelle (par exemple, recensement national) sans nécessiter d'hypothèses paramétriques fortes.
• Rigueur théorique : Il comble une lacune critique en fournissant des preuves asymptotiques pour des approximations précédemment utilisées de manière heuristique.
• Utilité pratique : Il permet aux chercheurs de réaliser une inférence fiable sur des données sensibles (comme le Recensement américain) où les méthodes précédentes étaient soit trop restrictives, soit computationnellement intraitables.

Limites :

• Taille de l'échantillon : La méthode repose sur l'asymptotique des grands échantillons ($n \to \infty$). Elle peut ne pas convenir à des jeux de données très petits, bien que les simulations suggèrent qu'elle reste conservatrice dans de tels cas.
• Type de mécanisme : Les garanties théoriques s'appliquent actuellement aux mécanismes de bruit additif (Laplace, Gaussien). Les mécanismes non additifs ne sont pas couverts.
• Budget de confidentialité : La méthode suppose un budget de confidentialité $\epsilon$ raisonnablement petit pour garantir que le support du posterior reste gérable.

Conclusion

Le papier introduit PUMBA, un cadre bayésien robuste et à grands échantillons pour l'analyse de données privatisées. En exploitant des approximations asymptotiques (Théorèmes de limite locale et Bernstein-von Mises), il découple l'inférence de la vraisemblance marginale intraitable, offrant une alternative computationnellement efficace au MCMC. La méthode est prouvée asymptotiquement valide et démontre des performances supérieures dans le maintien de la validité statistique (contrôle de la couverture et de l'erreur de type I) par rapport aux approches naïves, ce qui en fait un outil vital pour les chercheurs travaillant avec des produits de données modernes préservant la confidentialité.