Privacy Auditing Synthetic Data Release through Local Likelihood Attacks

Résumé technique : Audit de la confidentialité des données synthétiques par des attaques de vraisemblance locale

Énoncé du problème
L'audit des fuites de confidentialité des données synthétiques reste un défi non résolu. Les cadres existants pour l'audit de la confidentialité reposent souvent sur des heuristiques (telles que des métriques de distance ou de densité) ou sur des hypothèses irréalistes concernant l'accès au modèle (par exemple, des configurations boîte blanche ou boîte d'ombre). Ces approches offrent une capacité limitée à détecter ou à décrire l'exposition à la confidentialité, en particulier lorsque les modèles génératifs présentent des modes de défaillance spécifiques tels que le surapprentissage. De plus, de nombreuses attaques existantes manquent de fondement théorique expliquant ce qu'elles mesurent ou dans quelles conditions elles devraient réussir, rendant difficile la distinction entre une conception fondée sur des principes et des coïncidences spécifiques à un benchmark.

Méthodologie : Attaque par rapport de vraisemblance générative (Gen-LRA)
Les auteurs proposent Gen-LRA, une nouvelle attaque d'inférence d'appartenance (MIA) conçue pour le modèle de menace No-Box. Dans ce contexte, l'adversaire n'a aucun accès à l'architecture, aux paramètres ou aux mécanismes internes du modèle génératif. L'adversaire ne possède que :

1. L'ensemble de données synthétiques publié ($S$).
2. Un ensemble de données de référence ($R$) collecté indépendamment, extrait de la même distribution de population sous-jacente ($P$).

Mécanisme central
Gen-LRA formule l'inférence d'appartenance comme une mesure de l'influence qu'une observation de test ($x^*$) exerce sur la vraisemblance estimée de l'ensemble de données synthétiques. L'attaque repose sur l'hypothèse que si un modèle génératif surapprend, l'inclusion d'un point d'entraînement $x^*$ dans l'ensemble de référence augmentera la vraisemblance estimée des données synthétiques $S$.

L'attaque procède selon les étapes suivantes :

1. Modélisation de substitution : Un estimateur de densité de substitution (spécifiquement un estimateur de densité par noyau gaussien, KDE) est ajusté sur l'ensemble de référence $R$ pour obtenir $\hat{p}_R$.
2. Augmentation : Un second substitut est ajusté sur l'ensemble augmenté $R \cup \{x^*\}$ pour obtenir $\hat{p}_{R \cup \{x^*\}}$.
3. Rapport de vraisemblance locale : Le score d'attaque est calculé comme la somme des rapports de vraisemblance logarithmiques sur les $k$ plus proches voisins synthétiques de $x^*$ (notés $S_k(x^*)$) :
   $$\hat{I}(x^*; R, S) = \sum_{s \in S_k(x^*)} \left[ \log \hat{p}_{R \cup \{x^*\}}(s) - \log \hat{p}_R(s) \right]$$
4. Décision : Un score élevé indique que l'ajout de $x^*$ à l'ensemble de référence a significativement augmenté la vraisemblance des points synthétiques voisins, suggérant que $x^*$ faisait partie de l'ensemble d'entraînement.

Cadre théorique
L'article établit trois résultats théoriques clés soutenant Gen-LRA :

1. Invariance : Le score de rapport de vraisemblance logarithmique est invariant par rapport aux reparamétrisations inversibles des données, garantissant une robustesse face aux choix de prétraitement tels que la mise à l'échelle ou le codage.
2. Caractérisation sous forme fermée : Les auteurs prouvent que le score Gen-LRA admet une caractérisation sous forme fermée en tant que statistique de rapport de densité localisée. Contrairement aux attaques par rapport de densité sur un seul point (par exemple, DOMIAS), Gen-LRA agrège les preuves sur une région locale, capturant des signaux de mémorisation diffus.
3. Écart de score moyen : Sous un modèle général de surapprentissage local, les auteurs prouvent un écart prouvable entre les scores attendus des membres et des non-membres. L'ampleur de cet écart dépend linéairement de la force du surapprentissage ($\epsilon$) et est régie par le chevauchement entre la bande passante du substitut et l'échelle de mémorisation du générateur ($\rho$).

Contributions clés

1. Attaque novatrice : Gen-LRA est la première MIA pour les données synthétiques tabulaires à adapter explicitement un cadre de fonctions d'influence au contexte No-Box, formulant l'inférence d'appartenance comme l'influence d'un point de test sur le rapport de vraisemblance d'un modèle de substitution.
2. Justification théorique : Le travail fournit un compte rendu théorique rigoureux de ce que l'attaque mesure (rapports de densité localisés) et prédit quand elle réussit (en cas de surapprentissage local).
3. Validation par simulation : Des simulations contrôlées instancient le modèle de surapprentissage, validant que Gen-LRA est unique dans sa capacité à être ajusté à travers les régimes de surapprentissage et qu'il surpasse les méthodes existantes, en particulier lorsqu'un générateur mémorise approximativement les données d'entraînement.
4. Benchmark empirique : Les auteurs évaluent Gen-LRA face à un benchmark complet comprenant 35 ensembles de données, 9 architectures génératives (incluant des GAN, des VAE, des modèles de diffusion et des Transformers) et 9 attaques concurrentes. Cela se traduit par 1 525 configurations uniques d'ensembles de données synthétiques et plus de 10 000 exécutions d'attaques.

Résultats

• Performance agrégée : Gen-LRA domine systématiquement les MIA concurrentes. Il atteint le taux de classement Top-1 le plus élevé sur chaque métrique (AUC et taux de vrais positifs à taux de faux positifs fixes) sur l'ensemble des 1 525 exécutions. Plus précisément, il se classe premier dans plus de 38 % des exécutions (AUC) et 42 % des exécutions (TPR@FPR=0), soit plus du double du taux de la prochaine meilleure référence.
• Faibles taux de faux positifs : Gen-LRA montre des gains particulièrement forts à de faibles taux de faux positifs, une métrique critique pour l'audit pratique de la confidentialité.
• Régimes de vulnérabilité : L'attaque est la plus efficace dans le régime de « mémorisation approximative », où les points synthétiques conservent une relation avec les données d'entraînement mais ne sont pas des copies exactes. Dans ce régime, les attaques sur un seul point (comme DOMIAS) et les attaques basées sur la distance (comme DCR) s'effondrent, tandis que Gen-LRA agrège les preuves sur plusieurs voisins pour réussir.
• Choix du substitut : Contrairement aux tendances en estimation de densité en haute dimension où les modèles d'apprentissage profond surpassent souvent le KDE, les auteurs constatent que le KDE gaussien surpasse les flux autorégressifs neuronaux par blocs (BNAF) pour Gen-LRA. Cela est attribué au contrôle explicite du KDE sur le lissage local (bande passante), qui correspond à l'échelle de mémorisation, tandis que le BNAF optimise pour la précision globale et introduit un bruit stochastique qui obscurcit le signal d'influence sur un seul point.

Portée et revendications
L'article affirme que les outils actuels d'audit de la confidentialité No-Box sous-estiment considérablement les risques pour la confidentialité car ils testent des hypothèses incorrectes ou reposent sur des heuristiques qui échouent dans le régime de mémorisation approximative, courant dans les générateurs tabulaires modernes.

Gen-LRA fournit un outil fondé sur des principes et efficace sur le plan computationnel permettant à des tiers d'auditer les publications de données synthétiques sans nécessiter d'accès au modèle. Les auteurs soutiennent que le contexte « No-Box » est le plus réaliste pour l'audit de la confidentialité, car les défenseurs suivant les meilleures pratiques retiendront les détails du modèle, rendant les attaques de boîte d'ombre inefficaces. En démontrant que le surapprentissage des modèles génératifs pose des risques significatifs pour la confidentialité même en l'absence d'accès au modèle, l'article souligne la nécessité d'outils d'audit plus robustes pour assurer la publication responsable de données synthétiques dans des domaines sensibles tels que la santé et la finance. Les auteurs concluent que, bien qu'aucune attaque unique ne soit uniformément optimale dans toutes les conditions, Gen-LRA offre les performances les plus robustes et les plus cohérentes pour détecter les fuites de confidentialité dans les publications de données synthétiques réelles.