Résumé Technique : FERMI – Exploitation des Relations pour l'Inférence d'Adhésion contre les Modèles de Diffusion Tabulaires

1. Énoncé du Problème

Les modèles de diffusion sont devenus le paradigme dominant pour la synthèse de données tabulaires, en particulier dans des domaines à haut risque comme la santé et la finance, où les réglementations en matière de confidentialité (par exemple, le RGPD, le HIPAA) restreignent la diffusion directe des données. Bien que les attaques par inférence d'adhésion (Membership Inference Attacks ou MIAs) soient l'outil standard pour évaluer les risques de confidentialité de tels modèles génératifs, les attaques existantes supposent principalement un contexte de table unique.

Cette hypothèse néglige la réalité selon laquelle les données tabulaires sensibles résident généralement dans des bases de données multi-relationnelles, où les informations d'un individu s'étendent sur des tables interconnectées (par exemple, des patients liés à des prescriptions, des résultats de laboratoire et des données démographiques). Les évaluations actuelles qui ignorent cette structure relationnelle risquent de sous-estimer considérablement l'exposition à la confidentialité.

Un défi critique émerge dans des modèles de menace réalistes : un adversaire peut posséder de riches données auxiliaires contenant des structures relationnelles complètes (par exemple, via des violations antérieures ou des publications publiques) durant la phase d'entraînement de l'attaque. Cependant, au moment de l'inférence d'adhésion, l'adversaire observe souvent uniquement une ligne candidate de la table cible, sans accès aux enregistrements spécifiques de cet individu dans les tables parentes ou enfants associées. L'article comble le fossé concernant la manière d'exploiter les informations relationnelles auxiliaires disponibles durant l'entraînement pour mener une attaque plus puissante, même lorsque l'inférence est restreinte aux attributs d'une seule table.

2. Méthodologie : Cadre FERMI

Les auteurs proposent FERMI (FEature-mapping for Relational Membership Inference), un cadre conçu pour distiller les signaux d'adhésion relationnels dans un espace de caractéristiques de table unique. L'approche suit le paradigme standard du modèle fantôme (shadow-model) et opère en trois étapes :

A. Extraction de Caractéristiques Appariées

L'adversaire entraîne $S$ modèles de diffusion fantômes sur des sous-ensembles disjoints d'un jeu de données auxiliaire ($D_{aux}$). Pour chaque enregistrement fantôme, deux flux de caractéristiques sont extraits :

1. Flux de Table Unique : Les caractéristiques $\Phi_{single}(x)$ sont extraites d'un modèle fantôme entraîné uniquement sur la table cible $T_j$.
2. Flux Relationnel : Les caractéristiques $\Phi_{multi}(\tilde{x})$ sont extraites d'un modèle fantôme entraîné sur une représentation fusionnée où l'enregistrement cible $x$ est enrichi de son contexte relationnel (par exemple, joint aux tables parentes $T_p$).

L'extraction de caractéristiques utilise une approche de empreinte de perte (loss-fingerprint), calculant la perte de débruitage $\ell_{\theta}(x_0, t, \epsilon)$ sur plusieurs pas de temps et réalisations de bruit. Empiriquement, les membres de l'entraînement présentent des pertes de débruitage systématiquement plus faibles que les non-membres.

B. Mappage des Caractéristiques

L'innovation centrale réside dans l'apprentissage d'une fonction de mappage $f_{map}$ qui projette les caractéristiques de table unique vers leurs homologues relationnels. Cela se formule comme un problème d'adaptation de domaine avec deux objectifs :

1. Reconstruction Point par Point : Minimiser la distance euclidienne entre les caractéristiques mappées et les véritables caractéristiques relationnelles : $\|f_{map}(\Phi_{single}(x)) - \Phi_{multi}(\tilde{x})\|^2_2$.
2. Alignement Distributionnel : Utiliser la perte CORAL (Correlation Alignment) pour faire correspondre les structures de covariance des espaces de caractéristiques mappés et réels multi-tables, garantissant ainsi la préservation de la géométrie relationnelle.

C. Prédiction d'Adhésion

Un classifieur d'attaque $f_{att}$ est entraîné sur les caractéristiques mappées pour prédire les étiquettes d'adhésion. Le cadre permet un réglage fin conjoint du mappage et du classifieur, où les gradients de l'objectif de classification affinent le mappage pour extraire les caractéristiques les plus informatives pour l'inférence d'adhésion.

Modèle de Menace :

• Phase d'Entraînement : L'adversaire a accès à des données auxiliaires avec une structure relationnelle complète (Informations Secondaires Contexte-Parent ou Informations Secondaires Relationnelles Complètes).
• Phase d'Inférence : L'adversaire est restreint à la table cible uniquement (accès à une seule ligne) et au modèle cible (ou à ses sorties synthétiques dans des configurations boîte noire). Le mappage est appliqué aux caractéristiques de table unique pour récupérer le signal relationnel sans avoir besoin des tables associées au moment de l'inférence.

3. Contributions Clés

1. Formalisation des MIAs Relationnelles : L'article démontre que le contexte relationnel produit des signaux d'adhésion nettement plus forts dans les modèles de diffusion tabulaires par rapport aux contextes de table unique, et formalise le problème de l'inférence d'adhésion dans des contextes multi-relationnels.
2. Cadre FERMI : Il introduit un cadre de mappage de caractéristiques qui réussit à distiller les signaux d'adhésion relationnels dans l'espace de caractéristiques de table unique. Cela permet des attaques plus puissantes sans nécessiter l'accès aux données relationnelles au moment de l'inférence, résolvant ainsi l'asymétrie entraînement-inférence.
3. Évaluation Complète : Le cadre est évalué sur trois architectures de diffusion (TabDDPM, TabSyn, TabDiff) et trois jeux de données relationnels réels (California, Instacart, Berka) dans des configurations boîte blanche et boîte noire.

4. Résultats Expérimentaux

L'évaluation couvre trois jeux de données et trois architectures de modèles, comparant trois configurations : Table Unique Directe (référence), Table Fusionnée Directe (borne supérieure avec accès relationnel complet) et FERMI.

• Gains de Performance : FERMI surpasse systématiquement les références de table unique.
  • Dans la configuration boîte blanche, FERMI a amélioré le taux de vrais positifs à un taux de faux positifs de 0,1 (TPR@0.1FPR) d'environ 53 % par rapport à la référence de table unique pour TabDDPM et TabDiff.
  • Dans la configuration boîte noire (utilisant des modèles de substitution entraînés sur des données synthétiques), FERMI a amélioré le TPR@0.1FPR de 22 % par rapport à la référence.
• Sensibilité des Modèles :
  • TabDDPM et TabDiff (modèles d'espace de données) ont montré une forte susceptibilité aux attaques relationnelles. L'attaque « Fusionnée » (accès relationnel complet) a atteint des performances proches du plafond (par exemple, un TPR@0.01 de 0,994 sur Instacart pour TabDDPM), soulignant des risques de confidentialité graves lorsque des données relationnelles sont impliquées.
  • TabSyn (modèle d'espace latent) s'est révélé remarquablement résistant. Même avec un accès relationnel complet, son AUC est resté proche des niveaux de devinette aléatoire. Cela suggère que le goulot d'étranglement de l'espace latent agit comme une protection structurelle de la confidentialité, et FERMI n'a pas pu distiller de signaux utiles car le signal relationnel lui-même était faible pour cette architecture.
• Extension Boîte Noire : L'article confirme que le signal relationnel persiste même lorsque l'adversaire n'observe que des données synthétiques. FERMI a récupéré environ 55 % de l'écart d'AUC entre la référence de table unique et la borne supérieure de table fusionnée dans la configuration boîte noire.

5. Importance et Revendications

L'article revendique que l'évaluation des modèles de diffusion tabulaires dans des contextes de table unique sous-estime de manière significative le véritable risque de confidentialité. La présence d'une structure relationnelle dans les données d'entraînement crée des traces d'adhésion plus fortes qui peuvent être exploitées par des adversaires disposant de connaissances relationnelles auxiliaires.

Les résultats clés incluent :

• Le Contexte Relationnel comme Vulnérabilité : La structure relationnelle encode des signaux de conditionnement plus riches que les modèles de diffusion internalisent, laissant des empreintes plus fortes dans la perte de débruitage.
• Dépendance Architecturale : Les risques de confidentialité dépendent fortement de l'architecture du modèle. Les modèles opérant directement sur l'espace de données (TabDDPM, TabDiff) sont significativement plus vulnérables que ceux utilisant un encodage latent (TabSyn).
• Implications Pratiques : Le cadre FERMI démontre qu'un adversaire n'a pas besoin d'un accès direct aux tables associées au moment de l'inférence pour mener une attaque sophistiquée ; il lui suffit d'avoir appris le mappage relationnel durant la phase d'entraînement.

Les auteurs concluent que les décisions architecturales prises en amont des mécanismes de confidentialité (par exemple, le choix entre diffusion dans l'espace latent ou dans l'espace de données) méritent un examen plus attentif dans les déploiements sensibles à la confidentialité, car l'encodage latent semble être le déterminant principal de la résistance à l'inférence d'adhésion dans les contextes relationnels.