Résumé technique : Confidentialité de l'appartenance bayésienne pour les réseaux de neurones sur graphes

Énoncé du problème

Les analyses de confidentialité existantes pour les réseaux de neurones sur graphes (GNN) reposent largement sur des hypothèses dérivées de contextes de données indépendantes et identiquement distribuées (i.i.d.). Ces approches négligent deux aspects critiques des données structurées en graphes : les corrélations structurelles (où les nœuds sont interdépendants via des arêtes et des voisinages chevauchants) et l'échantillonnage stochastique du graphe d'entraînement.

Dans les attaques d'inférence d'appartenance (MIA) standards, l'objectif est de déterminer si un point de donnée spécifique faisait partie de l'ensemble d'entraînement. Cependant, dans les GNN, l'inclusion d'un seul nœud affecte les représentations apprises de nombreux autres. De plus, les nœuds d'entraînement sont souvent sélectionnés via un processus d'échantillonnage qui interagit avec la structure du graphe, ce qui signifie que certains nœuds sont intrinsèquement plus susceptibles d'être inclus que d'autres.

Les définitions actuelles, telles que la confidentialité différentielle (DP) ou la confidentialité d'appartenance (MP) standard, supposent souvent :

1. Priors uniformes : Que tous les nœuds ont une probabilité a priori égale d'être dans l'ensemble d'entraînement.
2. Erreurs symétriques : Que les erreurs de type I et de type II sont suffisantes pour caractériser le risque de confidentialité.
3. Échangeabilité : Que les nœuds d'entraînement et de non-entraînement sont statistiquement indiscernables avant l'exécution de l'algorithme.

Les auteurs soutiennent que ces hypothèses échouent dans les contextes de graphes. Les dépendances structurelles brisent l'échangeabilité, et les priors dépendants des nœuds (pilotés par le mécanisme d'échantillonnage) rendent les précisions d'attaque globales ou les bornes d'erreur fixes insuffisantes pour capturer la fuite de confidentialité réelle et spécifique à chaque nœud.

Méthodologie : Confidentialité de l'appartenance bayésienne (BMP)

Pour combler ces lacunes, l'article introduit la Confidentialité de l'appartenance bayésienne (BMP), un cadre qui traite l'inférence d'appartenance comme un test d'hypothèse bayésien.

1. Modèle probabiliste

Les auteurs définissent un algorithme d'apprentissage randomisé $\mathcal{A} = (\mathcal{S}, \Phi)$ composé de :

• Échantillonnage ($\mathcal{S}$) : Un mécanisme stochastique qui sélectionne un sous-ensemble de nœuds $S \subseteq V$ pour former un sous-graphe d'entraînement.
• Entraînement ($\Phi$) : Une procédure qui produit une sortie de modèle $W$ étant donné le sous-graphe échantillonné.

Les variables clés incluent :

• Variable d'appartenance ($M_i$) : Un indicateur pour savoir si le nœud $i$ est dans l'ensemble échantillonné $S$.
• Prior ($\gamma_i$) : La probabilité marginale $\Pr(M_i=1)$, représentant la probabilité d'inclusion du nœud basée sur le mécanisme d'échantillonnage.
• Posterior ($\pi_i$) : La probabilité $\Pr(M_i=1 | W=w)$, représentant la croyance de l'adversaire après avoir observé la sortie du modèle.

2. Définition de la BMP

La BMP est définie par l'encadrement du rapport entre les cotes (odds) postérieures et les cotes a priori. Un algorithme est $(\varepsilon_L, \varepsilon_R)$-BMP si pour toute sortie $w$ et tout nœud $i$ :
$$e^{-\varepsilon_L} \leq \frac{\pi_i(1|w)}{\pi_i(0|w)} \cdot \frac{\gamma_i(0)}{\gamma_i(1)} \leq e^{\varepsilon_R}$$
Cette formulation intègre explicitement les priors dépendants des nœuds ($\gamma_i$) et permet une asymétrie ($\varepsilon_L \neq \varepsilon_R$). Cette asymétrie reconnaît que le risque de confidentialité lié à la révélation de l'appartenance (être dans l'ensemble d'entraînement) peut différer de celle de la non-appartenance.

L'article définit également des concepts connexes :

• BMP-R / BMP-L : Versions unidirectionnelles se concentrant uniquement sur le risque de révéler l'appartenance ou la non-appartenance.
• BMDP (MDP Bayésien) : Une version différentielle conditionnée par l'appartenance de tous les autres nœuds, bien que les auteurs notent que cela est souvent impraticable pour les graphes en raison du couplage structurel.

3. Propriétés théoriques

L'article établit plusieurs propriétés théoriques de la BMP :

• Bornes de prior : Les paramètres de confidentialité $\varepsilon_L$ et $\varepsilon_R$ sont inférieurs par le rapport des priors. Même un algorithme d'entraînement « parfaitement privé » ne peut masquer la fuite inhérente au processus d'échantillonnage lui-même.
• Post-traitement : La BMP est préservée sous les transformations mesurables de la sortie du modèle.
• Composition : L'article fournit des théorèmes de composition pour combiner la BMP avec la MP (opérations privées multiples sur un même échantillon) et la BMP avec la BMP (plusieurs cycles d'échantillonnage et d'entraînement indépendants).
• Garanties statistiques : Une relation un à un est établie entre les paramètres de la BMP et les régions d'erreur de type I ($\alpha$) et de type II ($\beta$) de toute MIA. Plus précisément, la région autorisée pour $(\alpha, \beta)$ dépend de la probabilité a priori du nœud $\eta_i$.

4. Mécanisme d'audit pratique

Pour estimer les paramètres de la BMP en pratique, les auteurs proposent un mécanisme d'audit :

• Conception de la MIA : Ils construisent des MIA au niveau des nœuds en utilisant des modèles d'ombre (shadow models) entraînés sur des sous-graphes échantillonnés.
• Estimation bayésienne : En utilisant le lien théorique entre la BMP et les probabilités d'erreur, ils modélisent les erreurs observées de type I et de type II comme étant tirées d'une région $R_{\eta}(\varepsilon_L, \varepsilon_R)$.
• Inférence : Ils emploient une approche de Monte Carlo par chaînes de Markov (MCMC) pour estimer la distribution a posteriori de $(\varepsilon_L, \varepsilon_R)$ sur la base des comptes d'erreurs observés des MIA.

Contributions clés

1. Cadre BMP : Introduction d'une formulation de la confidentialité de l'appartenance sensible à l'échantillonnage et bayésienne, qui intègre les priors dépendants des nœuds et traite les probabilités d'échantillonnage de graphes comme faisant partie de la connaissance de l'adversaire.
2. Analyse théorique : Dérivation de propriétés incluant les règles de composition, l'invariance au post-traitement et un lien rigoureux entre les paramètres de la BMP et les probabilités d'erreur des attaques d'inférence d'appartenance.
3. Outil d'audit : Un mécanisme pratique, sensible à l'échantillonnage, pour estimer les paramètres de la BMP à l'aide des résultats de MIA, permettant une évaluation fine de la confidentialité.
4. Validation empirique : Expérimentations sur des jeux de données de graphes de référence démontrant que la BMP révèle des informations de confidentialité fines (variations de risque selon les nœuds) qui sont invisibles lorsqu'on s'appuie uniquement sur la précision globale de l'attaque.

Résultats et affirmations

Les auteurs affirment que leur cadre offre une compréhension plus précise et nuancée de la confidentialité dans les GNN par rapport aux méthodes existantes.

• Informations fines : Les expériences montrent que la fuite de confidentialité n'est pas uniforme ; elle varie considérablement en fonction des probabilités d'échantillonnage spécifiques aux nœuds et de la position structurelle. Les métriques globales (comme la précision moyenne de l'attaque) ne parviennent pas à capturer cette hétérogénéité.
• Sensibilité à l'échantillonnage : Le cadre quantifie avec succès comment différentes stratégies d'échantillonnage de graphes, les tailles d'ensembles d'entraînement et les configurations d'arêtes influencent la fuite de confidentialité au niveau des nœuds.
• Cohérence théorique : L'article démontre que la BMP est une généralisation nécessaire pour les contextes de graphes où l'hypothèse d'échangeabilité des données i.i.d. ne tient pas.

Signification

Cet article positionne la BMP comme une évolution nécessaire des définitions de confidentialité pour l'apprentissage relationnel. Il soutient que sans la prise en compte des dépendances structurelles et des priors induits par l'échantillonnage, les garanties de confidentialité dans les GNN sont soit excessivement restrictives (échouant à refléter la réalité), soit insuffisantes (échouant à protéger les informations structurelles sensibles). En déplaçant l'attention des bornes d'erreur uniformes vers les mises à jour des croyances a posteriori conditionnées par les priors, la BMP offre un moyen fondé pour auditer et quantifier les risques de confidentialité dans les systèmes d'apprentissage automatique basés sur les graphes.