Resumen Técnico: Privacidad de Membresía Bayesiana para Redes Neuronales de Grafos

Planteamiento del Problema

Los análisis de privacidad existentes para las Redes Neuronales de Grafos (GNN) se basan en gran medida en supuestos derivados de entornos de datos independientes e idénticamente distribuidos (i.i.d.). Estos enfoques pasan por alto dos aspectos críticos de los datos con estructura de grafo: las correlaciones estructurales (donde los nodos son interdependientes a través de aristas y vecindarios superpuestos) y el muestreo estocástico del grafo de entrenamiento.

En los ataques de inferencia de membresía (MIA) estándar, el objetivo es determinar si un dato específico formó parte del conjunto de entrenamiento. Sin embargo, en las GNN, la inclusión de un solo nodo afecta las representaciones aprendidas de muchos otros. Además, los nodos de entrenamiento suelen seleccionarse mediante un proceso de muestreo que interactúa con la estructura del grafo, lo que significa que algunos nodos tienen una probabilidad inherente de ser incluidos mayor que otros.

Las definiciones actuales, como la Privacidad Diferencial (DP) o la Priv de Membresía (MP) estándar, suelen asumir:

1. Prioris Uniformes: Que todos los nodos tienen la misma probabilidad a priori de estar en el conjunto de entrenamiento.
2. Errores Simétricos: Que los errores de Tipo I y Tipo II son suficientes para caracterizar el riesgo de privacidad.
3. Intercambiabilidad: Que los nodos de entrenamiento y no entrenamiento son estadísticamente indistinguibles antes de que el algoritmo se ejecute.

Los autores argumentan que estas suposiciones fallan en los entornos de grafos. Las dependencias estructurales rompen la intercambiabilidad, y los prioris dependientes del nodo (impulsados por el mecanismo de muestreo) hacen que la precisión de ataque global o los límites de error fijos sean insuficientes para capturar la verdadera filtración de privacidad específica de cada nodo.

Metodología: Privacidad de Membresía Bayesiana (BMP)

Para abordar estas brechas, el artículo introduce la Privacidad de Membresía Bayesiana (BMP), un marco que trata la inferencia de membresía como una prueba de hipótesis bayesiana.

1. Modelo Probabilístico

Los autores definen un algoritmo de aprendizaje aleatorio $\mathcal{A} = (\mathcal{S}, \Phi)$ que consiste en:

• Muestreo ($\mathcal{S}$): Un mecanismo estocástico que selecciona un subconjunto de nodos $S \subseteq V$ para formar un subgrafo de entrenamiento.
• Entrenamiento ($\Phi$): Un procedimiento que produce una salida del modelo $W$ dado el subgrafo muestreado.

Variables clave incluyen:

• Variable de Membresía ($M_i$): Un indicador de si el nodo $i$ está en el conjunto muestreado $S$.
• Prior ($\gamma_i$): La probabilidad marginal $\Pr(M_i=1)$, que representa la probabilidad de inclusión del nodo basada en el mecanismo de muestreo.
• Posterior ($\pi_i$): La probabilidad $\Pr(M_i=1 | W=w)$, que representa la creencia del adversario tras observar la salida del modelo.

2. Definición de BMP

La BMP se define mediante el acotamiento de la razón entre las probabilidades (odds) a posteriori y las probabilidades a priori. Un algoritmo es $(\varepsilon_L, \varepsilon_R)$-BMP si para cualquier salida $w$ y nodo $i$:
$$e^{-\varepsilon_L} \leq \frac{\pi_i(1|w)}{\pi_i(0|w)} \cdot \frac{\gamma_i(0)}{\gamma_i(1)} \leq e^{\varepsilon_R}$$
Esta formulación incorpora explícitamente los prioris dependientes del nodo ($\gamma_i$) y permite la asimetría ($\varepsilon_L \neq \varepsilon_R$). Esta asimetría reconoce que el riesgo de privacidad de revelar la membresía (estar en el conjunto de entrenamiento) puede diferir de la de revelar la no-membresía.

El artículo también define conceptos relacionados:

• BMP-R / BMP-L: Versiones unidireccionales que se centran únicamente en el riesgo de revelar la membresía o la no-membresía.
• BMDP (BMD Bayesiano): Una versión diferencial condicionada a la membresía de todos los demás nodos, aunque los autores señalan que esto suele ser poco práctico para grafos debido al acoplamiento estructural.

3. Propiedades Teóricas

El artículo establece varias propiedades teóricas de la BMP:

• Límites de los Prioris: Los parámetros de privacidad $\varepsilon_L$ y $\varepsilon_R$ están limitados inferiormente por la razón de los prioris. Incluso un algoritmo de entrenamiento "perfectamente privado" no puede ocultar la filtración inherente al propio proceso de muestreo.
• Post-procesamiento: La BMP se preserva bajo transformaciones medibles de la salida del modelo.
• Composición: El artículo proporciona teoremas de composición para combinar la BMP con MP (múltiples operaciones privadas sobre una misma muestra) y la BMP con la BMP (múltiples rondas independientes de muestreo y entrenamiento).
• Garantías Estadísticas: Se establece una relación uno a uno entre los parámetros de la BMP y las regiones de error de Tipo I ($\alpha$) y Tipo II ($\beta$) de cualquier MIA. Específicamente, la región permitida para $(\alpha, \beta)$ depende de la probabilidad a priori del nodo $\eta_i$.

4. Mecanismo de Auditoría Práctica

Para estimar los parámetros de la BMP en la práctica, los autores proponen un mecanismo de auditoría:

• Diseño de MIA: Construyen MIAs a nivel de nodo utilizando modelos sombra entrenados en subgrafos muestreados.
• Estimación Bayesiana: Utilizando el vínculo teórico entre la BMP y las probabilidades de error, modelan los errores observados de Tipo I y Tipo II como si fueran extraídos de una región $R_{\eta}(\varepsilon_L, \varepsilon_R)$.
• Inferencia: Emplean un enfoque de Cadenas de Markov Monte Carlo (MCMC) para estimar la distribución a posteriori de $(\varepsilon_L, \varepsilon_R)$ basándose en los conteos de errores observados de los MIAs.

Contribuciones Clave

1. Marco BMP: Introducción de una formulación de privacidad de membresía bayesiana y consciente del muestreo que incorpora prioris dependientes del nodo y trata las probabilidades de muestreo de grafos como parte del conocimiento del adversario.
2. Análisis Teórico: Derivación de propiedades que incluyen reglas de composición, invariancia de post-procesamiento y un vínculo riguroso entre los parámetros de la BMP y las probabilidades de error de los ataques de inferencia de membresía.
3. Herramienta de Auditoría: Un mecanismo práctico y consciente del muestreo para estimar los parámetros de la BMP utilizando resultados de MIA, lo que permite una evaluación de la privacidad de grano fino.
4. Validación Empírica: Experimentos en conjuntos de datos de grafos de referencia que demuestran que la BMP revela conocimientos de privacidad de grano fino (variaciones de riesgo entre nodos) que son invisibles cuando se depende únicamente de la precisión de ataque global.

Resultados y Reclamaciones

Los autores afirman que su marco proporciona una comprensión más precisa y matizada de la privacidad en las GNN en comparación con los métodos existentes.

• Información de Grano Fino: Los experimentos muestran que la filtración de privacidad no es uniforme; varía significativamente según las probabilidades de muestreo específicas del nodo y la posición estructural. Las métricas globales (como la precisión de ataque promedio) no logran capturar esta heterogeneidad.
• Conciencia del Muestreo: El marco cuantifica con éxito cómo diferentes estrategias de muestreo de grafos, tamaños de conjunto de entrenamiento y configuraciones de aristas influyen en la filtración de privacidad a nivel de nodo.
• Consistencia Teórica: El artículo demuestra que la BMP es una generalización necesaria para los entornos de grafos donde el supuesto de intercambiabilidad de los datos i.i.d. no se cumple.

Significado

El artículo posiciona a la BMP como una evolución necesaria de las definiciones de privacidad para el aprendizaje relacional. Argumenta que sin tener en cuenta las dependencias estructurales y los prioris inducidos por el muestreo, las garantías de privacidad en las GNN son o bien excesivamente restrictivas (fallando en reflejar la realidad) o insuficientes (fallando en proteger la información estructural sensible). Al desplazar el enfoque de los límites de error uniformes hacia las actualizaciones de creencias a posteriori condicionadas por los prioris, la BMP ofrece una forma fundamentada de auditar y cuantificar los riesgos de privacidad en los sistemas de aprendizaje automático basados en grafos.