Resumen Técnico: Replanteando los Ataques de Reconstrucción Generativa contra Modelos de Redes Neuronales de Grafos

Declaración del Problema

La creciente aplicación de las Redes Neuronales de Grafos (GNN, por sus siglas en inglés) en dominios sensibles como el descubrimiento de fármacos, el análisis de redes sociales y los sistemas financieros ha aumentado la preocupación por la privacidad de los datos. Si bien las GNN manejan eficazmente datos no euclidianos, filtran inadvertidamente información sensible sobre sus datos de entrenamiento. Este artículo aborda la vulnerabilidad específica de las GNN ante los ataques de Inversión de Modelo (MI), donde un adversario intenta reconstruir los grafos privados utilizados para entrenar un modelo víctima. A diferencia de trabajos previos que a menudo asumen el acceso a embeddings intermedios o dependen de una estimación de gradiente de alto número de consultas, este estudio investiga las capacidades de reconstrucción bajo entornos de caja negra (black-box), donde el adversario solo tiene acceso a las salidas del modelo (predicciones o embeddings) y a datos auxiliares de la misma distribución.

Metodología

Los autores proponen dos nuevos ataques de reconstrucción de grafos utilizando Redes Generativas Antagónicas (GANs) para modelar el proceso de inversión como un problema de generación de grafos condicional. Los ataques operan bajo un modelo de amenaza de caja negra donde el adversario consulta una GNN objetivo ($Q_m$) para obtener predicciones o representaciones intermedias.

1. Variantes de Ataque

• Ataque Condicionado por Gráfico y Etiqueta (GLC):

  • Entrada: El generador está condicionado por la estructura del grafo de entrada, la etiqueta predicha ($y$) obtenida del modelo víctima y el ruido latente ($z$).
  • Mecanismo: El adversario consulta el modelo objetivo para obtener $y = Q_m(G)$. El conjunto de datos de ataque se forma como pares de $(G, y)$. El generador $S_\phi$ aprende a reconstruir el grafo $\hat{G}$ condicionado en $y$ y el ruido, mientras que el discriminador $K_\psi$ distingue entre pares de grafo-etiqueta reales y generados.
  • Objetivo: Recuperar la distribución subyacente del grafo $p(\hat{G} | y)$.

• Ataque Condicionado por Embedding y Etiqueta (ELC):

  • Entrada: El generador está condicionado por el embedding intermedio ($h$), la etiqueta real ($y$) y el ruido latente ($z$).
  • Mecanismo: El adversario consulta el modelo objetivo para obtener los embeddings $h = Q_m(G)$. El conjunto de datos de ataque consiste en pares $(h, y)$. El generador reconstruye el grafo $\hat{G}$ a partir de $h$ y $y$.
  • Objetivo: Reconstruir datos de entrenamiento sensibles utilizando el espacio de embedding filtrado, optimizando tanto la consistencia de la etiqueta como la pérdida de reconstrucción del grafo.

2. Configuración Experimental

• Conjuntos de Datos: Los experimentos se realizaron en tres conjuntos de datos de referencia de proteínas y moléculas: NCI1, PROTEINS y AIDS.
• Líneas Base (Baselines): Los métodos basados en GAN propuestos se compararon con líneas base de Autoencoders Variacionales (VAE).
• Eficiencia de Consulta: Se probaron dos variantes del método propuesto:
  • Ours: Entrenado con el 100% de los datos disponibles del conjunto de datos sombra.
  • Ours−−: Entrenado con solo el 50% del conjunto de datos para simular capacidades de consulta reducidas.
• Métricas de Evaluación: La calidad de la reconstrucción se evaluó mediante cuatro métricas estructurales y de distribución de grafos:
  • FGD: Distancia de Gráficos de Fréchet (similitud de caminos).
  • EGD: Distancia de Gráficos de Aristas (camino más corto).
  • MMD: Discrepancia de la Media Máxima (diferencia de distribución).
  • GKS: Similitud de Kernel de Grafo (similitud estructural).
• Parámetro de Ruido: El estudio varió la escala de ruido Laplaciano ($\epsilon$) en 0.25, 0.5 y 0.75 para probar la estabilidad.

Resultados Clave

Los resultados experimentales demuestran que los ataques generativos basados en GAN superan significativamente a las líneas base basadas en VAE en la reconstrucción de datos de grafos sensibles de las GNN.

• Reconstrucción Superior: En los tres conjuntos de datos (NCI1, PROTEINS, AIDS) y ambos tipos de ataque (GLC y ELC), los métodos propuestos Ours y Ours−− lograron consistentemente menores tasas de error (FGD, EGD, MMD) y mayores puntuaciones de similitud (GKS) en comparación con las líneas base de VAE.
• Robustez ante Consultas Reducidas: La variante Ours−−, que utilizó solo el 50% de los datos de consulta, mantuvo un rendimiento competitivo, superando a menudo a las líneas base de VAE de datos completos. Esto sugiere que los ataques basados en GAN son altamente eficientes incluso con acceso limitado al modelo víctima.
• Impacto del Ruido ($\epsilon$): El estudio encontró que el parámetro de ruido influye significativamente en la estabilidad de la reconstrucción. Un valor de $\epsilon$ de 0.75 generalmente produjo las reconstrucciones más estables y precisas en todas las métricas, mientras que $\epsilon = 0.25$ a menudo degradó el rendimiento. Se observó que el $\epsilon$ óptimo dependía de la dispersión y la naturaleza del conjunto de datos específico.
• Rendimiento Específico:
  • En NCI1, el método propuesto mostró mejoras de aproximadamente el 48% en FGD, 31% en EGD y 50% en MMD en $\epsilon=0.5$ en comparación con las líneas base.
  • En PROTEINS y AIDS, los métodos propuestos superaron consistentemente a los VAE, particularmente en niveles de ruido más altos ($\epsilon=0.75$), demostrando la capacidad de recuperar propiedades estructurales incluso bajo condiciones ruidosas.

Significado y Reivindicaciones

El artículo afirma que las GNN son altamente vulnerables a los ataques de privacidad, específicamente que la relación entre las salidas del modelo (predicciones/embeddings) y los datos de entrenamiento permite una reconstrucción de alta calidad de las estructuras de grafos sensibles.

• Cuantificación de la Vulnerabilidad: El estudio cuantifica la filtración en las GNN, mostrando que un adversario puede utilizar técnicas de generador-discriminador para reconstruir grafos en escenarios reales de caja negra sin necesidad de acceder a los datos de entrenamiento originales o a los gradientes del modelo.
• Eficiencia: El trabajo destaca que es posible lograr una reconstrucción de alta fidelidad incluso con capacidades de consulta reducidas (50% de los datos), desafiando la suposición de que el acceso limitado proporciona una protección de privacidad suficiente.
• Implicaciones: Los autores aseguran que estos hallazgos subrayan la necesidad urgente de mecanismos de defensa más sólidos en el aprendizaje basado en grafos. Sugieren que los despliegues actuales de GNN pueden exponer inadvertidamente información estructural sensible (por ejemplo, estructuras moleculares en el descubrimiento de fármacos), lo que requiere investigación en defensas que desacoplen las predicciones del modelo de los datos de entrenamiento sin comprometer la utilidad del modelo.

El artículo concluye posicionando estos ataques como un paso crítico hacia una "IA confiable", enfatizando que comprender estas vulnerabilidades es un prerrequisito para desarrollar sistemas de aprendizaje de grafos que preserven la privacidad de manera efectiva.