Resumen Técnico: Impacto de la Estructura del Grafo en el Riesgo de Inferencia de Membrecía para Redes Neuronales de Grafos

Declaración del Problema

Las Redes Neuronales de Grafos (GNN) se despliegan ampliamente para tareas como la clasificación de nodos y la predicción de enlaces, pero su aplicación en dominios sensibles plantea preocupaciones significativas respecto a la filtración de datos de entrenamiento. Si bien trabajos previos sobre la filtración de privacidad en GNN se han basado mayoritariamente en supuestos de dominios independientes e idénticamente distribuidos (i.i.d.), este enfoque pasa por alto el papel crítico de la estructura del grafo. Específicamente, los estudios existentes suelen tratar las instancias de datos como independientes, fallando al no contabilizar la interdependencia de los nodos causada por las aristas.

Este artículo aborda el problema de la inferencia de membresía (MI) a nivel de nodo: dado un GNN entrenado, ¿puede un adversario determinar si un nodo específico formó parte del conjunto de entrenamiento? Los autores argumentan que, en el aprendizaje basado en grafos, la definición de una "instancia de datos" no es meramente un vector de características de nodo, sino una tupla de nodo-vecindad. Por consiguiente, el riesgo de privacidad está modulado por dos dimensiones específicas del grafo que suelen ignorarse en los análisis estándar:

1. Construcción del grafo de entrenamiento: Cómo se muestrea el subgrafo de entrenamiento (por ejemplo, muestreo aleatorio vs. muestreo de bola de nieve o snowball sampling).
2. Acceso a las aristas en el tiempo de inferencia: El alcance de la estructura del grafo (aristas) disponible para el adversario durante el ataque.

El artículo postula que los resultados de auditoría de privacidad estándar, que dependen de la intercambiabilidad estadística, pueden no aplicarse directamente a entornos de grafos inductivos donde los nodos de entrenamiento y de prueba son estructuralmente dependientes.

Metodología

Marco Teórico

Los autores formalizan la MI a nivel de nodo definiendo la instancia de entrada como una tupla $z_v = (x_v, y_v, N^L(v), \{x_u : u \in N^L(v)\})$, donde $N^L(v)$ es la vecindad de $L$ saltos. Adaptan la definición de intercambiabilidad estadística a las GNN. El artículo demuestra (Teorema 3.2) que en entornos inductivos, ya sea utilizando muestreo aleatorio o de bola de nieve, la distribución conjunta de las tuplas de nodo-vecindad de entrenamiento y de prueba no es estadísticamente intercambiable. Esto se debe a que la estructura de vecindad de un nodo de prueba depende del conjunto específico de nodos de entrenamiento muestreados y del proceso de muestreo en sí mismo (por ejemplo, el orden de recorrido en el muestreo de bola de nieve), lo que viola la invarianza de permutación requerida para las garantías de auditoría de la privacidad diferencial (DP) estándar.

Configuración Experimental

El estudio evalúa el impacto de la estructura del grafo en el riesgo de MI utilizando tres conjuntos de datos: Cora, Chameleon y PubMed.

• Estrategias de Muestreo: Los autores comparan el Muestreo Aleatorio Uniforme de Nodos (estándar en la literatura) frente al Muestreo de Bola de Nieve (común en escenarios del mundo real como el rastreo de contactos y la construcción de redes sociales). El muestreo de bola de nieve comienza desde nodos semilla y añade iterativamente sus vecinos, introduciendo un sesgo de cobertura hacia los centros (hubs) de alto grado.
• Regímenes de Inferencia: Los autores analizan tres escenarios de acceso a aristas en el tiempo de inferencia:
  1. Original: Solo se utilizan las aristas dentro del conjunto de entrenamiento y dentro del conjunto de prueba (las aristas de entrenamiento/prueba son disjuntas).
  2. FullGraph: Todas las aristas del grafo subyacente, incluyendo aquellas que conectan nodos de entrenamiento y de prueba, están disponibles.
  3. NoEdges: No se utiliza ninguna estructura de grafo; las predicciones dependen únicamente de las características de los nodos.
• Modelo de Ataque: Para aislar el efecto de la estructura del grafo de los artefactos del modelo de sombra (shadow-model), los autores omiten el enfoque tradicional de modelo de sombra. En su lugar, entrenan directamente un clasificador binario (un MLP de 2 capas) sobre el estado de membresía real de una fracción ($r \in \{0.1, 0.2, 0.5, 0.8\}$) de los nodos miembros y no miembros, utilizando las probabilidades de predicción del modelo objetivo y la pérdida de entropía cruzada como entradas.
• Modelos: Los experimentos utilizan arquitecturas GCN, GAT y GraphSage.

Resultados Clave

1. Impacto de la Estrategia de Muestreo en la Generalización

• Muestreo de Bola de Nieve vs. Muestreo Aleatorio: El muestreo de bola de nieve suele resultar en una brecha de generalización mayor (diferencia entre la precisión de entrenamiento y de prueba) en comparación con el muestreo aleatorio. Esto se atribuye al sesgo de cobertura, donde el muestreo de bola de nieve sobremuestrea los centros de alto grado y regiones específicas del grafo mientras subrepresenta las comunidades periféricas. Este sesgo conduce a una distribución de entrenamiento no i.i.d. que generaliza mal hacia los nodos retenidos.
• Densidad de Aristas: El muestreo de bola de nieve tiende a producir grafos de entrenamiento con una mayor conectividad (excepto en conjuntos de datos de baja homofilia como Chameleon, donde el muestreo aleatorio puede generar una mayor densidad debido a la falta de limitación de vecinos).

2. Impacto del Acceso a las Aristas en el Tiempo de Inferencia

• Rendimiento: Permitir el acceso a las aristas de FullGraph (incluyendo las aristas entre entrenamiento y prueba) generalmente mejora la precisión de prueba y reduce la brecha entre entrenamiento y prueba, ya que el modelo puede aprovechar información de vecindad más completa.
• Filtración de Privacidad (Ventaja de Membresía): El efecto en el riesgo de MI es complejo y dependiente del entorno:
  • División Original (Original Split): Suele ofrecer la mayor ventaja de membresía, ya que el contexto estructural de los nodos de entrenamiento (disjunto de los nodos de prueba) crea una firma de comportamiento distintiva.
  • FullGraph: Sorprendentemente, proporcionar acceso total a las aristas a menudo reduce la ventaja de membresía (haciendo que los miembros y no miembros sean más difíciles de distinguir), particularmente para GCN y GAT. La mezcla de información a través de los límites de entrenamiento-prueba difumina la distinción entre ambos grupos.
  • NoEdges: Aunque este escenario a menudo aumenta la brecha de rendimiento (debido a la falta de contexto estructural), frecuentemente resulta en una menor ventaja de membresía en comparación con la división Original. Esto sugiere que una gran brecha de generalización no es un indicador fiable de un alto riesgo de privacidad en grafos.

3. Desacoplamiento de la Brecha de Generalización y el Riesgo de Privacidad

El artículo demuestra que la brecha de generalización es un proxy incompleto para el riesgo de inferencia de membresía.

• En varios escenarios (por ejemplo, el entorno NoEdges), la brecha de rendimiento aumenta mientras que la ventaja de membresía disminuye.
• Por el contrario, en algunos casos (por ejemplo, FullGraph en grafos homofílicos como Cora), la ventaja de membresía puede ser mayor que en el entorno NoEdges, incluso cuando la brecha de rendimiento es menor.
• Este desacoplamiento indica que la filtración de privacidad es impulsada no solo por el sobreajuste (memorización), sino por las dependencias estructurales y la información específica disponible durante la inferencia.

4. Sensibilidad Específica del Modelo

• GCN y GAT: Estos modelos, que promedian las características de los vecinos, son altamente sensibles al acceso a las aristas. El entorno "FullGraph" reduce significamente su vulnerabilidad a los ataques de MI al suavizar las representaciones a través de todo el grafo.
• GraphSage: Muestra una ventaja de membresía más estable a través de diferentes entornos de acceso a aristas. Los autores hipotetizan que esto se debe al mecanismo de GraphSage de concatenar las características propias con las características agregadas de los vecinos en lugar de promediarlas, preservando más señales específicas del nodo.

Significado y Reivindicaciones

El artículo afirma que la estructura del grafo moldea directamente el riesgo de privacidad de formas que no pueden capturarse mediante los supuestos i.i.d. estándar.

1. Invalidación de la Auditoría Estándar: Los autores establecen teóricamente que el aprendizaje de grafos inductivos rompe la intercambiabilidad estadística. Por lo tanto, la ventaja de membresía empírica no puede traducirse directamente en un límite inferior del presupuesto de privacidad diferencial, como ocurre habitualmente en entornos no gráficos. La propia distribución generadora de datos (a través del sesgo de muestreo) puede filtrar información de membresía independientemente de los parámetros aprendidos por el modelo.
   2.Reevaluación de los Modelos de Amenaza: El estudio argumenta que las evaluaciones de privacidad realistas para GNN deben modelar explícitamente el conocimiento del adversario sobre la estructura del grafo (tanto durante la construcción del entrenamiento como en la inferencia). Asumir que un adversario tiene acceso al grafo completo o a ninguna arista conduce a evaluaciones de riesgo radicalmente distintas.
2. Limitaciones de las Métricas de Generalización: El artículo concluye que confiar únicamente en la brecha de generalización para estimar el riesgo de privacidad es insuficiente para las GNN. La filtración de privacidad puede aumentar o disminuir independientemente de la brecha de generalización, impulsada por la interacción específica entre las estrategias de muestreo y la disponibilidad de aristas en el tiempo de inferencia.

Los autores liberan su código y datos para facilitar la investigación futura en el análisis de privacidad específico de grafos, enfatizando la necesidad de nuevas nociones de privacidad que tengan en cuenta las estrategias de construcción del grafo de entrenamiento.