Resumo Técnico: Impacto da Estrutura de Grafo no Risco de Inferência de Membros para Redes Neurais de Grafos

Declaração do Problema

As Redes Neurais de Grafos (GNNs) são amplamente implantadas para tarefas como classificação de nós e predição de links, mas sua aplicação em domínios sensíveis levanta preocupações significativas em relação ao vazamento de dados de treinamento. Embora trabalhos anteriores sobre vazamento de privacidade em GNNs tenham amplamente adaptado suposições de domínios independentes e identicamente distribuídos (i.i.d.), essa abordagem negligencia o papel crítico da estrutura do grafo. Especificamente, estudos existentes frequentemente tratam instâncias de dados como independentes, falhando em considerar a interdependência dos nós causada pelas arestas.

Este artigo aborda o problema da inferência de membro (MI) ao nível do nó: dado um GNN treinado, um adversário pode determinar se um nó específico fez parte do conjunto de treinamento? Os autores argumentam que, no aprendizado baseado em grafos, a definição de uma "instância de dado" não é meramente um vetor de características do nó, mas sim uma tupla nó–vizinhança. Consequentemente, o risco de privacidade é modulado por duas dimensões específicas de grafos que são frequentemente ignoradas em análises padrão:

1. Construção do grafo de treinamento: Como o subgrafo de treinamento é amostrado (ex: amostragem aleatória vs. amostragem de bola de neve/snowball sampling).
2. Acesso a arestas no tempo de inferência: A extensão da estrutura do grafo (arestas) disponível ao adversário durante o ataque.

O artigo postula que os resultados de auditoria de privacidade padrão, que dependem da permutabilidade estatística, podem não se aplicar diretamente a cenários de grafos indutivos onde os nós de treinamento e teste são estruturalmente dependentes.

Metodologia

Estrutura Teórica

Os autores formalizam a MI ao nível do nó definindo a instância de entrada como uma tupla $z_v = (x_v, y_v, N^L(v), \{x_u : u \in N^L(v)\})$, onde $N^L(v)$ é a vizinhança de $L$ saltos. Eles adaptam a definição de permutabilidade estatística para GNNs. O artigo prova (Teorema 3.2) que, em cenários indutivos, seja usando amostragem aleatória ou amostragem de bola de neve, a distribuição conjunta das tuplas nó–vizinhança de treinamento e teste não é estatisticamente permutável. Isso ocorre porque a estrutura de vizinhança de um nó de teste depende do conjunto específico de nós de treinamento amostrados e do próprio processo de amostragem (ex: a ordem de travessia na amostragem de bola de neve), violando a invariância de permutação necessária para as garantias de auditoria de privacidade diferencial (DP) padrão.

Configuração Experimental

O estudo avalia o impacto da estrutura do grafo no risco de MI usando três conjuntos de dados: Cora, Chameleon e PubMed.

• Estratégias de Amostragem: Os autores comparam a Amostragem Aleatória Uniforme de Nós (padrão na literatura) contra a Amostragem de Bola de Neve (comum em cenários do mundo real, como rastreamento de contatos e construção de redes sociais). A amostragem de bola de neve começa a partir de nós semente e adiciona iterativamente seus vizinhos, introduzindo um viés de cobertura em direção a hubs de alto grau.
• Regimes de Inferência: Os autores analisam três cenários de acesso a arestas no tempo de inferência:
  1. Original: Apenas arestas dentro do conjunto de treinamento e dentro do conjunto de teste são usadas (arestas de treino/teste são disjuntas).
  2. FullGraph (Grafo Completo): Todas as arestas do grafo subjacente, incluindo aquelas que conectam nós de treinamento e teste, estão disponíveis.
  3. NoEdges (Sem Arestas): Nenhuma estrutura de grafo é usada; as predições dependem apenas das características dos nós.
• Modelo de Ataque: Para isolar o efeito da estrutura do grafo dos artefatos do modelo de sombra (shadow-model), os autores ignoram a abordagem tradicional de modelo de sombra. Em vez disso, eles treinam diretamente um classificador binário (um MLP de 2 camadas) sobre o status de membros reais de uma fração ($r \in \{0.1, 0.2, 0.5, 0.8\}$) de nós membros e não membros, usando as probabilidades de predição do modelo alvo e a perda de entropia cruzada como entradas.
• Modelos: Os experimentos utilizam arquiteturas GCN, GAT e GraphSage.

Principais Resultados

1. Impacto da Estratégia de Amostragem na Generalização

• Amostragem de Bola de Neve vs. Amostragem Aleatória: A amostragem de bola de neve frequentemente resulta em um maior gap de generalização (diferença entre a acurácia de treino e de teste) em comparação com a amostragem aleatória. Isso é atribuído ao viés de cobertura, onde a amostragem de bola de neve sobreamostra hubs de alto grau e regiões específicas do grafo, enquanto sub-representa comunidades periféricas. Esse viés leva a uma distribuição de treinamento não-i.i.d. que generaliza mal para nós retidos (held-out nodes).
• Densidade de Arestas: A amostragem de bola de neve tende a produzir grafos de treinamento com maior conectividade (exceto em conjuntos de dados de baixa homofilia como o Chameleon, onde a amostragem aleatória pode gerar maior densidade devido à falta de limitação de vizinhos).

2. Impacto do Acesso a Arestas no Tempo de Inferência

• Desempenho: Permitir o acesso às arestas do FullGraph (incluindo arestas entre treino e teste) geralmente melhora a acurácia de teste e reduz o gap treino–teste, pois o modelo pode alavancar informações de vizinhança mais completas.
• Vazamento de Privacidade (Vantagem de Membro): O efeito no risco de MI é complexo e dependente do cenário:
  • Divisão Original (Original Split): Frequentemente produz a maior vantagem de membro, pois o contexto estrutural dos nós de treinamento (disjunto dos nós de teste) cria uma assinatura comportamental distinta.
  • FullGraph: Surpreendentemente, fornecer acesso total às arestas frequentemente reduz a vantagem de membro (tornando membros e não membros mais difíceis de distinguir), particularmente para GCN e GAT. A mistura de informações através das fronteiras de treino-teste obscurece a distinção entre os dois grupos.
  • NoEdges: Embora este cenário frequentemente aumente o gap de desempenho (devido à falta de contexto estrutural), ele frequentemente resulta em uma menor vantagem de membro em comparação com a divisão Original. Isso sugere que um grande gap de generalização não é um proxy confiável para um alto risco de privacidade em grafos.

3. Desacoplamento do Gap de Generalização e Risco de Privacidade

O artigo demonstra que o gap de generalização é um proxy incompleto para o risco de inferência de membro.

• Em vários cenários (ex: configuração NoEdges), o gap de desempenho aumenta enquanto a vantagem de membro diminui.
• Inversamente, em alguns casos (ex: FullGraph em grafos homofílicos como o Cora), a vantagem de membro pode ser maior do que na configuração NoEdges, mesmo quando o gap de desempenho é menor.
• Este desacoplamento indica que o vazamento de privacidade é impulsionado não apenas pelo overfitting (memorização), mas pelas dependências estruturais e pela informação específica disponível durante a inferência.

4. Sensibilidade Específica do Modelo

• GCN e GAT: Estes modelos, que realizam a média das características dos vizinhos, são altamente sensíveis ao acesso às arestas. A configuração "FullGraph" reduz significamente a vulnerabilidade desses modelos a ataques de MI ao suavizar as representações por todo o grafo.
• GraphSage: Mostra uma vantagem de membro mais estável através de diferentes configurações de acesso a arestas. Os autores hipotetizam que isso se deve ao mecanismo do GraphSage de concatenar as características próprias com as características agregadas dos vizinhos, em vez de apenas tirar a média, preservando mais sinais específicos do nó.

Significância e Alegações

O artigo afirma que a estrutura do grafo molda diretamente o risco de privacidade de maneiras que não podem ser capturadas pelas suposições i.i.d. padrão.

1. Invalidade da Auditoria Padrão: Os autores estabelecem teoricamente que o aprendizado de grafos indutivo quebra a permutabilidade estatística. Portanto, a vantagem de membro empírica não pode ser traduzida diretamente em um limite inferior para o orçamento de privacidade diferencial, como é comum em configurações não-grafos. A própria distribuição geradora de dados (via viés de amostragem) pode vazar informações de membro independentemente dos parâmetros aprendidos pelo modelo.
2. Reavaliação dos Modelos de Ameaça: O estudo argumenta que as avaliações de privacidade realistas para GNNs devem modelar explicitamente o conhecimento do adversário sobre a estrutura do grafo (tanto durante a construção do treinamento quanto na inferência). Assumir que um adversário tem acesso ao grafo completo ou a nenhuma aresta leva a avaliações de risco drasticamente diferentes.
3. Limitações das Métricas de Generalização: O artigo conclui que confiar apenas no gap de generalização para estimar o risco de privacidade é insuficiente para GNNs. O vazamento de privacidade pode subir ou descer independentemente do gap de generalização, impulsionado pela interação específica entre as estratégias de amostragem e a disponibilidade de arestas no tempo de inferência.

Os autores disponibilizam seu código e dados para facilitar novas pesquisas em análise de privacidade específica de grafos, enfatizando a necessidade de novas noções de privacidade que considerem as estratégias de construção do grafo de treinamento.