Resumo Técnico: Privacidade de Membros Bayesiana para Redes Neurais em Grafos

Declaração do Problema

As análises de privacidade existentes para Redes Neurais em Grafos (GNNs) baseiam-se amplamente em suposições derivadas de configurações de dados independentes e identicamente distribuídos (i.i.d.). Essas abordagens negligenciam dois aspectos críticos de dados com estrutura de grafo: correlações estruturais (onde os nós são interdependentes via arestas e vizinhanças sobrepostas) e amostragem estocástica de grafos de treinamento.

Em ataques de inferência de membro (MIA) padrão, o objetivo é determinar se um dado específico fez parte do conjunto de treinamento. No entanto, em GNNs, a inclusão de um único nó afeta as representações aprendidas de muitos outros. Além disso, os nós de treinamento são frequentemente selecionados por meio de um processo de amostragem que interage com a estrutura do grafo, o que significa que alguns nós têm uma probabilidade inerente de inclusão maior do que outros.

Definições atuais, como Privacidade Diferencial (DP) ou Privacidade de Membro (MP) padrão, frequentemente assumem:

1. Priors Uniformes: Que todos os nós têm uma probabilidade a priori igual de estarem no conjunto de treinamento.
2. Erros Simétricos: Que erros do Tipo-I e do Tipo-II são suficientes para caracterizar o risco de privacidade.
3. Troca de Ordem (Exchangeability): Que nós de treinamento e não-treinamento são estatisticamente indistinguíveis antes da execução do algoritmo.

Os autores argumentam que essas suposições falham em configurações de grafos. Dependências estruturais quebram a troca de ordem, e priors dependentes do nó (impulsionados pelo mecanismo de amostragem) tornam insuficientes a acurácia de ataque global ou os limites de erro fixos para capturar a verdadeira fuga de privacidade específica do nó.

Metodologia: Privacidade de Membro Bayesiana (BMP)

Para abordar essas lacunas, o artigo introduz a Privacidade de Membro Bayesiana (BMP), um framework que trata a inferência de membro como um teste de hipótese Bayesiano.

1. Modelo Probabilístico

Os autores definem um algoritmo de aprendizado randomizado $\mathcal{A} = (\mathcal{S}, \Phi)$ consistindo em:

• Amostragem ($\mathcal{S}$): Um mecanismo estocástico que seleciona um subconjunto de nós $S \subseteq V$ para formar um subgrafo de treinamento.
• Treinamento ($\Phi$): Um procedimento que produz uma saída de modelo $W$ dado o subgrafo amostrado.

Variáveis principais incluem:

• Variável de Membro ($M_i$): Um indicador para se o nó $i$ está no conjunto amostrado $S$.
• Prior ($\gamma_i$): A probabilidade marginal $\Pr(M_i=1)$, representando a probabilidade de inclusão do nó baseada no mecanismo de amostragem.
• Posterior ($\pi_i$): A probabilidade $\Pr(M_i=1 | W=w)$, representando a crença do adversário após observar a saída do modelo.

2. Definição de BMP

A BMP é definida pelo limite da razão entre as chances (odds) posteriores e as chances a priori. Um algoritmo é $(\varepsilon_L, \varepsilon_R)$-BMP se, para qualquer saída $w$ e nó $i$:
$$e^{-\varepsilon_L} \leq \frac{\pi_i(1|w)}{\pi_i(0|w)} \cdot \frac{\gamma_i(0)}{\gamma_i(1)} \leq e^{\varepsilon_R}$$
Esta formulação incorpora explicitamente priors dependentes do nó ($\gamma_i$) e permite assimetria ($\varepsilon_L \neq \varepsilon_R$). Esta assimetria reconhece que o risco de privacidade de revelar a membresia (estar no conjunto de treinamento) pode diferir de revelar a não-membresia.

O artigo também define conceitos relacionados:

• BMP-R / BMP-L: Versões unilaterais focadas exclusivamente no risco de revelar a membresia ou a não-membresia.
• BMDP (Bayesian MDP): Uma versão diferencial condicionada à membresia de todos os outros nós, embora os autores notem que isso é frequentemente impraticável para grafos devido ao acoplamento estrutural.

3. Propriedades Teóricas

O artigo estabelece várias propriedades teóricas da BMP:

• Limites de Prior: Os parâmetros de privacidade $\varepsilon_L$ e $\varepsilon_R$ são limitados inferiormente pela razão dos priors. Mesmo um algoritmo de treinamento "perfeitamente privado" não pode esconder a fuga inerente ao próprio processo de amostragem.
• Pós-processamento: A BMP é preservada sob transformações mensuráveis da saída do modelo.
• Composição: O artigo fornece teoremas de composição para combinar BMP com MP (múltiplas operações privadas em uma única amostra) e BMP com BMP (múltiplas rodadas independentes de amostragem e treinamento).
• Garantias Estatísticas: Uma relação um-para-um é estabelecida entre os parâmetros de BMP e as regiões de erro do Tipo-I ($\alpha$) e do Tipo-II ($\beta$) de qualquer MIA. Especificamente, a região permitida para $(\alpha, \beta)$ depende da probabilidade a priori $\eta_i$ do nó.

4. Mecanismo de Auditoria Prática

Para estimar os parâmetros de BMP na prática, os autores propõem um mecanismo de auditoria:

• Design de MIA: Eles constroem MIAs de nível de nó usando modelos de sombra treinados em subgrafos amostrados.
• Estimativa Bayesiana: Usando a ligação teórica entre BMP e probabilidades de erro, eles modelam os erros observados do Tipo-I e do Tipo-II como sendo extraídos de uma região $R_{\eta}(\varepsilon_L, \varepsilon_R)$.
• Inferência: Eles empregam uma abordagem de Cadeia de Markov Monte Carlo (MCMC) para estimar a distribuição posterior de $(\varepsilon_L, \varepsilon_R)$ com base nas contagens de erros observadas dos MIAs.

Principais Contribuições

1. Framework BMP: Introdução de uma formulação de privacidade de membro Bayesiana e consciente da amostragem que incorpora priors dependentes do nó e trata as probabilidades de amostragem de grafos como parte do conhecimento do adversário.
2. Análise Teórica: Derivação de propriedades incluindo regras de composição, invariância de pós-processamento e uma ligação rigorosa entre os parâmetros de BMP e as probabilidades de erro de ataques de inferência de membro.
3. Ferramenta de Auditoria: Um mecanismo prático e consciente da amostragem para estimar os parâmetros de BMP usando resultados de MIA, permitindo uma avaliação de privacidade refinada.
4. Validação Empírica: Experimentos em conjuntos de dados de grafos de referência demonstrando que a BMP revela insights de privacidade detalhados (variações de risco entre nós) que são invisíveis quando se depende apenas da acurácia de ataque global.

Resultados e Alegações

Os autores alegam que seu framework fornece uma compreensão mais precisa e matizada da privacidade em GNNs em comparação com métodos existentes.

• Insights Granulares: Experimentos mostram que a fuga de privacidade não é uniforme; ela varia significativamente com base nas probabilidades de amostragem específicas do nó e na posição estrutural. Métricas globais (como acurácia média de ataque) falham em capturar essa heterogeneidade.
• Consciência de Amostragem: O framework quantifica com sucesso como diferentes estratégias de amostragem de grafos, tamanhos de conjunto de treinamento e configurações de arestas influenciam a fuga de privacidade por nó.
• Consistência Teórica: O artigo demonstra que a BMP é uma generalização necessária para configurações de grafos onde a suposição de troca de ordem de dados i.i.d. não se sustenta.

Significância

O artigo posiciona a BMP como uma evolução necessária das definições de privacidade para o aprendizado relacional. Argumenta-se que, sem considerar as dependências estruturais e os priors induzidos pela amostragem, as garantias de privacidade em GNNs são ou excessivamente restritivas (falhando em refletir a realidade) ou insuficientes (falhando em proteger informações estruturais sensíveis). Ao mudar o foco de limites de erro uniformes para atualizações de crença a posteriori condicionadas a priors, a BMP oferece uma maneira fundamentada de auditar e quantificar riscos de privacidade em sistemas de aprendizado de máquina baseados em grafos.