COPYCOP: Ownership Verification for Graph Neural Networks

Resumo Técnico: COPYCOP – Verificação de Propriedade para Redes Neurais em Grafos

1. Declaração do Problema

O artigo aborda a questão crítica da verificação de propriedade para Redes Neurais em Grafos (GNNs) implantadas como "Embeddings-as-a-Service". Neste cenário, um modelo vítima $M$ fornece embeddings de nós para tarefas subsequentes. Um adversário pode realizar um ataque de extração de modelo consultando $M$ em diversos grafos, coletando pares de entrada-saída e treinando um modelo substituto $Z$ para imitar esses embeddings.

O desafio central é distinguir se um GNN candidato $Z$ foi treinado independentemente ou se é um substituto derivado de $M$. Isso é complicado pelo fato de que um adversário pode aplicar várias transformações aos embeddings de saída do substituto (por exemplo, rotação, escalonamento, permutação ou alteração das dimensões de embedding) e utilizar arquiteturas ou pesos diferentes. Os métodos existentes falham sob essas condições:

• Marcação d'água: Métodos que incorporam sinais especiais (por exemplo, backdoors) no modelo vítima são vulneráveis porque um adversário treinando em dados de consulta comuns não precisa reproduzir esses comportamentos específicos marcados.
• Impressão digital: As impressões digitais baseadas em embeddings existentes frequentemente dependem de comparações diretas de similaridade, que são facilmente quebradas por transformações lineares ou não lineares que alteram o espaço de embedding enquanto preservam a utilidade subsequente.

2. Metodologia: COPYCOP

O COPYCOP propõe um método de impressão digital que não modifica o modelo vítima. Em vez disso, baseia-se nos pontos estacionários da função de embedding como impressões digitais intrínsecas e invariantes a transformações.

Conceito Central:
O embedding de um nó $h_i(X)$ é uma função da estrutura do grafo e das características dos nós. Um ponto estacionário é definido como uma tupla $(G, X, i, w)$ onde perturbar as características do nó $x_i$ na direção $w$ resulta em nenhuma mudança de primeira ordem no embedding (ou seja, a derivada direcional $\nabla_w h_i(X) = 0$).

Base Teórica:

• Invariância: Se um modelo substituto $Z$ produzir embeddings $h'_i = \phi(h_i)$, onde $\phi$ é uma transformação localmente invertível (Assunção 3.4), os pontos estacionários de $h_i$ também são pontos estacionários de $h'_i$. Isso ocorre porque, se o gradiente de $h_i$ é zero, o gradiente de $\phi(h_i)$ também deve ser zero (Lema 3.6).
• Unicidade: Os autores assumem que modelos treinados independentemente convergem para ótimos locais diferentes, o que significa que seus conjuntos de pontos estacionários $S(M)$ e $S(I)$ são amplamente disjuntos (Assunção 3.7).

Algoritmo (Caso Geral):
Como pontos estacionários exatos podem não existir ou ser computáveis no caso geral (devido a erros de reconstrução ou não diferenciabilidade), o COPYCOP utiliza uma métrica de aproximação $\beta_F$:

1. Amostragem: O algoritmo amostra tuplas dos pontos estacionários do modelo vítima $S(M)$ e de uma distribuição aleatória sobre o espaço de consultas.
2. Cálculo da Métrica: Para um modelo candidato $Z$, calcula-se $q_Z(t)$, a magnitude normalizada da mudança no embedding quando as características são perturbadas. Em seguida, calcula-se $\beta_Z$, a razão entre o $q_Z$ esperado próximo aos pontos estacionários versus pontos aleatórios.
3. Decisão:
   • Se $Z$ for a vítima ou um substituto, $\beta_Z$ é pequeno (próximo de 0) porque os pontos estacionários de $M$ permanecem "estacionários" para $Z$.
   • Se $Z$ for um modelo independente, $\beta_Z$ é significativamente maior porque $Z$ não compartilha os pontos estacionários de $M$.
   • O algoritmo classifica $Z$ como um substituto se $\hat{\beta}_Z \leq \theta$ (Algoritmo 2).

Detalhes de Implementação:

• Amostragem de Pontos Estacionários: O método utiliza um solucionador de otimização (sem exigir acesso ao gradiente do modelo) para encontrar vetores de características $X$ que minimizam a derivada direcional normalizada, regularizados para permanecerem próximos de distribuições de dados realistas.
• Robustez: O método é agnóstico à arquitetura e lida com mudanças nas dimensões de embedding. Ele gera novos grafos de consulta dinamicamente, impedindo que vazamentos comprometam verificações futuras.

3. Contribuições Principais

• Mecanismo de Impressão Digital Inovador: O COPYCOP é o primeiro método de impressão digital para embeddings de GNN que é robusto a uma ampla classe de transformações adversariais (rotação, escalonamento, mudanças de dimensionalidade) e funciona em diferentes arquiteturas de GNN.
• Garantias Teóricas: O artigo fornece provas formais (Teoremas 3.8 e 3.15) demonstrando que o método pode distinguir substitutos de modelos independentes com alta probabilidade sob suposições razoáveis sobre as funções de transformação e distribuições de pontos estacionários.
• Sem Necessidade de Marcação d'Água: Diferentemente de trabalhos anteriores, o COPYCOP não exige modificar o processo de treinamento do modelo vítima, evitando degradação de desempenho e vulnerabilidade a ataques de extração que ignoram entradas especiais.
• Impressões Digitais Aleatórias: As impressões digitais são aleatórias e podem ser regeneradas, garantindo que consultas vazadas não comprometam permanentemente o sistema de verificação.

4. Resultados Experimentais

Os autores avaliaram o COPYCOP em 14 conjuntos de dados (abrangendo moléculas, citações, redes sociais, etc.) e 5 arquiteturas de GNN (GCN, GIN, GraphSage, ARMA, MixHop).

• Precisão de Extração de Modelo: O COPYCOP alcançou pontuações perfeitas ou quase perfeitas de Área sob a Curva (AUC) (por exemplo, AUC=1,00 para GCN, 0,99 para MixHop) na detecção de substitutos treinados via extração de modelo. Ele superou significativamente o método de marcação d'água PreGIP (em 17–48% entre arquiteturas) e o método de impressão digital GrOVe. O desempenho do PreGIP ocasionalmente caiu abaixo do acaso aleatório quando o substituto foi treinado apenas em dados comuns.
• Robustez a Transformações: O COPYCOP permaneceu robusto (0% de taxa de erro) contra rotação, escalonamento e projeção para dimensões mais altas. Embora o desempenho tenha diminuído ligeiramente sob transformações não lineares extremas (por exemplo, exponenciação), ele permaneceu muito superior ao PreGIP e ao GrOVe. Notavelmente, o GrOVe falhou completamente quando as dimensões de embedding mudaram.
• Ataques Adversariais:
  • Poda: O COPYCOP permaneceu robusto até 40% de poda de pesos (estável para GIN até 70%).
  • Ajuste Fino: A precisão de detecção permaneceu estável mesmo após o substituto ser ajustado finamente em um pequeno conjunto de dados rotulados.
• Eficiência: O método requer apenas 20–40 pontos estacionários para atingir uma AUC quase máxima.

5. Significado e Alegações

O artigo alega que o COPYCOP resolve uma lacuna fundamental na segurança dos GNNs como Serviço. Ao aproveitar a invariância matemática dos pontos estacionários, ele fornece um mecanismo confiável para verificação de propriedade que sobrevive às mudanças "cosméticas" que os adversários usam para obscurecer o roubo de modelos.

Os autores enfatizam que sua abordagem é modesta em suas suposições (por exemplo, exigindo apenas invertibilidade local das transformações), mas forte em seu desempenho empírico. Eles reconhecem limitações, como a necessidade de validação adicional de suposições relacionadas às distribuições de transformação e o custo computacional de encontrar pontos estacionários para grafos muito grandes ou embeddings de alta dimensionalidade. No entanto, eles afirmam que o COPYCOP oferece uma solução prática, robusta e fundamentada teoricamente onde as técnicas existentes de marcação d'água e impressão digital falham.