Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy

Resumo Técnico: Limitações da Adjacência Adicionar/Remover na Privacidade Diferencial

1. O Problema

A Privacidade Diferencial (DP) é o padrão-ouro para proteger dados sensíveis no treinamento de modelos de aprendizado de máquina, limitando a capacidade de um adversário de distinguir entre dois conjuntos de dados adjacentes. No entanto, existe uma lacuna crítica entre a garantia teórica e a proteção prática em cenários específicos:

• Adjacência Adicionar/Remover ($\sim_{AR}$): A maioria das bibliotecas de DP (como Opacus) e implementações de DP-SGD utiliza esta relação, onde dois conjuntos de dados são adjacentes se um pode ser obtido do outro adicionando ou removendo um único registro. Isso protege principalmente contra ataques de inferência de associação (determinar se um indivíduo estava no conjunto de treinamento).
• A Lacuna de Proteção de Atributos: Em muitas aplicações de ML (como fine-tuning supervisionado), o objetivo é proteger os atributos de um registro conhecido (ex.: o rótulo de um usuário específico), e não apenas a sua presença. A relação de adjacência Adicionar/Remover não oferece proteção adequada contra ataques de inferência de atributos para indivíduos já conhecidos como parte do conjunto de dados.
• Adjacência de Substituição ($\sim_{S}$): Para proteger atributos, a relação correta é a de substituição, onde um registro $z$ é trocado por outro $z'$. Embora uma garantia de DP sob $\sim_{AR}$ implique uma garantia sob $\sim_{S}$, os parâmetros de privacidade resultantes são substancialmente mais fracos. O uso de contadores de privacidade baseados em $\sim_{AR}$ leva a uma superestimação perigosa da proteção real contra ataques de inferência de atributos.

2. Metodologia

Os autores desenvolveram um framework de auditoria para avaliar a vulnerabilidade de modelos DP sob a relação de adjacência de substituição, utilizando um modelo de ameaça de Estado Oculto (onde o adversário só acessa o modelo final, não os gradientes intermediários).

• Definição de Adjacência:
  • $\sim_{AR}$: $D' = D \setminus \{z\}$ ou $D' = D \cup \{z\}$.
  • $\sim_{S}$: $D' = (D \setminus \{z\}) \cup \{z'\}$.
• Técnicas de Auditoria (Criação de "Canários"):
  Os autores propõem algoritmos para criar pares de conjuntos de dados vizinhos ($D, D'$) que maximizam a distinguibilidade para um adversário. Eles exploram cinco cenários de auditoria:
  1. Espaço de Gradiente (S1 e S2): Criação de conjuntos de dados ou gradientes de pior caso onde o gradiente do alvo é oposto ao do canário ($g_z = -g_{z'}$) e saturado na norma de corte ($C$). Isso fornece o limite inferior empírico mais apertado.
  2. Espaço de Entrada (S3, S4, S5): Criação de amostras de entrada adversariais ($z'$) que substituem um alvo ($z$) no conjunto de dados natural.
     • Amostra Adversarial: Modificação de entrada para minimizar a similaridade de cosseno dos gradientes.
     • Amostra Mal Rotulada: Manter a entrada, mas alterar o rótulo para o que gera o gradiente mais dissimilar.
     • Amostra Natural Adversarial: Selecionar uma amostra de um conjunto auxiliar que seja maximamente dissimilar.
• Métricas de Avaliação:
  • Utilização de GDP (Gaussian Differential Privacy) e o método de Nasr et al. (2023) para calcular limites inferiores empíricos de $\epsilon$ baseados nas taxas de erro (FPR/FNR) de um classificador que tenta distinguir entre modelos treinados em $D$ e $D'$.
  • Comparação entre o $\epsilon$ auditado e os limites teóricos calculados por contadores de privacidade para $\sim_{AR}$ e $\sim_{S}$.

3. Principais Contribuições

1. Algoritmos de Auditoria para Substituição: Proposição de métodos para criar "canários" (dados de teste) otimizados para auditar a privacidade sob a relação de substituição, fornecendo limites inferiores empíricos que correspondem às garantias teóricas de contadores de substituição.
2. Demonstração de Lacuna de Proteção: Evidência empírica de que a privacidade vazada em modelos treinados com DP-SGD pode exceder significativamente as garantias derivadas de contadores de Adicionar/Remover, mas segue de perto as previsões de contadores de Substituição.
3. Crítica à Prática Atual: Alerta de que praticantes que utilizam bibliotecas padrão (baseadas em $\sim_{AR}$) para proteger atributos ou rótulos estão subestimando o risco de vazamento de informação, pois as garantias reportadas são ilusoriamente altas para esse tipo de ameaça.

4. Resultados Experimentais

Os experimentos foram realizados em modelos de visão computacional (ViT-B-16 no CIFAR-10), processamento de linguagem natural (Sentence-BERT no SST-2) e redes neurais treinadas do zero (MLP no Purchase100).

• Adjacência de Substituição vs. Adicionar/Remover:
  • Em todos os cenários, o vazamento de privacidade auditado ($\epsilon_{\text{auditing}}$) excedeu o limite superior teórico de Adicionar/Remover ($\epsilon_{AR}$).
  • O vazamento auditado permaneceu apertado (coerente) com o limite previsto pelo contador de Substituição ($\epsilon_{S}$).
  • Aproximações de privacidade de grupo (usando o teorema de composição de Adicionar/Remover para simular substituição) resultaram em limites superiores subótimos e menos precisos do que o contador numérico direto de substituição.
• Eficácia dos Canários:
  • Canários de Gradiente: Forneceram as auditorias mais apertadas e robustas, violando consistentemente as garantias de Adicionar/Remover.
  • Canários de Espaço de Entrada: Embora menos apertados que os de gradiente, ainda conseguiram detectar vazamentos que violavam as garantias de Adicionar/Remover, especialmente em modelos fine-tuned e com altas taxas de subamostragem ($q$).
  • Modelos Treinados do Zero: Em modelos treinados do zero com inicialização aleatória, os canários de espaço de entrada foram menos eficazes (devido à não-convexidade e sensibilidade à inicialização), mas os canários de gradiente continuaram a mostrar vazamento consistente com $\epsilon_{S}$.
• Impacto da Subamostragem: A eficácia dos ataques de substituição diminui à medida que a taxa de subamostragem ($q$) diminui, mas mesmo em taxas baixas, a proteção de Adicionar/Remover é insuficiente para cenários de substituição.

5. Significado e Conclusão

O artigo estabelece que a escolha da relação de adjacência ao relatar garantias de DP é crítica e depende do objetivo de proteção:

• Se o objetivo é proteger a associação (quem estava no dataset), Adicionar/Remover é adequado.
• Se o objetivo é proteger atributos (o que um indivíduo específico contribuiu, como rótulos), a relação de Adicionar/Remover é inadequada e superestima a segurança.

Implicações Práticas:
Praticantes que utilizam bibliotecas de DP padrão para fine-tuning de modelos grandes (LLMs) ou ajuste fino supervisionado, acreditando que estão protegendo os rótulos dos dados sensíveis, podem estar em risco. O vazamento de atributos pode ocorrer com muito mais facilidade do que os parâmetros $\epsilon$ e $\delta$ reportados sugerem.

Recomendação:
Para cenários onde a privacidade de atributos é a prioridade, é necessário utilizar contadores de privacidade baseados na relação de substituição e considerar que os parâmetros de privacidade efetivos serão substancialmente mais fracos do que os calculados sob a premissa de Adicionar/Remover. O trabalho também destaca a necessidade de desenvolver canários de espaço de entrada mais robustos para auditorias em cenários de otimização não-convexa.