Privacy Auditing Synthetic Data Release through Local Likelihood Attacks

Resumo Técnico: Auditoria de Privacidade de Dados Sintéticos por Meio de Ataques de Verossimilhança Local

Declaração do Problema
Auditar o vazamento de privacidade em dados sintéticos permanece um desafio não resolvido. As estruturas existentes para auditoria de privacidade frequentemente dependem de heurísticas (como métricas de distância ou densidade) ou de suposições irreais quanto ao acesso ao modelo (por exemplo, configurações de caixa-branca ou caixa-sombra). Essas abordagens oferecem capacidade limitada de detectar ou descrever a exposição à privacidade, particularmente quando modelos generativos exibem modos de falha específicos, como o sobreajuste. Além disso, muitos ataques existentes carecem de uma fundamentação teórica que explique o que medem ou sob quais condições devem ter sucesso, tornando difícil distinguir um desenho fundamentado de coincidências específicas de benchmarks.

Metodologia: Ataque de Razão de Verossimilhança Generativa (Gen-LRA)
Os autores propõem o Gen-LRA, um novo Ataque de Inferência de Membro (MIA) projetado para o modelo de ameaça No-Box. Neste cenário, o adversário não tem acesso à arquitetura, parâmetros ou mecanismos internos do modelo generativo. O adversário possui apenas:

1. O conjunto de dados sintéticos liberado ($S$).
2. Um conjunto de dados de referência ($R$) coletado independentemente, extraído da mesma distribuição populacional subjacente ($P$).

Mecanismo Central
O Gen-LRA enquadra a inferência de membro como uma medição da influência que uma observação de teste ($x^*$) exerce sobre a verossimilhança estimada do conjunto de dados sintético. O ataque opera sob a hipótese de que, se um modelo generativo sofrer sobreajuste, a inclusão de um ponto de treinamento $x^*$ no conjunto de referência aumentará a verossimilhança estimada dos dados sintéticos $S$.

O ataque prossegue nas seguintes etapas:

1. Modelagem de Surrogado: Um estimador de densidade de surrogado (especificamente um Estimador de Densidade por Kernel Gaussiano, KDE) é ajustado ao conjunto de referência $R$ para obter $\hat{p}_R$.
2. Aumento: Um segundo surrogado é ajustado ao conjunto aumentado $R \cup \{x^*\}$ para obter $\hat{p}_{R \cup \{x^*\}}$.
3. Razão de Verossimilhança Local: A pontuação do ataque é calculada como a soma das razões de log-verossimilhança sobre os $k$ vizinhos sintéticos mais próximos de $x^*$ (denotados $S_k(x^*)$):
   $$\hat{I}(x^*; R, S) = \sum_{s \in S_k(x^*)} \left[ \log \hat{p}_{R \cup \{x^*\}}(s) - \log \hat{p}_R(s) \right]$$
4. Decisão: Uma pontuação alta indica que a adição de $x^*$ ao conjunto de referência aumentou significativamente a verossimilhança dos pontos sintéticos próximos, sugerindo que $x^*$ fazia parte do conjunto de treinamento.

Estrutura Teórica
O artigo estabelece três resultados teóricos fundamentais que sustentam o Gen-LRA:

1. Invariância: A pontuação da razão de log-verossimilhança é invariante a reparametrizações invertíveis dos dados, garantindo robustez contra escolhas de pré-processamento como escalonamento ou codificação.
2. Caracterização em Forma Fechada: Os autores provam que a pontuação do Gen-LRA admite uma caracterização em forma fechada como uma estatística de razão de densidade localizada. Diferentemente de ataques de razão de densidade de ponto único (como o DOMIAS), o Gen-LRA agrega evidências sobre uma região local, capturando sinais difusos de memorização.
3. Lacuna de Pontuação Média: Sob um modelo geral de sobreajuste local, os autores provam uma lacuna provável entre as pontuações esperadas de membros e não membros. A magnitude dessa lacuna depende linearmente da força do sobreajuste ($\epsilon$) e é governada pela sobreposição entre a largura de banda do surrogado e a escala de memorização do gerador ($\rho$).

Contribuições Principais

1. Ataque Inovador: O Gen-LRA é o primeiro MIA para dados sintéticos tabulares a adaptar explicitamente uma estrutura de função de influência para o cenário No-Box, formulando a inferência de membro como a influência de um ponto de teste na razão de verossimilhança de um modelo de surrogado.
2. Justificativa Teórica: O trabalho fornece uma conta teórica rigorosa do que o ataque mede (razões de densidade localizadas) e prevê quando ele tem sucesso (sob sobreajuste local).
3. Validação por Simulação: Simulações controladas instanciam o modelo de sobreajuste, validando que o Gen-LRA é unicamente ajustável através de regimes de sobreajuste e supera métodos existentes, particularmente quando um gerador memoriza aproximadamente os dados de treinamento.
4. Benchmarks Empíricos: Os autores avaliam o Gen-LRA contra um benchmark abrangente composto por 35 conjuntos de dados, 9 arquiteturas generativas (incluindo GANs, VAEs, modelos de Difusão e Transformers) e 9 ataques concorrentes. Isso resulta em 1.525 configurações únicas de conjuntos de dados sintéticos e mais de 10.000 execuções de ataque.

Resultados

• Desempenho Agregado: O Gen-LRA domina consistentemente os MIAs concorrentes. Ele alcança a maior taxa de classificação Top-1 em todas as métricas (AUC e Taxa de Verdadeiros Positivos em Taxas de Falsos Positivos fixas) em todas as 1.525 execuções. Especificamente, ele ocupa o primeiro lugar em mais de 38% das execuções (AUC) e 42% das execuções (TPR@FPR=0), o que é mais do que o dobro da taxa do próximo melhor baseline.
• Baixas Taxas de Falsos Positivos: O Gen-LRA mostra ganhos particularmente fortes em baixas taxas de falsos positivos, uma métrica crítica para auditoria de privacidade prática.
• Regimes de Vulnerabilidade: O ataque é mais eficaz no regime de "memorização aproximada", onde pontos sintéticos mantêm uma relação com os dados de treinamento, mas não são cópias exatas. Neste regime, ataques de ponto único (como o DOMIAS) e ataques baseados em distância (como o DCR) colapsam, enquanto o Gen-LRA agrega evidências através de múltiplos vizinhos para ter sucesso.
• Escolha do Surrogado: Contrariamente às tendências na estimativa de densidade de alta dimensão, onde modelos de aprendizado profundo frequentemente superam o KDE, os autores descobrem que o KDE Gaussiano supera os Fluxos Autoregressivos Neurais em Blocos (BNAF) para o Gen-LRA. Isso é atribuído ao controle explícito do KDE sobre o alisamento local (largura de banda), que corresponde à escala de memorização, enquanto o BNAF otimiza para precisão global e introduz ruído estocástico que obscurece o sinal de influência de ponto único.

Significado e Alegações
O artigo alega que as ferramentas atuais de auditoria de privacidade No-Box subestimam significativamente os riscos de privacidade porque testam hipóteses incorretas ou dependem de heurísticas que falham no regime de memorização aproximada, comum em geradores tabulares modernos.

O Gen-LRA fornece uma ferramenta fundamentada e computacionalmente eficiente para que terceiros auditem liberações de dados sintéticos sem exigir acesso ao modelo. Os autores argumentam que o cenário "No-Box" é o mais realista para auditoria de privacidade, pois defensores seguindo as melhores práticas retêm detalhes do modelo, tornando ataques de caixa-sombra ineficazes. Ao demonstrar que o sobreajuste de modelos generativos representa riscos significativos de privacidade mesmo na ausência de acesso ao modelo, o artigo destaca a necessidade de ferramentas de auditoria mais robustas para garantir a liberação responsável de dados sintéticos em domínios sensíveis como saúde e finanças. Os autores concluem que, embora nenhum ataque único seja uniformemente ótimo em todas as condições, o Gen-LRA oferece o desempenho mais robusto e consistente para detectar vazamento de privacidade em liberações de dados sintéticos do mundo real.