Quantifying Membership Disclosure Risk for Tabular Synthetic Data Using Kernel Density Estimators

Este artigo propõe um método prático baseado em estimadores de densidade de kernel (KDE) para quantificar o risco de divulgação de pertencimento em dados sintéticos tabulares, oferecendo uma avaliação de risco mais precisa e eficiente do que abordagens anteriores sem a necessidade de modelos sombra computacionalmente caros.

O essencial

Imagine que você tem um cofre cheio de segredos muito sensíveis: registros médicos de pacientes, detalhes financeiros de clientes ou informações demográficas de uma cidade inteira. Você precisa compartilhar esses dados para que cientistas e empresas possam fazer pesquisas e criar soluções, mas não pode entregar o cofre aberto, pois isso violaria a privacidade das pessoas.

A solução moderna é o Dados Sintéticos. É como criar uma "réplica perfeita" do cofre, feita de plástico e papelão. Os dados parecem reais, as estatísticas são as mesmas, mas as pessoas reais não estão lá. É como se você tivesse um mapa de um tesouro, mas o mapa foi desenhado por um artista que nunca viu o tesouro de verdade.

O problema? E se alguém olhar para esse mapa de plástico e conseguir deduzir que você (ou seu vizinho) estava no cofre original? Isso é chamado de Ataque de Inferência de Membros. O invasor tenta adivinhar: "Será que o Sr. Silva estava na lista original?"

Este artigo apresenta uma nova maneira de testar se o seu "mapa de plástico" é seguro.

A Metáfora do "Cheiro" e do "Rastro"

Para entender o método dos autores, vamos usar uma analogia de detetive e pegadas.

1. O Cenário:

   • Temos os Dados Reais (as pegadas originais no chão).
   • Temos os Dados Sintéticos (um rastro falso criado por um robô).
   • Temos um Intruso (alguém que quer saber se uma pessoa específica deixou pegadas no chão original).

2. O Método Antigo (A Régua Rígida):
   Antes, os especialistas usavam uma "régua" simples. Eles mediam a distância entre a pegada do suspeito e as pegadas do rastro falso.

   • Regra: "Se a pegada estiver a menos de 1 metro do rastro falso, o suspeito estava lá. Se estiver a mais de 1 metro, não estava."
   • Problema: Isso é tudo ou nada. Ou é "sim", ou é "não". Não diz o quão provável é. E se a pegada estiver a 1,01 metros? O método antigo falha.

3. A Nova Ideia (O "Cheiro" Probabilístico - KDE):
   Os autores propõem usar algo chamado Estimador de Densidade de Kernel (KDE). Imagine que, em vez de uma régua, cada pegada deixa um "cheiro" ou uma "nuvem de probabilidade" ao seu redor.

   • Eles criam duas nuvens de cheiro: uma para quem estava no cofre original e outra para quem não estava.
   • Quando o intruso traz uma nova pegada, ele não mede apenas a distância. Ele cheira a nuvem.
   • Resultado: Em vez de dizer "Sim, ele estava", o sistema diz: "Há 85% de chance de que essa pegada pertença a quem estava no cofre original".

Isso é muito mais poderoso porque permite ver o grau de risco. Às vezes, o risco é baixo em geral, mas alto para casos específicos (o pior cenário).

Os Dois Tipos de Detetives

O artigo testa duas situações diferentes para ver se o método funciona:

1. O Detetive com Chave Mestra (Ataque de Distribuição Verdadeira):
   Imagine que o detetive tem acesso a uma lista secreta de quem estava no cofre. Ele compara diretamente as pegadas reais com as falsas.

   • Objetivo: Verificar o limite máximo de segurança. Se nem mesmo com a lista secreta o detetive consegue adivinhar, o sistema é super seguro.

2. O Detetive Realista (Ataque Realista):
   Aqui, o detetive não tem a lista secreta. Ele é um invasor comum que só tem acesso a dados públicos e ao mapa falso. Ele tenta adivinhar quem estava na lista original baseando-se apenas em padrões que vê.

   • Objetivo: Simular o que um hacker de verdade faria. O método mostra que, mesmo sem a lista secreta, é possível criar um "cheiro" de risco muito preciso.

O Que Eles Descobriram?

Os autores testaram essa ideia em dados reais (como registros de saúde e censos) e criaram vários tipos de "mapas falsos" (dados sintéticos) usando tecnologias modernas de Inteligência Artificial.

• Melhor que o Antigo: O método deles (o "cheiro" probabilístico) foi muito melhor do que a "régua rígida" antiga. Ele conseguiu identificar riscos que os outros métodos ignoravam.
• O Perigo Escondido: Às vezes, o sistema parecia seguro na média (como uma nota 5 de 10), mas quando olhavam para os casos extremos (o "pior cenário"), descobriam que um invasor poderia adivinhar com 90% de certeza se uma pessoa específica estava na lista. O novo método consegue ver esse perigo escondido.
• Rápido e Barato: Métodos anteriores exigiam que o detetive criasse dezenas de "falsos cofres" apenas para treinar o ataque (o que demorava muito e custava caro). O método deles é rápido, como cheirar o ar em vez de construir um laboratório inteiro.

Por Que Isso Importa para Você?

Se você é um banco, um hospital ou o governo, e vai liberar dados para pesquisa:

• Antes, você podia pensar: "Meus dados sintéticos são seguros".
• Agora, você pode usar essa ferramenta para dizer: "Nós testamos o risco. Para 99% das pessoas, é seguro. Mas para um grupo muito pequeno de casos raros, o risco é alto. Vamos ajustar o sistema antes de liberar."

Em resumo: O artigo ensina como usar um "nariz digital" inteligente para checar se os dados falsos que você criou vazaram segredos reais, permitindo que você libere informações de forma mais segura e responsável.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Quantifying Membership Disclosure Risk for Tabular Synthetic Data Using Kernel Density Estimators", apresentado em português:

1. O Problema

O uso de dados sintéticos tem crescido como uma alternativa de preservação de privacidade para compartilhar conjuntos de dados sensíveis (saúde, finanças, demografia). No entanto, a garantia de privacidade não é absoluta. Os dados sintéticos permanecem vulneráveis a Ataques de Inferência de Associação (Membership Inference Attacks - MIAs), onde um adversário tenta determinar se um indivíduo específico estava presente no conjunto de dados original usado para treinar o gerador.

As abordagens atuais de MIAs apresentam limitações significativas:

• Modelagem de Sombras (Shadow Modelling): Métodos de ponta utilizam múltiplos geradores de sombra e meta-classificadores. Embora precisos, são computacionalmente caros e inviáveis para grandes conjuntos de dados dinâmicos.
• Métodos Baseados em Distância (Existentes): Abordagens anteriores (como as de El Emam et al.) utilizam limiares de distância fixos para classificar registros como membros ou não-membros. O problema principal é que eles produzem rótulos binários (duros) em vez de probabilidades, o que impede uma análise de risco abrangente (como curvas ROC) e pode subestimar vazamentos no pior dos casos.

2. Metodologia Proposta

Os autores propõem uma estrutura não paramétrica e baseada em distância utilizando Estimadores de Densidade Kernel (KDEs) para modelar as distribuições de distância entre os dados sintéticos e os registros de treinamento. O objetivo é gerar predições probabilísticas de associação, permitindo uma avaliação de risco mais robusta.

A metodologia é dividida em dois modelos de ataque:

A. Ataque de Distribuição Verdadeira (True Distribution Attack)

• Premissa: Assume que o avaliador (custodiante dos dados) tem acesso privilegiado aos rótulos de associação reais (quem está no treinamento e quem não está).
• Processo:
  1. Calcula-se a distância de Gower entre cada registro do conjunto de ataque (mistura de dados reais e dados não vistos) e seu vizinho mais próximo no conjunto de dados sintéticos.
  2. Ajustam-se dois KDEs separados: um para as distâncias dos membros e outro para as distâncias dos não-membros.
  3. A probabilidade de um registro ser membro é estimada usando o Teorema de Bayes:
     $$P(membro|d) = \frac{KDE_{membro}(d)}{KDE_{membro}(d) + KDE_{não-membro}(d)}$$
• Vantagem: Permite a construção de curvas ROC completas e a análise de taxas de verdadeiros positivos (TPR) em baixas taxas de falsos positivos (FPR).

B. Ataque Realista (Realistic Attack)

• Premissa: Simula um cenário onde o adversário não tem acesso aos rótulos reais de associação, mas possui um conjunto de dados auxiliar da mesma população (contendo uma mistura desconhecida de membros e não-membros).
• Processo:
  1. Define-se um limiar de distância $\tau$ para particionar o conjunto de dados auxiliar em "supostos membros" (distância < $\tau$) e "supostos não-membros" (distância > $\tau$).
  2. Ajustam-se KDEs separados para essas duas categorias "supostas".
  3. Utiliza-se a mesma equação de probabilidade bayesiana para avaliar o risco.
• Observação: Embora introduza ruído de rótulo, este método demonstra ser eficaz e, em certos cenários, pode superar o método de referência (Method 1) em pontuações F1.

3. Principais Contribuições

1. Framework de Pontuação de Privacidade: Introdução de uma metodologia baseada em KDE para dados tabulares sintéticos que gera probabilidades de associação em vez de classificações binárias.
2. Validação Abrangente: Avaliação empírica em quatro conjuntos de dados reais (MIMIC-IV, UK Census, Texas-100X, Nexoid) e seis geradores de dados sintéticos (CTGAN, ADS-GAN, DPGAN, TabDDPM, TVAE, Redes Bayesianas).
3. Superioridade sobre Métodos Existentes: Demonstração de que a abordagem proposta atinge pontuações F1 mais altas e caracteriza o risco com mais precisão do que métodos de particionamento de dados anteriores, sem a necessidade de treinamento de modelos de sombra computacionalmente caros.
4. Análise de Pior Caso: Capacidade de realizar análises ROC logarítmicas para detectar vazamentos de privacidade que métricas médias (como precisão ou AUC) poderiam mascarar.

4. Resultados Chave

• Desempenho Geral: O método baseado em KDE superou consistentemente a abordagem de referência (Method 1) em termos de pontuação F1 em diversos cenários.
• Vulnerabilidade por Gerador: Dados sintéticos gerados por Redes Bayesianas mostraram-se consistentemente mais vulneráveis a ataques de inferência de associação, apresentando as maiores precisões e pontuações F1.
• Análise de ROC e Pior Caso:
  • Em alguns casos (ex: dados do UK Census gerados por TVAE), a precisão média estava abaixo da linha de base (indicando baixo risco médio), mas a análise de ROC revelou altas taxas de verdadeiros positivos (TPR) em taxas de falsos positivos (FPR) extremamente baixas ($10^{-6}$). Isso indica que, embora o ataque médio falhe, o pior cenário representa uma vulnerabilidade significativa.
  • O método proposto consegue capturar essas nuances, ao contrário de métricas puramente baseadas em limiares.
• Ataque Realista vs. Verdadeiro: Curiosamente, em certos limiares de distância e conjuntos de dados (como Texas-100X e Nexoid), o "Ataque Realista" (sem rótulos verdadeiros) alcançou pontuações F1 superiores ao "Ataque de Distribuição Verdadeira". Isso ocorre porque, à medida que o limiar aumenta, o crescimento de Verdadeiros Positivos supera o de Falsos Positivos em cenários específicos.

5. Significado e Impacto

Este trabalho oferece uma ferramenta prática e eficiente para custodiante de dados realizarem uma avaliação de risco pós-geração antes de liberar conjuntos de dados sintéticos.

• Eficiência Computacional: Elimina a necessidade de treinar múltiplos modelos de sombra, tornando a avaliação de privacidade viável para grandes volumes de dados dinâmicos.
• Tomada de Decisão Informada: Ao fornecer probabilidades e curvas ROC, permite que as organizações definam limites de risco aceitáveis baseados em requisitos específicos de privacidade (ex: garantir que a TPR não exija 20x o FPR em baixas taxas de erro).
• Reprodutibilidade: O código e os dados estão disponíveis publicamente, facilitando a adoção e verificação independente do método.

Em resumo, o artigo avança o estado da arte na avaliação de privacidade de dados sintéticos, substituindo métricas binárias e computacionalmente pesadas por uma abordagem probabilística, leve e estatisticamente robusta baseada em KDE.