Resumo Técnico: Um Framework Unificado para Limites de Privacidade Diferencial Conscientes do Adversário

Declaração do Problema

A Privacidade Diferencial (DP) fornece garantias rigorosas contra ataques de inferência de associação (MI) de pior caso, limitando a probabilidade de um adversário distinguir entre saídas geradas por conjuntos de dados que diferem em um único registro de usuário. No entanto, o compromisso preciso entre modelos adversários complexos e proteções de DP permanece mal compreendido. Profissionais enfrentam frequentemente um dileio: os limites padrão de DP (ex: $\epsilon=1$) podem parecer oferecer garantias fracas contra MI de pior caso (probabilidade de sucesso $\approx 0,73$), contudo, esses limites fornecem pouca compreensão sobre riscos específicos de contexto, como o número total de usuários cujos dados poderiam ser parcialmente reconstruídos ou o vazamento de segredos não uniformes (ex: senhas comuns ou PII).

Abordagens atuais para avaliar o risco dependem fortemente de ataques empíricos. Esses métodos sofrem de limitações significativas: estabelecem apenas limites inferiores de vazamento de privacidade, são frequentemente altamente ajustados a mecanismos ou distribuições de dados específicos e falham em generalizar. Além disso, muitos cenários de ataque relevantes — como visar múltiplos indivíduos simultaneamente ou explorar priors não uniformes para reconstrução aproximada — não foram caracterizados teoricamente. Há uma carência de um framework unificado que possa traduzir parâmetros de privacidade em avaliações de risco acionáveis através de diversos objetivos de ataque (MI, inferência de atributos, reconstrução) e configurações (alvo único vs. múltiplos alvos, priors uniformes vs. não uniformes).

Metodologia

Os autores propõem um framework unificado que generaliza os limites existentes através de inferência de associação, inferência de atributos e ataques de reconstrução de dados. O núcleo da metodologia é um Jogo de Ataque Genérico (Algoritmo 1) e um conjunto de limites de alta probabilidade derivados dos parâmetros de privacidade do mecanismo e da taxa de sucesso basal do adversário.

O Jogo de Ataque Genérico

O framework modela um ataque onde:

1. Alvos: $n$ alvos $X$ são amostrados de uma distribuição de produto $D = D_1 \otimes \dots \otimes D_n$. $D_i$ representa o conhecimento prévio (prior) do adversário para o alvo $i$.
2. Mecanismo: Um mecanismo aleatorizado $M$ produz uma saída $a$.
3. Adversário: O adversário $A$ utiliza $a$, $D$ e $M$ para gerar $k$ tentativas de ataque $z$.
4. Métrica de Sucesso: Uma métrica decomponível $L$ mede o número de alvos atacados com sucesso. $L$ é decomponível se $L(x, z) = \sum \ell_i(x_i, z_i)$, permitindo critérios de sucesso arbitrários (correspondência exata, distância aproximada, etc.).

Limites Teóricos

O framework deriva limites para a probabilidade de o sucesso do ataque $L(X, A(a))$ exceder um limiar $v$.

• DP Pura ($\epsilon$-DP): Para um mecanismo que satisfaz $(\epsilon, 0)$-DP, a probabilidade de sucesso posterior para cada alvo é limitada por uma função da probabilidade de sucesso prévia e $\epsilon$. Especificamente, para uma saída de mecanismo fixa $a$ e uma tentativa de ataque $z$, o número de ataques bem-sucedidos é estocasticamente dominado por uma soma de variáveis de Bernoulli independentes $S_i$. A probabilidade de sucesso $\beta_i$ para cada $S_i$ é:
  $$\beta_i(z, \epsilon) = \frac{e^\epsilon}{e^\epsilon - 1 + \frac{1}{\Pr_{X \sim D_i}[\ell_i(X, z)=1]}}$$
  Esta formulação captura a intuição de que, se um ataque é fácil baseado no conhecimento prévio (alta probabilidade prévia), o mecanismo de DP adiciona menos proteção relativa em comparação a um ataque difícil.

• DP Aproximada ($f$-DP e $(\epsilon, \delta)$-DP): O framework se estende à DP aproximada introduzindo um termo aditivo $n \cdot \delta_f(\epsilon)$ (ou $n \cdot \delta$ para $(\epsilon, \delta)$-DP) ao limite. Isso contabiliza o potencial de perda de privacidade ilimitada em mecanismos de DP aproximada. Os autores fornecem versões do limite que dependem da saída do mecanismo (exigindo múltiplas execuções para estimativa) e versões que utilizam um pior caso de prior para evitar a dependência de saídas específicas.

Codificação de Ataques Específicos

O framework codifica vários cenários de ataque ajustando a distribuição prévia $D_i$ e a métrica de sucesso $\ell_i$:

• Inferência de Associação (MI): $D_i$ é uma distribuição de Bernoulli sobre bits de associação.
• Inferência de Atributos (AI): $D_i$ é condicionada a atributos conhecidos.
• Reconstrução: $D_i$ representa a distribuição geradora de dados. A métrica $\ell_i$ pode ser uma correspondência exata ou uma distância limiarizada (ex: erro $L_2$ ou $L_1$).
• Priors Não Uniformes: O framework lida explicitamente com priors arbitrários e não uniformes, permitindo a modelagem de cenários realistas onde certos segredos (ex: "123456789") são muito mais prováveis do que outros.

Contribuições Principais

1. Unificação de Limites Existentes: O framework une matematicamente paradigmas isolados de MI, AI e reconstrução. Ele estritamente generaliza trabalhos anteriores (ex: Balle et al., Hayes et al., Steinke et al.) e fornece limites mais estreitos para configurações com priors não uniformes.
2. Novos Cenários de Ataque: É o primeiro framework a avaliar ataques visando múltiplos indivíduos simultaneamente e a medir o sucesso via métricas complexas (reconstrução aproximada) sob um único limite coeso.
3. Consciência do Adversário: Os limites dependem exclusivamente dos parâmetros de privacidade e da taxa de sucesso basal (prior) do adversário. Isso permite que profissionais quantifiquem o risco com base na dificuldade específica do ataque e na natureza da distribuição de dados, em vez de depender de heurísticas de pior caso.
4. Validação Empírica: Os autores validam o framework em dois cenários inéditos:
   • Extração de Dados de LLMs: Extração de segredos não uniformes (senhas, PII) de modelos de linguagem com ajuste fino (fine-tuning) com DP.
   • Reconstrução de Dados Tabulares: Reconstrução de dados a partir de marginais ruidosas usando inferência de múltiplos atributos (M-AI).

Resultados

O artigo apresenta comparações numéricas e estudos de caso empíricos demonstrando a utilidade do framework:

• Estreitamento (Tightness): Em experimentos numéricos (Figura 1), os limites propostos são substancialmente mais estreitos que os limites de estado da arte (KGK+, MMC) para priors não uniformes e alinham-se de perto com o MMC para priors uniformes.
• Impacto de Priors Não Uniformes: Nos experimentos de extração de dados de LLM (Figura 2), o framework revela que priors não uniformes aumentam drasticamente o risco. Por exemplo, em $\epsilon=1$, o limite de vantagem para extrair uma senha mediana é negligível, mas salta para 0,24 para a senha mais provável. Em $\epsilon=10$, o PII mais provável e os canários de senha alcançam um limite de vantagem de $\approx 1,0$, enquanto canários uniformes permanecem negligenciáveis. Isso sugere que proteger segredos naturais pode exigir valores de $\epsilon$ significativamente menores do que proteger canários uniformes.
• Lacuna entre Teoria e Prática: Comparações com ataques concretos (Figura 3) mostram que, embora os limites teóricos sejam estreitos para distribuições uniformes, uma lacuna persiste para priors não uniformes. Além disso, ataques de modelos concretos muitas vezes ficam significativamente abaixo do baseline de Bayes-ótimo teórico, particularmente em regimes de privacidade média, destacando as limitações das técnicas atuais de auditoria de caixa-preta.
• Reconstrução Tabular: Na reconstrução de dados tabulares a partir de marginais ruidosas (Apêndice E), o framework modela com sucesso ataques de múltiplos alvos. Os resultados mostram que, embora os limites teóricos possam ser vacuos para tarefas simples com grandes priors, o framework fornece limites populacionais significativos e acomoda métricas de sucesso complexas (reconstrução aproximada) que trabalhos anteriores não conseguiam capturar simultaneamente.

Significância e Alegações

O artigo alega fornecer uma fundação teórica rigorosa para investigar o cenário de risco de algoritmos de DP em novos cenários adversariais. Sua principal significância reside em permitir que profissionais:

• Interpretem parâmetros de DP contextualmente: Traduzir parâmetros de privacidade abstratos em avaliações de risco concretas para cenários de implantação específicos (ex: "Qual $\epsilon$ é necessário para proteger PII com um determinado prior de distribuição?").
• Calibrem proteções de privacidade: Ir além de "heurísticas de pior caso" (como a regra prática de $\epsilon \le 10$) para calibrar parâmetros contra riscos específicos e dependentes do contexto.
• Avaliem novas ameaças: Analisar sistematicamente ataques que anteriormente não foram caracterizados, como ataques de múltiplos alvos simultâneos e aqueles que exploram distribuições de dados não uniformes.

Os autores observam modestamente que seus limites dependem de métricas de sucesso decomponíveis e assumem priors independentes. Eles reconhecem que ataques empíricos atuais podem não ser ótimos para mecanismos de DP, levando a lacunas entre os limites teóricos e o sucesso de ataque observado. Eles também alertam que, embora o framework possa demonstrar riscos empíricos menores do que as garantias de pior caso, ele não deve ser usado como uma justificativa generalizada para degradar salvaguardas de privacidade, pois os limites dependem de suposições estruturais estritas que podem não se sustentar em todos os casos de uso.