Large-Sample Bayesian Approximations for Privatized Data

1. Formulação do Problema

O artigo aborda o desafio de realizar inferência estatística em dados protegidos por Privacidade Diferencial (DP).

• Contexto: Grandes produtores de dados (por exemplo, Bureau do Censo dos EUA, Google, Apple) utilizam DP para divulgar conjuntos de dados. Isso envolve adicionar ruído aleatório a estatísticas para prevenir a reidentificação individual.
• O Desafio: O ruído adicionado torna os dados originais inobserváveis e torna a distribuição de amostragem das estatísticas privatizadas intratável.
• Limitações dos Métodos Existentes:
  • Abordagens Bayesianas: Frequentemente exigem modelos totalmente generativos, priores conjugados ou sofrem com a "maldição da dimensionalidade" (por exemplo, a amostragem por rejeição falha em escala).
  • Abordagens Frequentistas: Aproximações assintóticas frequentemente falham em problemas complexos, enquanto métodos baseados em simulação (como o bootstrapping paramétrico) são computacionalmente caros e dependem de suposições paramétricas restritivas.
• Objetivo: Desenvolver um método computacionalmente viável, escalável e teoricamente justificado para inferência bayesiana em dados privatizados que funcione com tamanhos de amostra grandes ($n$) e estatísticas de alta dimensionalidade, sem exigir fortes suposições paramétricas.

2. Metodologia: PUMBA

Os autores propõem o PUMBA (Private Uncertainty Measurement via Bayesian Asymptotics). O método é um algoritmo de amostragem aproximada em duas etapas, inspirado em Guha e Reiter (2025), mas rigorosamente justificado sob a teoria de grandes amostras.

Estrutura Central

O problema é modelado hierarquicamente:

1. Parâmetros $\theta \sim \pi(\theta)$.
2. Estatísticas suficientes $T_n = \sum_{i=1}^n t(x_i)$ são geradas a partir de $p_n(T_n | \theta)$.
3. Estatísticas privatizadas $s_{dp}$ são divulgadas via um mecanismo de ruído aditivo: $s_{dp} = T_n + \Delta_T Z$ (onde $Z$ é ruído, por exemplo, Laplace ou Gaussiano).

O objetivo é amostrar a partir do posterior privado $\pi(\theta | s_{dp})$. A amostragem direta é difícil porque a verossimilhança marginal envolve uma integral intratável. O PUMBA aproxima o posterior conjunto $\pi(\theta, T_n | s_{dp})$ através de um processo de duas etapas:

Etapa 1: Imputação da Estatística Confidencial ($T_n | s_{dp}$)
Em vez de usar o posterior exato $p_n(T_n | s_{dp}) \propto m(s_{dp} | T_n) p_n(T_n)$, os autores propõem uma aproximação assintótica:
$$p_{T_n}^\infty(T_n | s_{dp}) \propto m(s_{dp} | T_n) \cdot \mathbb{I}(T_n \in \mathcal{T}_n)$$

• Justificativa: Sob condições de regularidade leves, à medida que $n \to \infty$, a densidade preditiva do prior $p_n(T_n)$ torna-se "plana" em relação à verossimilhança aguda induzida pelo mecanismo de privacidade $m(s_{dp} | T_n)$. Assim, $p_n(T_n | s_{dp})$ converge para a densidade do mecanismo de privacidade truncada ao suporte de $T_n$.
• Mecanismo: Isso permite amostrar $T_n$ diretamente da distribuição de ruído (por exemplo, Laplace ou Gaussiana truncada) sem a necessidade de especificar um prior que resulte em uma distribuição preditiva plana.

Etapa 2: Amostragem de Parâmetros ($\theta | T_n$)
Uma vez que $T_n$ é imputado, o método amostra $\theta$ a partir do posterior não privado $\pi_n(\theta | T_n)$.

• Aproximação: Para $n$ grande, os autores invocam o teorema de Bernstein-von Mises (BvM). O posterior não privado é aproximado por uma distribuição normal centrada em um estimador eficiente $\hat{\theta}(T_n)$ com covariância baseada na informação de Fisher.
• Benefício: Isso remove a necessidade de amostragem MCMC complexa na segunda etapa, permitindo amostragem analítica direta ou estimativa Monte Carlo simples.

Algoritmo 1 (PUMBA)

1. Amostre $T_n^{(1)}, \dots, T_n^{(R)}$ i.i.d. a partir de $p_{T_n}^\infty(T_n | s_{dp})$.
2. Para cada $T_n^{(i)}$, amostre $\theta^{(i)} \sim \pi^*(\theta | T_n^{(i)})$ (onde $\pi^*$ é o posterior não privado exato ou a aproximação normal BvM).
3. A coleção $\{\theta^{(i)}\}$ aproxima o posterior privado $\pi(\theta | s_{dp})$.

3. Principais Contribuições Teóricas

O artigo fornece provas assintóticas rigorosas que justificam as aproximações usadas no PUMBA, abordando lacunas no trabalho anterior (Guha e Reiter, 2025):

1. Validade da Etapa 1 (Teorema 1): Os autores provam que a distância de variação total entre o posterior exato $p_n(T_n | s_{dp})$ e a aproximação $p_{T_n}^\infty(T_n | s_{dp})$ converge para zero quase certamente à medida que $n \to \infty$. Isso depende dos Teoremas do Limite Local (para dados contínuos e discretos) e assume que o mecanismo de privacidade é uma família de localização (por exemplo, ruído aditivo).
2. Validade da Etapa 2 (Teorema 2): Eles provam que substituir o posterior não privado exato por uma aproximação BvM ($\pi_\infty$) também é assintoticamente válido. A distância de variação total entre o posterior conjunto verdadeiro e o posterior conjunto aproximado converge para zero.
3. Propriedades Frequentistas: Embora motivado pela teoria bayesiana, os autores demonstram, por meio de simulações, que o PUMBA alcança propriedades frequentistas conservadoras (por exemplo, probabilidades de cobertura $\ge$ nível nominal, taxas de erro Tipo I controladas).
4. Generalidade: Ao contrário de métodos anteriores, o PUMBA não exige priores conjugados ou especificações de prior específicas para alcançar uma distribuição preditiva plana; funciona para quase qualquer prior próprio.

4. Resultados Experimentais

Estudos de Simulação

• Média de Dados Limitados: O PUMBA foi comparado contra um método oráculo (Wang et al., 2018) e um estimador de plug-in.
  • Resultado: O PUMBA alcançou 95,2% de cobertura (alvo 95%) com um intervalo ligeiramente mais amplo que o oráculo, mas significativamente melhor cobertura que o método de plug-in (86,6%), que falhou em contabilizar a incerteza da variância.
• Regressão Linear Simples: O PUMBA foi comparado contra uma abordagem "Ingênua" (ignorando o ruído) e MCMC de Aumento de Dados (DA MCMC) com um modelo Gaussiano mal especificado.
  • Resultado: O método ingênuo subcobriu severamente (por exemplo, 9,5% de cobertura em $n=30$). A cobertura do DA MCMC caiu à medida que $n$ aumentou (0,263 em $n=1000$) devido à má especificação do modelo. O PUMBA manteve uma cobertura estável e conservadora (~95-99%) em todos os tamanhos de amostra.
  • Eficiência: O PUMBA foi computacionalmente superior, alcançando taxas de amostragem efetivas até 3.800 vezes mais rápidas que o DA MCMC em $n=1000$.

Aplicação em Dados Reais: Propriedade Residencial nos EUA (ACS 2022)

Os autores aplicaram o PUMBA para analisar os drivers da propriedade residencial usando dados da Pesquisa da Comunidade Americana de 2022 (privatizados via simulação do mecanismo do Censo Decenal de 2020 com DP).

• Variáveis: Etnia, desemprego, pobreza, seguro, custos de habitação, densidade populacional.
• Comparação:
  • Não-DP (Verdade Terrena): Regressão padrão em dados originais.
  • Ingênuo: Regressão em dados privatizados ignorando o ruído.
  • PUMBA: Método proposto.
• Descobertas:
  • A abordagem ingênua produziu conclusões errôneas, identificando falsamente "Desemprego" e "Sem Seguro" como drivers estatisticamente significativos devido ao ruído não contabilizado.
  • O PUMBA alinhou-se à verdade terrena Não-DP, identificando corretamente essas variáveis como não significativas.
  • O PUMBA contabilizou com sucesso o ruído de privacidade, prevenindo falsos positivos enquanto mantinha o poder para variáveis significativas (por exemplo, etnia, pobreza).

5. Significado e Limitações

Significado:

• Escalabilidade: O PUMBA é o primeiro método a fornecer uma estrutura bayesiana geral e computacionalmente viável para dados privatizados em grande escala (por exemplo, censo nacional) sem exigir fortes suposições paramétricas.
• Rigor Teórico: Preenche uma lacuna crítica ao fornecer provas assintóticas para aproximações anteriormente usadas de forma heurística.
• Utilidade Prática: Permite que pesquisadores realizem inferência confiável em dados sensíveis (como o Censo dos EUA), onde métodos anteriores eram ou muito restritivos ou computacionalmente intratáveis.

Limitações:

• Tamanho da Amostra: O método depende de assintóticas de grandes amostras ($n \to \infty$). Pode não ser adequado para conjuntos de dados muito pequenos, embora simulações sugiram que ele permaneça conservador nesses casos.
• Tipo de Mecanismo: As garantias teóricas atualmente se aplicam a mecanismos de ruído aditivo (Laplace, Gaussiano). Mecanismos não aditivos não são cobertos.
• Orçamento de Privacidade: O método assume um orçamento de privacidade $\epsilon$ razoavelmente pequeno para garantir que o suporte do posterior permaneça gerenciável.

Conclusão

O artigo introduz o PUMBA, uma estrutura bayesiana robusta e de grandes amostras para analisar dados privatizados. Ao aproveitar aproximações assintóticas (Teoremas do Limite Local e Bernstein-von Mises), ele desacopla a inferência da verossimilhança marginal intratável, oferecendo uma alternativa computacionalmente eficiente ao MCMC. O método é provado ser assintoticamente válido e demonstra desempenho superior na manutenção da validade estatística (controle de cobertura e erro Tipo I) em comparação com abordagens ingênuas, tornando-o uma ferramenta vital para pesquisadores que trabalham com produtos de dados modernos de preservação de privacidade.