Differential Privacy of Gaussian Process Posterior Sampling

Resumo Técnico: Privacidade Diferencial de Amostragem de Posterior de Processos Gaussianos

Definição do Problema
O artigo aborda os riscos de privacidade associados à liberação de caminhos de amostras posteriores de um Processo Gaussiano (GP) quando todo o conjunto de treinamento (tanto as covariáveis $X$ quanto as respostas $y$) é privado. Ao contrário dos mecanismos padrão de privacidade diferencial (DP) que injetam ruído externo em saídas determinísticas (por exemplo, médias posteriores), este trabalho investiga a privacidade "intrínseca" proporcionada pela aleatoriedade inerente ao próprio mecanismo de amostragem posterior bayesiana. O adversário é modelado como observando um ou mais caminhos de amostras de funções liberados $f_D \sim \Pi_D$, potencialmente avaliando-os em entradas arbitrárias, enquanto conhece a estrutura do modelo GP, o domínio e o tamanho do conjunto de dados. O objetivo é quantificar a fuga de privacidade deste mecanismo sem adicionar ruído externo, e compreender como a regularização e os parâmetros do kernel influenciam essa fuga.

Metodologia
Os autores analisam o mecanismo $M: D \mapsto f_D$, onde $f_D$ é uma única extração da posterior de GP $\Pi_D = \mathcal{GP}(\mu_D, \sigma^2 k_D)$. Eles empregam a Privacidade Diferencial de Rényi (RDP) para derivar limites explícitos, que são então convertidos para garantias de $(\epsilon, \delta)$-DP aproximadas.

1. Derivação Teórica: A principal contribuição teórica é o Teorema 3.1, que fornece um limite de RDP para a liberação de um caminho de amostra posterior em qualquer conjunto de teste finito. O limite separa a fuga em dois componentes distintos:

   • Fuga da Média Posterior: Governada pela sensibilidade da média posterior $\mu_D$ a mudanças no conjunto de dados, escalonada pela escala do kernel $\sigma$.
   • Fuga da Covariância Posterior: Governada pela covariância posterior dependente dos dados $k_D$. Crucialmente, os autores mostram que mesmo se a média for perfeitamente regularizada (ou $\sigma \to \infty$), o termo de covariância $k_D$ ainda pode vazar informações sobre os dados de treinamento.
   • Parâmetros Chave: Os limites dependem da régua efetiva $r$ (relacionada à razão ruído-sinal) e da variância posterior $V_n(r)$. A análise demonstra que uma privacidade significativa requer regularização suficiente (grande $r$) para suprimir a fuga de covariância, não apenas grandes escalas de kernel.

2. Melhoria via Ruído: O artigo também propõe um mecanismo para refinar as garantias de privacidade adicionando ruído Gaussiano independente $g \sim \mathcal{GP}(0, \eta^2 k)$ ao caminho de amostra liberado (Equação 5). Isso fornece um "botão de privacidade" explícito para trocar utilidade por garantias mais fortes.

3. Validação Empírica:

   • Ataques de Inferência de Membro (MIA): Os autores implementam um ataque do tipo LiRA para testar as previsões teóricas. Eles medem a taxa de sucesso do ataque (Taxa de Verdadeiros Positivos em uma Taxa de Falsos Positivos fixa) contra níveis variáveis de regularização ($r$) e escala do kernel ($\sigma$).
   • Troca Privacidade-Utilidade: Usando dados sintéticos e do mundo real (preços de casas em Greater London), eles avaliam a utilidade dos caminhos liberados para tarefas downstream, especificamente a "estimativa de conjunto de excursão" (identificação de regiões onde o campo latente excede um limiar). Eles comparam a seleção de hiperparâmetros não restrita com a seleção restrita por um orçamento de privacidade ($\epsilon < 10$).

Principais Contribuições

1. Primeiros Limites Explícitos de DP para Amostragem de Posterior de GP: O artigo deriva os primeiros limites explícitos de RDP para a liberação de caminhos de amostra posterior de GP onde todo o conjunto de treinamento é privado. Trabalhos anteriores ou assumiam covariáveis públicas, ou limitavam as log-verossimilhanças (o que os GPs não satisfazem devido às funções latentes ilimitadas), ou dependiam de estruturas bayesianas gerais que não se aplicam diretamente à regressão GP padrão.
2. Desacoplamento de Fontes de Fuga: Os limites teóricos separam explicitamente a fuga da média posterior (sensível a deslocamentos dependentes dos dados) da fuga inerente à covariância posterior (incerteza dependente dos dados). Isso revela que a privacidade intrínseca não é automática; ela depende fortemente da regularização da régia efetiva para controlar a fuga de covariância.
3. Confirmação Empírica da Teoria: Experimentos confirmam que o sucesso do ataque de inferência de membro segue a dependência prevista de regularização. Especificamente, aumentar a régia efetiva $r$ leva o desempenho do ataque ao acaso, enquanto aumentar apenas a escala do kernel $\sigma$ deixa sinais residuais de associação.
4. Preservação de Utilidade em Regimes Ruidosos: Os experimentos de utilidade demonstram que, em regimes com alto ruído de observação (onde a regularização é naturalmente alta), a regularização compatível com a privacidade preserva decisões úteis (estimativa de conjunto de excursão) com apenas uma modesta perda de utilidade. Em regimes de baixo ruído, o ótimo não restrito ajusta-se de perto aos dados, e impor privacidade exige regularização significativa, levando a custos de utilidade mais altos.

Resultos

• Desempenho de MIA: A taxa de sucesso do ataque correlaciona-se fortemente com os limites $\epsilon$ derivados. Quando a regularização é baixa, os ataques têm sucesso mesmo com $\sigma$ grande. À medida que a regularização ($r$) aumenta, o desempenho do ataque colapsa para o acaso, validando os limites teóricos.
• Composição: O artigo analisa o efeito da liberação de $L$ extrações posteriores independentes. Embora os termos de RDP se compostam aditivamente, a conversão para DP aproximada resulta em um crescimento sublinear no limite final de $\epsilon$ em relação a $L$.
• Utilidade vs. Privacidade: Em experimentos de conjunto de excursão 1D e 2D, os autores descobrem que para observações ruidosas (alta Razão Ruído-Sinal), o ótimo de utilidade não restrito já é altamente regularizado. Consequentemente, impor uma restrição de privacidade ($\epsilon < 10$) resulta em uma degradação mínima da utilidade (por exemplo, lacuna de IoU relativo < 10%). Em regimes de baixo ruído, o ótimo não restrito ajusta-se aos dados de perto, e impor privacidade requer regularização significativa, levando a custos de utilidade mais elevados.
• Aplicação no Mundo Real: Aplicado aos dados de preços de casas de Londres, as extrações posteriores privadas recuperam com sucesso as regiões dominantes de preços altos, mas suavizam pequenas ilhas isoladas de preços altos, ilustrando o compromisso entre a randomização induzida pela privacidade e o detalhamento fino.

Significância e Alegações
O artigo afirma que a aleatoriedade posterior em Processos Gaussianos pode servir como um "recurso de privacidade genuíno", mas isso não é incondicional. Os autores enfatizam que a privacidade intrínseca útil requer regularização suficiente para controlar tanto a fuga da média posterior quanto a fuga da covariância posterior.

O trabalho expande a compreensão da privacidade no aprendizado Bayesiano ao mostrar que a amostragem posterior de GP padrão, frequentemente vista como um substituto determinístico em contextos de privacidade, possui de fato propriedades de DP intrínsecas que podem ser quantificadas e controladas. Os autores observam que seus limites assumem hiperparâmetros fixos; se os hiperparâmetros forem selecionados usando os dados privados, uma contabilidade de privacidade adicional é necessária. Eles também reconhecem que seus limites dependem de respostas limitadas, um requisito comum em DP, e que a força prática do limite depende de quão estritamente se pode controlar o termo de sensibilidade $\Delta_n(r)$.

O artigo conclui que, embora a privacidade intrínseca seja poderosa, ela é mais eficaz em regimes ruidosos onde a regularização é naturalmente alta, permitindo a liberação de amostras posteriores úteis sem a injeção explícita de ruído externo. Para necessidades de privacidade mais fortes ou regimes de baixo ruído, adicionar ruído de GP calibrado fornece um mecanismo para refinar as garantias.