Resumo Técnico: Integração de Correlação de Características em Privacidade Diferencial com Aplicações em DP-ERM

Declaração do Problema

A Privacidade Diferencial (DP) padrão impõe restrições de privacidade uniformes em todas as características de um conjunto de dados, tratando cada característica como igualmente sensível. Essa suposição frequentemente leva a compromissos de privacidade-utilidade excessivamente conservadores em aplicações do mundo real, onde a sensibilidade das características é heterogênea. Por exemplo, em dados de saúde, leituras de pressão arterial podem ser altamente sensíveis, enquanto faixas etárias são menos sensíveis. No entanto, essas características são frequentemente correlacionadas; revelar a idade pode inadvertidamente vazar informações sobre distribuições de pressão arterial.

Abordagens existentes de DP "semi-sensível" tentam abordar isso tratando algumas características como públicas e outras como privadas. No entanto, esses métodos frequentemente assumem independência entre características sensíveis e insensíveis. Quando existem correlações, tratar uma característica como pública ainda pode comprometer a privacidade da característica sensível com a qual ela se correlaciona, levando a potenciais violações de privacidade. Por outro lado, aplicar ruído uniforme a todas as características (DP padrão) distorce o conjunto de dados desnecessariamente, degradando a utilidade. O artigo identifica uma lacuna na literatura existente: a falta de estruturas que considerem rigorosamente as correlações entre características sensíveis e insensíveis para melhorar a utilidade sem sacrificar garantias de privacidade.

Metodologia: Estrutura CorrDP

Os autores propõem CorrDP (Privacidade Diferencial Consciente de Correlação), uma definição relaxada de DP que incorpora correlações de características na restrição de privacidade.

1. Definição de CorrDP

O CorrDP modifica a definição padrão de DP introduzindo uma métrica de distância $d(D, D')$ entre bancos de dados vizinhos $D$ e $D'$.

• Bancos de Dados Vizinhos: Definidos como diferindo em no máximo uma entrada, onde a diferença ocorre ou em características sensíveis ($S$) ou em características insensíveis ($U$), mas não em ambas simultaneamente.
• Métrica de Distância: A restrição de privacidade é relaxada com base na correlação entre a característica alterada e as características sensíveis.
  $$P(A(D) \in R) \leq e^{\frac{\epsilon}{d(D, D')}} P(A(D') \in R) + \delta$$
• Escolha da Métrica: O artigo utiliza a Distância de Variação Total (TV) para quantificar a correlação. Especificamente, $d(D, D')$ é definida como a distância TV máxima entre as distribuições condicionais das características sensíveis dadas as características insensíveis antes e depois da alteração.
  • Se a alteração estiver em uma característica sensível, $d(D, D') = 1$ (DP padrão).
  • Se a alteração estiver em uma característica insensível que é independente das características sensíveis, $d(D, D') = 0$ (sem custo de privacidade).
  • Se a alteração estiver em uma característica insensível correlacionada com características sensíveis, $d(D, D') \in (0, 1)$, relaxando o orçamento de privacidade para $\epsilon / d(D, D')$.

2. Mecanismos e Algoritmos

Os autores adaptam mecanismos padrão para a estrutura CorrDP:

• Mecanismo Laplace CorrDP: Introduz uma "sensibilidade correlacionada" $\Delta_C f$ que pondera a sensibilidade das características insensíveis pela sua distância TV em relação às características sensíveis. Isso permite a injeção reduzida de ruído em características insensíveis.
• CorrDP-SGD (Descida de Gradiente Estocástica): Aplicado à Minimização de Risco Empírico (DP-ERM).
  • Calibração de Ruído: A variância do ruído $\sigma_i^2$ para a $i$-ésima característica é ajustada. Para características sensíveis ($i \in S$), ruído padrão é usado. Para características insensíveis ($i \in U$), a escala de ruído é reduzida por um fator dependente de $\max\{TV(i), m_s^2/m^2\}$, onde $m_s$ é o número de características sensíveis e $m$ é a dimensão total.
  • Tratamento de Correlações Desconhecidas: Quando a distância TV é desconhecida, os autores propõem um procedimento de estimativa usando um limite superior de confiança da distância TV empírica. Eles provam que essa etapa de estimativa, quando devidamente limitada, mantém as garantias de privacidade e utilidade.

3. Garantias Teóricas

• Privacidade: Os algoritmos propostos satisfazem $(\epsilon, \delta)$-CorrDP.
• Utilidade: Para funções de perda convexas (incluindo Modelos Lineares Generalizados como OLS e Regressão Logística), a lacuna de utilidade (risco empírico excessivo) é limitada por:
  $$R(\theta_{priv}) = \tilde{O}\left( \frac{\sqrt{m_s + \min\{\sum_{i \in U} TV(i), m_s/4\}}}{n\epsilon} \right)$$
  Isso representa uma melhoria sobre o limite padrão de DP-ERM de $\tilde{O}(\sqrt{m}/(n\epsilon))$ quando o número de características sensíveis $m_s$ é pequeno em relação às características totais $m$, e as características insensíveis são fracamente correlacionadas com as sensíveis.
• Limite Inferior: O artigo estabelece um limite inferior quase correspondente, confirmando que a melhoria de utilidade é teoricamente apertada.

Contribuições Principais

1. Nova Estrutura (CorrDP): Introdução de uma noção de DP que incorpora explicitamente correlações de características via uma métrica de distância (distância TV), colapsando para DP padrão quando todas as características são sensíveis.
2. Utilidade Melhorada em DP-ERM: Projeto de algoritmos CorrDP-SGD que incorporam ruído dependente de distância. Resultados teóricos mostram uma melhoria de utilidade por um fator de $\sqrt{m/m_s}$ sob condições leves.
3. Estimativa de Distância: Um procedimento para estimar a distância TV desconhecida a partir do conjunto de dados usando limites superiores de confiança, garantindo que o erro de estimativa não comprometa as garantias de privacidade ou utilidade.
4. Extensão para Redes Neurais: Adaptação da estrutura para redes neurais, especificamente reduzindo o ruído na primeira camada onde características insensíveis são processadas, resultando em desempenho melhorado sobre o DP-SGD padrão.
5. Validação Empírica: Experimentos em conjuntos de dados sintéticos e do mundo real (Adult, Sepsis, Cartão de Crédito, Custo Médico) demonstrando que o CorrDP supera consistentemente as linhas de base DP padrão e "Parcial" (descartando características sensíveis), alcançando precisão comparável à "Semi" (ignorando correlações) mas com garantias de privacidade mais fortes.

Resultados

• Dados Sintéticos: Em tarefas de regressão ridge, o CorrDP alcançou lacunas de utilidade menores (melhor precisão) do que a DP padrão em vários orçamentos de privacidade ($\epsilon$), particularmente em regimes de alta privacidade. Desempenhou-se comparavelmente à linha de base "Semi" (que ignora correlações), mas com proteção de privacidade rigorosa.
• Conjuntos de Dados do Mundo Real:
  • Adult (Previsão de Renda): O CorrDP superou a linha de base Semi e sofreu menos de uma queda de 4% na precisão em comparação com modelos não privados em regimes de alta privacidade.
  • Sepsis (Previsão de Sobrevivência): Usando uma rede neural de 2 camadas, o CorrDP igualou o desempenho da Semi e superou consistentemente a DP Padrão.
  • Cartão de Crédito e Custo Médico: Tendências semelhantes foram observadas, com o CorrDP alcançando utilidade próxima à Semi enquanto mantém garantias estritas de privacidade.
• Estimativa de Distância TV: O método de estimativa proposto lidou com sucesso com correlações desconhecidas, com as escalas de ruído ajustadas dinamicamente com base na força de correlação estimada (por exemplo, no conjunto de dados Adult, a característica "trabalho" exigiu ruído mais alto devido à alta correlação com características sensíveis).

Significado e Alegações

O artigo alega que o CorrDP oferece uma maneira principiante de relaxar restrições de privacidade na presença de correlações de características sem comprometer garantias rigorosas de privacidade. Ao quantificar o "vazamento" de características insensíveis para sensíveis via distância TV, a estrutura permite injeção de ruído dependente de distância.

Os autores enfatizam que sua abordagem:

• Não depende de dados públicos ou de suposições específicas de geometria de gradiente (diferentemente de outros métodos de melhoria de utilidade).
• Fornece uma generalização natural da DP padrão e da DP semi-sensível.
• Demonstra que levar em conta correlações permite utilidade significativamente melhor em configurações de alta dimensão onde apenas um subconjunto de características é verdadeiramente sensível.

O trabalho é apresentado como um passo em direção a aprendizado de máquina preservador de privacidade mais prático, reconhecendo que dados do mundo real frequentemente contêm níveis de sensibilidade heterogêneos e dependências complexas que a DP padrão falha em explorar para ganhos de utilidade. Os autores notam limitações, como o custo computacional de estimar distâncias TV em altas dimensões e a necessidade de partições claramente definidas de sensíveis/insensíveis, apontando essas como direções para pesquisas futuras.