Distributed Deep Variational Approach for Privacy-preserving Data Release

Resumo Técnico: Abordagem Variacional Distribuída Profunda para Liberação de Dados com Preservação de Privacidade

Declaração do Problema
O artigo aborda o desafio de liberar dados contínuos de alta dimensão (por exemplo, imagens, leituras de sensores) preservando atributos de utilidade específicos e ocultando atributos sensíveis. Embora o Aprendizado Federado (FL) mantenha os dados brutos locais, ele permanece vulnerável a vazamentos de privacidade através de gradientes, atualizações de modelo e as próprias representações. Métodos existentes baseados em perturbação (como Privacidade Diferencial) frequentemente lutam com características contínuas de alta dimensão, e a anonimização simples falha devido às correlações entre dados sensíveis e de utilidade. O objetivo é aprender uma mapeamento estocástico que transforme dados brutos $X$ em uma representação sanitizada e de baixa dimensão $Z$, tal que $Z$ retenha informações sobre uma variável de utilidade $U$, mas revele informações mínimas sobre uma variável sensível $S$.

Metodologia: Protetor de Privacidade Gaussiano (GPP)
Os autores propõem o Protetor de Privacidade Gaussiano (GPP), um framework fundamentado na teoria da informação e inferência variacional.

1. Formulação do Objetivo: O problema central é formulado como a minimização da informação mútua entre os dados sanitizados e o atributo sensível, $I(Z;S)$, sujeito a uma restrição na entropia condicional do atributo de utilidade, $H(U|Z) \leq \bar{\gamma}$. Isso é relaxado em um objetivo Lagrangiano:
   $$\mathcal{L} = I(Z;S) + \beta \cdot H(U|Z)$$
   onde $\beta$ controla o trade-off entre privacidade e utilidade.

2. Limites Variacionais: Como as distribuições posteriores verdadeiras são intratáveis, os autores derivam limites variacionais:

   • Termo de Privacidade: Um limite inferior para $I(Z;S)$ é obtido usando uma rede adversária $Q_\phi(S|Z)$ que tenta prever $S$ a partir de $Z$. Minimizar a perda do codificador enquanto se maximiza a perda do adversário (jogo min-max) estreita esse limite.
   • Termo de Utilidade: Um limite superior para $H(U|Z)$ é obtido usando um classificador de utilidade $Q_\psi(U|Z)$. O codificador coopera com este classificador para minimizar a perda de entropia cruzada.

3. Arquitetura: O framework emprega uma estrutura de Autoencoder Variacional (VAE). O codificador $T_\theta$ mapeia $X$ para um espaço latente Gaussiano $(\mu, \Sigma)$, do qual $Z$ é amostrado via o truque de reparametrização. Um termo de divergência KL regulariza o espaço latente para estar próximo de uma distribuição normal padrão. A função de perda total combina a entropia cruzada de utilidade, a entropia cruzada adversária negativa e a regularização KL.

4. Extensão Distribuída: O framework é estendido para um cenário distribuído (GPP Distribuído). Nesta arquitetura:

   • Cada cliente treina um codificador local e um classificador adversário local.
   • Rótulos sensíveis $S$ nunca saem do cliente.
   • Clientes transmitem apenas as representações sanitizadas $Z$ e rótulos de utilidade $U$ para um agregador central.
   • O agregador treina classificadores de utilidade compartilhados nos dados sanitizados agregados.
   • Isso fornece proteção de privacidade ao nível da instância, complementando a garantia de "dados brutos permanecem locais" do FL padrão.

Principais Contribuições
O artigo declara explicitamente que suas contribuições não são a invenção de componentes individuais (limites variacionais, aprendizado adversário, espaços Gaussianos), mas sua integração e extensão:

• Derivação Variacional Unificada: Uma derivação autossuficiente de um objetivo end-to-end de privacidade-utilidade combinando um limite inferior em $I(Z;S)$ e um limite superior em $H(U|Z)$ em uma única forma de ponto de sela, com o trade-off controlado por um único parâmetro $\beta$.
• Framework Distribuído: Estender o GPP para um cenário distribuído onde os clientes retêm rótulos sensíveis e adversários locais, enquanto o agregador recebe apenas representações sanitizadas. Isso permite proteção de privacidade ao nível da instância.
• Limites Teóricos: Provar um limite de privacidade composicional para o cenário distribuído sob suposições de IID e agregador honesto, contabilizando explicitamente o vazamento residual dos rótulos de utilidade.
• Eficiência de Comunicação: Caracterizar o trade-off de custo de comunicação, mostrando que a transmissão de representações sanitizadas pode ser estritamente mais eficiente do que a transmissão de gradientes em regimes específicos (tamanhos de lote pequenos em relação ao tamanho do modelo).

Resultados Experimentais
O framework foi avaliado em três benchmarks: MNIST (utilidade de soma de dígitos, paridade sensível), CelebA (utilidade de sorriso, gênero sensível) e HAPT-Recognition (utilidade de atividade, identidade do sujeito sensível).

• Trade-off Privacidade-Utilidade: O GPP alcança desempenho de utilidade dentro de aproximadamente um ponto percentual de uma linha de base de autoencoder sem restrições (por exemplo, 0,978 vs. 0,987 AUC no MNIST) enquanto reduz o AUC do adversário para perto de um chute aleatório (0,531 vs. 0,943 para a linha de base).
• Sensibilidade aos Parâmetros: O parâmetro $\beta$ controla efetivamente o trade-off; valores menores priorizam a privacidade (menor AUC do adversário), enquanto valores maiores priorizam a utilidade.
• Treinamento Adversário: Estudos de ablação confirmam que etapas de treinamento adversário são críticas; sem elas, o adversário recupera informações sensíveis com alta precisão, apesar da redução de dimensionalidade.
• Robustez: O método permanece eficaz mesmo quando os atributos de utilidade e sensíveis são altamente correlacionados, embora o desempenho de utilidade degrade de forma graciosa à medida que a correlação aumenta.
• Desempenho Distribuído: No cenário distribuído (5 clientes no HAPT), o sistema corresponde ao ponto de operação de utilidade-privacidade centralizado (dentro de 0,005 AUC) enquanto garante que dados brutos e rótulos sensíveis nunca saiam do cliente.

Significado e Alegações
O artigo posiciona o GPP como uma solução prática para liberação de dados com preservação de privacidade em ambientes distribuídos. Alega oferecer um mecanismo flexível e ajustável para sanitizar dados de alta dimensão sem a perda pesada de utilidade frequentemente associada a métodos baseados em perturbação. A extensão distribuída é destacada como uma contribuição principal, oferecendo "proteção de privacidade ao nível da instância" que vai além das garantias do FL padrão, prevenindo vazamentos através de gradientes e atualizações de modelo.

Os autores permanecem modestos em suas alegações, reconhecendo limitações como a necessidade de comparações diretas com outros métodos de censura adversária, a possível frouxidão dos limites variacionais se a rede adversária tiver capacidade limitada, e o escopo dos experimentos distribuídos (que são apresentados como uma prova de existência em vez de um estudo abrangente de convergência não-IID). Eles observam que o framework não alega um "almoço grátis", pois os ganhos de privacidade são pagos em utilidade, mas esse trade-off é explicitamente exposto e monotônico.