Private Prediction via PAC Privacy

Resumo Técnico: Predição Privada via Privacidade PAC

Declaração do Problema
Modelos de aprendizado de máquina estão sendo cada vez mais implantados como serviços de caixa-preta por meio de APIs, onde apenas as predições são expostas aos usuários, em vez dos pesos do modelo. Esse padrão de implantação motiva a predição privada: privatizar as saídas do modelo em vez dos parâmetros. Embora a Privacidade Diferencial (DP) seja o padrão para privacidade, ela enfrenta dificuldades neste contexto. A DP calibra o ruído com base na sensibilidade de pior caso (a mudança máxima na saída entre conjuntos de dados adjacentes). Para modelos não convexos (ex: redes neurais profundas), calcular limites de sensibilidade precisos é intratável. Consequentemente, a predição privada baseada em DP frequentemente recorre a métodos de "amostragem e agregação" (como o PATE) ou retorna ao ruído independente da entrada, levando a um severo compromisso entre privacidade e utilidade, onde a utilidade colapsa sob altos volumes de consultas ou orçamentos estritos.

Além disso, os frameworks de privacidade existentes para liberações sequenciais falham sob consultas adaptativas e adversariais. Em cenários realistas, usuários não confiáveis podem escolher futuras consultas com base no histórico de saídas anteriores para maximizar o vazamento de informações. Os teoremas de composição padrão ou falham sob adaptividade, crescem quadraticamente com o número de consultas ou retornam ao ruído do tipo DP independente da entrada, descartando as vantagens de estabilidade do preditor específico.

Metodologia
O artigo propõe um framework para Predição Privada via Privacidade PAC (Probably Approximately Correct), abordando a lacuna na composição eficiente e adaptativa.

1. Framework de Privacidade PAC: Ao contrário da DP, a privacidade PAC é baseada em instâncias. Ela mede a estabilidade de uma função de processamento de dados via simulações de caixa-preta sob uma distribuição de entrada específica ($P_S$). Ela controla o vazamento de privacidade limitando a Informação Mútua (MI) entre o segredo de entrada $S$ e a saída $R$. Uma função estável requer significativamente menos ruído para ser privatizada.
2. Composição Adversarial Consciente da Posterior: A principal contribuição teórica é um novo teorema de composição que lida com consultas adaptativas e adversariais com um segredo persistente (o mesmo conjunto de treinamento $S$ é usado para todas as consultas).
   • Calibração de Ruído Adaptativa: O curador mantém um "estado de crença" — a distribuição posterior do segredo $S$ dada a história de interação.
   • Mecanismo: Em cada etapa $t$, ao receber uma consulta adaptativa $M_t$, o curador calcula a covariância do ruído $\Sigma_t$ necessária para satisfazer um orçamento de MI por etapa $b_t$ condicionado à posterior crença atual $P_{t-1}$.
   • Atualização Bayesiana: Após liberar a resposta ruidosa $R_t$, o curador atualiza a posterior crença usando a regra de Bayes.
   • Teorema: Os autores provam que, sob este mecanismo, a acumulação de vazamento de MI é linear ($I(S; R_{1:T} \le \sum b_t$) mesmo sob adaptividade adversarial. Isso preserva a utilidade baseada em instância da privacidade PAC enquanto fornece limites de composição linear rigorosos.
3. Instanciação Concreta para ML:
   • Distribuição de Entrada: O segredo $S$ é um subconjunto aleatório do universo $U$, amostrado de tal forma que cada ponto tem 50% de probabilidade de inclusão. Para tornar a computação tratável, o suporte é restrito a uma coleção finita de $m=128$ subconjuntos.
   • Pré-processamento Offline: Para evitar o retreinamento a cada consulta, $m$ modelos são treinados offline nos $m$ subconjuntos. As consultas online envolvem rodar a inferência nesses $m$ modelos, agregar as predições e adicionar ruído calibrado.
   • Estabilização de Saída: O sistema privatiza predições rígidas (rótulos one-hot) em vez de probabilidades suaves. Predições rígidas são mais estáveis através de diferentes subconjuntos de treinamento, resultando em menor variância de saída e exigindo menos ruído.
4. Destilação de Modelo Privada: Para permitir consultas ilimitadas após o esgotamento de um orçamento de privacidade finito, o artigo propõe destilar um modelo "estudante" a partir das predições privadas de PAC.
   • Filtragem de Confiança: Um teste estatístico é aplicado às predições ruidosas para filtrar amostras de baixa confiança (potencialmente rotuladas incorretamente) antes do treinamento do estudante. Isso garante que o modelo destilado seja treinado apenas em rótulos de alta qualidade, limitando a probabilidade de reter dados mal rotulados.

Principais Resultados
Experimentos em modalidades tabulares, visão (CIFAR-10, CIFAR-100) e texto (IMDb, AG News) demonstram a eficácia da abordagem:

• Alta Utilidade com Orçamentos Estritos: No CIFAR-10, o método alcança 87,79% de acurácia com um orçamento de MI por consulta de $2^{-32}$. Isso permite servir um milhão de consultas enquanto limita provadamente o sucesso do ataque de inferência de membros (MIA) a 51,08%. Essa garantia é comparável a $(0.04, 10^{-5})$-DP.
• Escalabilidade: O sistema suporta aproximadamente 477 milhões de consultas antes de atingir a garantia de MIA de $(1, 10^{-5})$-DP. Em contraste, a predição privada baseada em DP degrada para o acaso conforme o número de consultas aumenta, devido às restrições de sensibilidade independentes da entrada.
• Desempenho de Destilação: Usando 210.000 predições privadas de um professor CIFAR-10 para rotular um subconjunto público do ImageNet (CINIC-10), o modelo estudante destilado alcança 91,86% de acurácia no CIFAR-10. Isso supera o professor privado e iguala a garantia de MIA de $(0.02, 10^{-5})$-DP, exigendo nenhum dado público rotulado para o processo de destilação.
• Robustez: O método mantém uma forte utilidade mesmo quando o orçamento de MI por etapa se torna infinitesimalmente pequeno ($2^{-32}$), um fenômeno atribuído à estabilidade inerente das predições do modelo através de diferentes subconjuntos de treinamento.

Significância e Alegações
O artigo afirma fechar uma lacuna crítica no aprendizado de máquina privado ao permitir a predição privada que é tanto preservadora de privacidade quanto altamente útil sob condições adaptativas e adversariais.

• Avanço Teórico: Fornece o primeiro teorema de composição adversarial para privacidade PAC com um segredo persistente, provando que a MI se acumula linearmente sob consultas adaptativas. Isso contrasta com trabalhos anteriores que ou falharam sob adaptividade ou exigiram ruído independente da entrada.
• Viabilidade Prática: Demonstra que a estabilidade da predição pode ser aproveitada para privatizar saídas com ruído mínimo, oferecendo um cenário de "ganha-ganha" onde o aprendizado robusto (baixa variância) naturalmente leva a melhores compromissos entre privacidade e utilidade.
• Alternativa ao Treinamento DP: O trabalho sugere um caminho para liberar modelos preservadores de privacidade via predição privada e destilação, oferecendo um perfil de utilidade mais favorável do que o DP-SGD para serviços de inferência, particularmente quando o modelo de ameaça se alinha com a predição via API em vez da liberação de pesos do modelo.
• Limitações: Os autores reconhecem que a abordagem depende de uma distribuição de entrada específica (subamostragem) e que o custo computacional envolve o pré-treinamento de $m$ modelos. Eles também observam que as garantias teóricas assumem um adversário computacionalmente ilimitado com conhecimento total da distribuição do sistema, embora argumentem que isso se estende naturalmente para configurações realistas.

Em resumo, o artigo argumenta que, ao mudar o foco da privacidade de parâmetros para a privacidade de saída e utilizar a estabilidade baseada em instâncias via privacidade PAC, é possível servir milhões de consultas com garantias de privacidade fortes e prováveis que os métodos baseados em DP não conseguem alcançar sem sacrificar a utilidade.