Resumo Técnico: Garantias Ótimas para Auditoria de Aprendizado de Máquina com Privacidade Diferencial de Rényi

1. Declaração do Problema

À medida que os sistemas de aprendizado de máquina com privacidade diferencial (DP) transitam da teoria para a prática, um desafio crítico permanece: como verificar de forma confiável, utilizando observações empíricas finitas, que um algoritmo de aprendizado satisfaz realmente suas garantias de privacidade reivindicadas. Embora exista literatura extensa sobre auditoria de DP pura e aproximada $(\epsilon, \delta)$, as fundações teóricas para auditoria de Privacidade Diferencial de Rényi (RDP) permanecem incompletas.

Os métodos existentes de auditoria de caixa preta frequentemente dependem de construções de ataque específicas (por exemplo, inferência de associação, envenenamento de dados) ou aproximações assintóticas. Essas abordagens carecem frequentemente de garantias de amostra finita que separem limpa e claramente o erro de estimação estatística do vazamento algorítmico de privacidade. Consequentemente, não está claro com que precisão os parâmetros de RDP podem ser estimados a partir de amostras finitas, se os métodos existentes são ótimos e como o erro de auditoria escala com a complexidade do modelo. Este artigo aborda a lacuna na provisão de garantias rigorosas, não assintóticas e information-theoreticamente ótimas para auditoria de RDP em um cenário de caixa preta.

2. Metodologia

Os autores propõem um novo framework de auditoria baseado em teste de hipóteses que estima diretamente a divergência de Rényi entre execuções vizinhas de um algoritmo de aprendizado de máquina.

2.1 Framework Central: Divergência Variacional de Rényi

O método utiliza a representação variacional de Donsker–Varadhan (DV) da divergência de Rényi. Em vez de depender de ataques específicos, os autores enquadram a auditoria de privacidade como um problema de estimação estatística:

• Objetivo: Estimar (ou certificar um limite inferior sobre) a divergência de Rényi $D_\alpha(P \| Q)$ entre as distribuições de saída $P$ e $Q$ de um mecanismo avaliado em conjuntos de dados vizinhos.
• Estimador: Os autores empregam um estimador variacional baseado em rede neural. Eles definem uma classe de funções (críticos) $\Gamma_\Theta$ parametrizada por uma rede neural $T_\theta$. O estimador maximiza o objetivo variacional:
  $$R_\Theta^\alpha(Q \| P) = \sup_{\theta \in \Theta} \left\{ \frac{1}{\alpha-1} \log \mathbb{E}_Q[e^{(\alpha-1)T_\theta}] - \frac{1}{\alpha} \log \mathbb{E}_P[e^{\alpha T_\theta}] \right\}$$
• Implementação: A estimação é realizada via descida de gradiente estocástica com mini-lotes e uma Média Móvel Exponencial (EMA) para garantir estabilidade numérica, particularmente para ordens mais altas de $\alpha$.

2.2 Protocolo de Auditoria de Caixa Preta

No cenário de caixa preta, um adversário pode apenas inserir um "canário" de entrada e observar o modelo treinado final. O procedimento de auditoria (Algoritmo 3) envolve:

1. Inicialização no Pior Caso: Seguindo [31], os autores elaboram parâmetros de modelo iniciais no pior caso (via pré-treinamento) para maximizar a sensibilidade do processo de treinamento à presença do canário.
2. Treinamento: O modelo é treinado duas vezes usando DP-SGD: uma vez com o canário ($D'$) e uma vez sem ($D$).
3. Observação: O auditor coleta valores de perda (ou outras saídas) para o canário de ambos os modelos treinados.
4. Estimação: O estimador DV calcula a divergência de Rényi entre as distribuições de perda dos dois modelos.

2.3 Garantias Estatísticas

O artigo deriva intervalos de confiança explícitos e não assintóticos para o estimador baseado em DV sobre classes de críticos restritas. Ao tratar a auditoria como um teste de hipóteses, o método converte evidência empírica em certificados de violação de privacidade com erro do Tipo-I controlado.

3. Contribuições Principais

3.1 Primeira Auditoria Direta de RDP

Os autores são os primeiros a auditar diretamente a privacidade diferencial de Rényi, estabelecendo um método de caixa preta state-of-the-art para estimar a divergência de Rényi entre as saídas de mecanismos de conjuntos de dados vizinhos. Diferentemente de trabalhos anteriores que convertem entre noções de privacidade (por exemplo, de $\mu$-GDP para RDP), esta abordagem estima a divergência diretamente.

3.2 Intervalos de Confiança Não Assintóticos e Otimalidade

O artigo fornece garantias teóricas rigorosas:

• Limites de Amostra Finita: O Teorema 3.2 estabelece intervalos de confiança explícitos e não assintóticos para o estimador de Rényi DV restrito à classe. Esses limites separam o erro de estimação estatística do vazamento real de privacidade.
• Otimalidade Minimax: O Teorema 3.3 prova limites inferiores minimax correspondentes. Os autores mostram que, até fatores logarítmicos, suas garantias de complexidade de amostra são information-theoreticamente ótimas. Nenhum estimador pode estimar uniformemente o objetivo populacional DV com maior precisão dada a mesma tamanho de amostra e restrições da classe de críticos.

3.3 Validação Empírica

O framework é instanciado para auditoria de DP-SGD nos conjuntos de dados MNIST e CIFAR-10. Os resultados demonstram que os auditores propostos produzem melhorias significativas nos limites inferiores empíricos de RDP em comparação com métodos anteriores de caixa preta state-of-the-art, particularmente em ordens de Rényi pequenas e moderadas ($\alpha \in (1, 2]$), onde a auditoria precisa é mais desafiadora.

4. Resultados

• Desempenho: Através de vários regimes de privacidade e conjuntos de dados, o estimador DV-Rényi produz limites inferiores empíricos mais apertados do que o método atual state-of-the-art (SOTA) de caixa preta [31].
• Sensibilidade: As melhorias são mais pronunciadas em orçamentos de privacidade baixos (pequeno $\epsilon_\alpha$), onde métodos anteriores frequentemente sofrem de saturação prematura ou alta variância.
• Robustez: O método permanece estável mesmo sob inicializações no pior caso, que são projetadas para maximizar a detectabilidade do vazamento de privacidade.
• Alinhamento Teórico: As tendências experimentais alinham-se com a análise teórica, confirmando que conjuntos de dados menores (aumentando o impacto relativo do canário) levam a auditorias mais apertadas, enquanto normas de corte maiores (injetando mais ruído) reduzem a detectabilidade.

5. Significado e Reivindicações

O artigo reivindica estabelecer as primeiras garantias ótimas para auditoria de RDP via estimadores DV. Seu significado reside em:

1. Rigor Fundacional: Ir além de ataques heurísticos para um framework estatístico principiante com intervalos de confiança de amostra finita.
2. Limites Information-Theoretic: Caracterizar os limites estatísticos fundamentais da auditoria de RDP, mostrando que o método proposto alcança otimalidade minimax.
3. Utilidade Prática: Fornecer uma ferramenta que produz auditorias de privacidade mais precisas e robustas para sistemas implantados, particularmente em regimes onde a auditoria precisa é difícil.

Os autores observam que, embora seu método seja ótimo até fatores logarítmicos, melhorias adicionais são fundamentalmente limitadas por restrições information-theoretic. As direções de trabalho futuro identificadas incluem estender essas garantias para cenários interativos e distribuídos e explorar fórmulas variacionais alternativas para valores maiores de $\alpha$.