DP-IVON-Gradsq: Differentially Private Squared-Gradient Improved Variational Online Newton

Resumo Técnico: DP-IVON-Gradsq

Definição do Problema
A implantação de redes neurais profundas em domínios sensíveis (ex: saúde, finanças) exige garantias rigorosas de privacidade, tipicamente fornecidas pela Privacidade Diferencial (DP). Concomitantemente, aplicações de alto risco exigem modelos capazes de predição com consciência de incerteza, uma capacidade oferecida pelo Aprendizado Bayesiano Profundo (BDL). No entanto, combinar esses objetivos é desafiador. Métodos DP padrão (como o DP-SGD) adicionam ruído aos gradientes para proteger os dados, enquanto métodos BDL (como a Inferência Variacional) introduzem estocasticidade através da amostragem da posterior. A interação entre o ruído de privacidade injetado e o ruído de amostragem da posterior não é trivial; combinações ingênuas frequentemente levam à degradação do desempenho ou a estimativas de incerteza instáveis. Métodos bayesianos privados existentes, como o DP-SGLD (Stochastic Gradient Langevin Dynamics) e o DP-Bayes by Backprop (DP-BBP), sofrem com problemas de escalabilidade, falta de posteriores analíticas ou ineficiência computacional devido à complexidade de combinar a amostragem de Monte Carlo com o corte de gradiente (clipping) e a injeção de ruído.

Metodologia
Os autores propõem o DP-IVON-Gradsq, uma variante diferencialmente privada do otimizador Improved Variational Online Newton (IVON). O IVON é um método de aprendizado variacional escalável que mantém uma posterior gaussiana sobre os parâmetros do modelo ($q(\theta) = \mathcal{N}(m, \text{diag}(\sigma_v^2))$) usando atualizações de segunda ordem eficientes derivadas de estimativas de Hessian reparametrizadas, alcançando custos computacionais comparáveis à otimização determinística baseada em Adam.

A inovação central do DP-IVON-Gradsq reside em sua abordagem para sanitizar gradientes para fins de privacidade, minimizando o acoplamento entre o ruído de privacidade e o ruído de amostragem variacional:

1. Sanitização DP Padrão: O método emprega mecanismos DP padrão: corte de gradiente por exemplo (usando uma restrição de norma $\ell_2$ $C$) e a adição de ruído gaussiano calibrado ao gradiente médio do minibatch ($g_{dp}$).
2. Curvatura de Gradiente Quadrático Corrigida por Ruído: No IVON padrão, a estimativa de curvatura (aproximação da Hessian) depende do estimador reparametrizado $\hat{h}_{IVON} = g_{dp} \odot \frac{\theta - m}{\sigma_v^2}$, que acopla explicitamente o gradiente privatizado com a perturbação do parâmetro amostrado ($\theta - m$). Para desacoplar essas fontes de ruído, o DP-IVON-Gradsq substitui isso por uma estimativa de curvatura de gradiente quadrático ($g_{dp}^2$).
3. Correção de Viés: Como o $g_{dp}$ contém ruído gaussiano, o simples ato de elevar ao quadrado introduz a variância do ruído de privacidade na estimativa de curvatura. Os autores introduzem um passo de correção de ruído:
   $$\hat{v} = \max\left(g_{dp}^2 - \frac{\sigma_p^2 C^2}{b^2}, 0\right)$$
   onde $\sigma_p$ é o multiplicador de ruído e $b$ é o tamanho do lote (batch size). Isso subtrai a variância conhecida do ruído injetado antes de projetar o resultado no ortante não negativo.
4. Pós-processamento: A estimativa de curvatura $\hat{h}$ é atualizada usando $\hat{v}$ via recursão IVON. Crucialmente, a atualização da curvatura, a atualização de momentum e as atualizações da média/variância da posterior são tratadas como operações de pós-processamento sobre o gradiente privatizado, o que significa que não consomem orçamento de privacidade adicional.

A implementação utiliza a biblioteca Opacus para o cálculo de gradiente por exemplo e contabilidade RDP, envolta com um otimizador customizado para lidar com as atualizações variacionais específicas do IVON.

Principais Contribuições

• Algoritmo DP-IVON-Gradsq: Um novo otimizador privado que integra privacidade diferencial à estrutura IVON sem alterar a arquitetura da rede ou o objetivo de treinamento.
• Desacoplamento de Fontes de Ruído: A introdução de um estimador de gradiente quadrático corrigido por ruído para construir a matriz de curvatura, especificamente desenhado para reduzir a interação entre o ruído de privacidade e o ruído de amostragem da posterior.
• Implementação Eficiente: Uma implementação prática, compatível com Opacus, que mantém a eficiência computacional de otimizadores do tipo Adam enquanto fornece predições com consciência de incerteza.
• Avaliação Empírica: Uma avaliação abrangente no CIFAR-10 comparando o DP-IVON-Gradsq contra otimizadores privados padrão (DP-SGD e DP-Adam) através de variados orçamentos de privacidade ($\epsilon$), tamanhos de lote e normas de corte.

Resultados
Experimentos no CIFAR-10 revelam os seguintes compromissos (trade-offs):

• Privacidade Fraca-a-Moderada ($\epsilon$ é grande): O DP-IVON-Gradsq é competitivo com o DP-SGD e o DP-Adam em termos de acurácia, Log-Verossimilhança Negativa (NLL) e Erro de Calibração Esperada (ECE). Ele preserva com sucesso o comportamento de consciência de incerteza do IVON sob perturbações de privacidade moderadas.
• Privacidade Forte ($\epsilon$ é pequeno): O método exibe uma degradação de desempenho mais acentuada em comparação aos baselines, particularmente para tamanhos de lote menores e normas de corte mais altas.
  • Acurácia: O desempenho cai mais rapidamente conforme $\epsilon$ diminui.
  • Calibração de Incerteza: O NLL e o ECE aumentam significamente no regime de alta privacidade. Os autores atribuem isso ao passo de correção de ruído no estimador de curvatura. Quando os gradientes tornam-se pequenos (ex: no final do treinamento), a subtração da variância do ruído de privacidade pode dominar o sinal, fazendo com que a estimativa de curvatura $\hat{v}$ seja zerada pela projeção. Isso resulta em uma perda de sinais de curvatura informativos, levando a estimativas de variância da posterior pobres e predições superconfiantes ou mal calibradas.
• Sensibilidade ao Tamanho do Lote: Tamanhos de lote maiores melhoram a estabilidade para todos os métodos ao reduzir a escala efetiva do ruído injetado, mas o benefício é particularmente crítico para o DP-IVON-Gradsq estabilizar suas estimativas de curvatura.

Significância e Alegações
O artigo alega que o DP-IVON-Gradsq oferece um caminho prático para o treinamento privado com consciência de incerteza com custos computacionais similares aos de otimizadores DP determinísticos. Demonstra que é viável integrar a privacidade diferencial com o aprendizado bayesiano variacional sem incorrer no pesado custo computacional típico de métodos de amostragem baseados em sampling.

No entanto, os autores são modestos quanto às limitações do método. Eles reconhecem que, embora o método seja competitivo sob restrições de privacidade fraca-a-moderada, ele tem dificuldades sob restrições de privacidade forte. O artigo identifica o passo de correção de ruído e projeção no estimador de curvatura como um potencial gargalo, onde a subtração da variância de privacidade pode levar a estimativas de curvatura zero em regimes de alto ruído. Consequentemente, o trabalho destaca a necessidade de técnicas de estimativa de curvatura privada mais robustas e melhores estratégias de ajuste de hiperparâmetros para aprendizado variacional sob garantias de privacidade estritas. O artigo não afirma ter resolvido a tensão fundamental entre alta privacidade e alta fidelidade de quantificação de incerteza, mas sim fornece um passo adiante na otimização variacional privada escalável.