🤖 machine learning

End-to-End Differential Privacy in Training Deep Neural Network Classifiers

Este artigo propõe um framework de treinamento com privacidade diferencial ponta a ponta que privatiza apenas as entradas sensíveis enquanto mantém os rótulos públicos ao aplicar o mecanismo de Dirichlet às saídas softmax e ao aproveitar a privacidade diferencial de Rényi para limites estritos, alcançando precisão de estado da arte em múltiplos conjuntos de dados através de vários orçamentos de privacidade.

Autores originais: Huaiyuan Rao, Calvin Hawkins, Alexander Benvenuti, Matthew Hale

Publicado 2026-07-23

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Huaiyuan Rao, Calvin Hawkins, Alexander Benvenuti, Matthew Hale

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a reconhecer diferentes tipos de animais. Você mostra a ele milhares de fotos de gatos e cachorros e, para cada foto, diz ao robô: "Isto é um gato" ou "Isto é um cachorro". O robô aprende olhando as fotos e ajustando suas configurações internas para acertar os rótulos. É assim que a inteligência artificial moderna aprende. Mas e se essas fotos contiverm segredos sensíveis? Talvez as fotos sejam de exames médicos de pacientes ou momentos familiares privados. Se alguém roubar o "cérebro" final do robô (seu modelo treinado), poderá fazer engenharia reversa das fotos originais e ver esses segredos. Para impedir isso, cientistas usam um escudo matemático chamado Privacidade Diferencial. Pense nesse escudo como adicionar um pouco de "estática" ou "ruído" ao processo de aprendizado, como aumentar o volume de um rádio o suficiente para esconder um sussurro, de modo que ninguém consiga dizer exatamente qual foto específica o robô viu, mas ainda assim permitindo que ele aprenda a ideia geral do que um gato parece ser.

Normalmente, quando os cientistas adicionam esse escudo de privacidade, eles embaralham tudo: a imagem e o rótulo. Mas, às vezes, o rótulo não é um segredo. Se você estiver treinando um robô para detectar pneumonia em Raios-X, o Raio-X em si pode ser um registro médico privado, mas o diagnóstico do médico ("Pneumonia" ou "Sem Pneumonia") pode ser de conhecimento público ou já conhecido. A grande questão que este artigo faz é: Podemos proteger a imagem secreta enquanto deixamos o rótulo público intacto e, ainda assim, ensinar o robô muito bem? Os autores, uma equipe da Georgia Tech, dizem que sim. Eles construíram um novo método de treinamento que embaralha as "suposições" do robô sobre a imagem usando uma ferramenta matemática especial chamada mecanismo de Dirichlet. Em vez de apenas adicionar ruído aleatório como uma rádio cheia de estática, eles usam essa ferramenta para dar um leve empurrão nas suposições de probabilidade do robô de uma forma que esconda a imagem original, mas mantenha o caminho de aprendizado claro. Eles testaram isso em conjuntos de dados de imagens famosos como o CIFAR10 (uma coleção de pequenas fotos coloridas) e descobriram que seu método é muito mais inteligente que as tentativas anteriores. Enquanto os métodos antigos tinham dificuldade em aprender quando o escudo de privacidade era forte, essa nova abordagem manteve a precisão do robô alta, mesmo quando as configurações de privacidade eram apertadas.

A História da Imagem Secreta e do Rótulo Público

Vamos mergulhar na aventura deste artigo. Os autores, Huaiyuan Rao, Calvin Hawkins, Alexander Benvenuti e Matthew Hale, estão enfrentando um problema complexo no mundo do aprendizado de máquina. Eles querem treinar redes neurais profundas — aqueles cérebros de computador sofisticados que reconhecem rostos, diagnosticam doenças ou dirigem carros — sem vazar os segredos privados escondidos dentro dos dados de treinamento.

O Problema do Jeito Antigo
Imagine que você está tentando ensinar um aluno a identificar diferentes frutas. Você mostra a ele uma maçã e diz: "Isto é uma maçã". Se você quiser proteger a memória do aluno sobre aquela maçã específica (talvez seja uma fruta rara e ameaçada de extinção), você pode dizer a ele para esquecer o tom exato de vermelho ou o pequeno arranhão na casca. No mundo da IA, isso é feito adicionando ruído. O método mais comum, chamado DP-SGD, é como colocar um cobertor grosso e felpudo sobre toda a sala de aula. Ele embaralha tanto a foto da fruta quanto o rótulo "maçã". Embora isso seja muito seguro, também é muito desajeitado. O cobertor felpudo torna difícil para o aluno ver qualquer coisa claramente, então ele aprende devagar e comete muitos erros. A precisão da IA cai significativamente porque o "ruído" é muito pesado.

A Nova Ideia: Um Escudo Direcionado
Os autores perceberam que, em muitas situações do mundo real, o "rótulo" não é realmente um segredo. Se você estiver treinando uma IA para detectar fraude de cartão de crédito, o valor da transação pode ser sensível, mas a categoria "Fraude" ou "Seguro" é frequentemente uma definição padrão e pública. Se você tratar o rótulo público como um segredo, estará adicionando ruído desnecessário, como usar um casaco de inverno no verão.

Então, eles propuseram um novo framework: Privacidade Diferencial de Ponta a Ponta. Em vez de embaralhar a imagem inteira, eles embaralham apenas a parte que importa: a imagem de entrada. Eles deixam o rótulo (a chave de respostas) completamente limpo.

Como o Truque de Mágica Funciona
É aqui que a história fica divertida. Os autores usam um truque inteligente envolvendo a camada softmax. Você pode pensar em uma rede neural como um detetive que olha para uma foto e depois faz uma lista de suposições: "Estou 80% seguro de que é um gato, 15% de que é um cachorro e 5% de que é um pássaro". Esta lista de porcentagens é chamada de vetor de probabilidade, e ela vive em uma forma chamada "simplex unitário" (um termo geomético sofisticado para um triângulo onde todos os cantos somam 100%).

Nos métodos antigos, eles simplesmente jogavam ruído aleatório nessas suposições, o que frequentemente atrapalhava a matemática. Mas os autores usaram uma ferramenta especial chamada mecanismo de Dirichlet. Imagine que a lista de suposições do detetive é uma tigela de areia colorida. O mecanismo de Dirichlet não apenas joga sujeira na tigela; ele mistura a areia de uma forma muito específica e matematicamente perfeita. Ele pega a suposição original do detetive e adiciona um pouco de "areia de privacidade" a ela, criando uma nova lista de suposições ligeiramente diferente.

Esta nova lista ainda é um conjunto válido de probabilidades (ainda soma 100%), mas agora é "privada". O robô usa essa lista ligeiramente nebulosa para calcular seus erros e aprender, mas devido à forma como o mecanismo de Dirichlet funciona, é impossível descobrir exatamente qual era a foto original.

Os Resultados: Mais Inteligentes e Rápidos
A equipe testou este novo método em vários conjuntos de dados famosos, incluindo CIFAR10 (10 tipos de imagens pequenas), MNIST (números escritos à mão) e até MedMNIST (imagens médicas). Eles compararam seu método com a abordagem do "cobertor felpudo" (DP-SGD) e outro método recente que tentava proteger as entradas, mas usava um tipo diferente de ruído.

Os resultados foram impressionantes. Quando o orçamento de privacidade foi definido em um nível estrito (onde $\epsilon = 4$ ), o melhor método antigo (Monir e Ghinita, 2024) obteve cerca de 78,37% de precisão no CIFAR10. O novo método dos autores saltou para 88,17%. Isso é um salto enorme! Mesmo quando a privacidade foi aumentada para um nível extremamente rigoroso ( $\epsilon = 1$ ), o método deles ainda alcançou 82,96% de precisão, enquanto os métodos antigos tiveram dificuldade para passar de 56%.

Por que foi tão melhor?

Menos Ruído: Como eles protegeram apenas as entradas e não os rótulos, não precisaram adicionar tanto "estática" ao processo de aprendizado.
Ruído Mais Inteligente: O mecanismo de Dirichlet é mais adequado para suposições de probabilidade do que o ruído aleatório usado em outros métodos. Ele preserva a direção do caminho de aprendizado, o que significa que o robô ainda sabe para onde ir, ele apenas dá passos ligeiramente menores.
Sem Clipping: Os métodos antigos tinham que "cortar" (clip) os passos de aprendizado para cada imagem individual para mantê-las seguras, o que era lento e desordenado. O método dos autores não precisou fazer isso, tornando o processo de treinamento mais rápido.

O Que Eles Não Fizeram
Os autores ressaltam cuidadosamente que seu método é projetado para situações onde os rótulos são públicos ou seguros. Se os rótulos também forem secretos (como um diagnóstico médico privado que ninguém deve saber), este método não é a ferramenta certa. Nesses casos, o antigo "cobertor felpudo" (DP-SGD) ainda é necessário porque protege tudo.

A Conclusão
Este artigo mostra que não precisamos escolher entre privacidade e desempenho. Sendo mais inteligentes sobre o que protegemos, podemos construir modelos de IA que são seguros e incrivelmente precisos. Os autores demonstraram que, ao usar o mecanismo de Dirichlet para privatizar apenas as entradas, puderam treinar redes neurais profundas que superam o estado da arte em quase todos os testes que realizaram. É um lembrete de que, no mundo da IA, às vezes a melhor maneira de proteger um segredo é parar de esconder as coisas que já são públicas.

Resumo Técnico: Privacidade Diferencial de Ponta a Ponta no Treinamento de Classificadores de Redes Neurais Profundas

Declaração do Problema
As estruturas existentes de aprendizado de máquina com privacidade diferencial (DP), como o Gradiente Descendente Estocástico com Privacidade Diferencial (DP-SGD), tipicamente privatizam tanto as entradas de treinamento quanto seus rótulos correspondentes. No entanto, em muitos cenários do mundo real, os riscos de privacidade associados a entradas e rótulos são assimétricos. Por exemplo, em imagens médicas, os dados biométricos do paciente (entradas) são altamente sensíveis, enquanto os rótulos diagnósticos podem ser públicos ou acessíveis via registros de saúde. Da mesma forma, em aplicações financeiras, os históricos de transações são sensíveis, mas as categorias de nível de risco são frequentemente definidas publicamente. Os métodos atuais que privatizam tanto entradas quanto rótulos introduzem um compromisso significativo entre privacidade e utilidade, resultando frequentemente em uma degradação substancial da precisão, mesmo com orçamentos de privacidade moderados. Os autores abordam o desafio específico de treinar classificadores de redes neurais profundas onde as entradas de treinamento são sensíveis, mas os rótulos são públicos, visando fornecer privacidade diferencial para as entradas enquanto mantêm uma alta precisão do modelo.

Metodologia
O artigo propõe uma nova estrutura de treinamento privado que injeta aleatoriedade calibrada diretamente na camada de saída softmax de uma rede neural, em vez de perturbar gradientes ou camadas de características intermediárias. Os componentes principais da metodologia incluem:

Mecanismo de Dirichlet: Em vez de adicionar ruído Gaussiano aos gradientes (como no DP-SGD) ou às características, a estrutura amostra um vetor de probabilidade privado de uma distribuição de Dirichlet. Especificamente, para um modelo que produz logits $z$ , a saída softmax $s(z)$ é perturbada pela amostragem de $\tilde{p} \sim \text{Dir}(r s(z) + \alpha \mathbf{1}_d)$ , onde $r$ e $\alpha$ são parâmetros de escala e deslocamento, respectivamente. Este vetor perturbado $\tilde{p}$ é então usado para calcular a perda de Log-Verossimilhança Negativa (NLL) contra o verdadeiro rótulo público $y$ .
Análise de Privacidade via RDP e Subamostragem: Como os dados de treinamento são reutilizados ao longo de múltiplos épocas, os autores utilizam a Privacidade Diferencial de Rényi (RDP) para formular limites rigorosos sobre a perda de privacidade acumulada. Eles utilizam a subamostragem de Poisson (seleção aleatória de minilote) para amplificar as garantias de privacidade. O artigo deriva um limite formal (Teorema 10) caracterizando a privacidade $(\epsilon, \delta)$ de todo o processo de treinamento, contabilizando a composição do mecanismo de Dirichlet ao longo de $T$ etapas de treinamento.
Comportamento do Gradiente e Calibração da Taxa de Aprendizado: Os autores analisam as propriedades estatísticas da perda perturbada. Eles demonstram (Teorema 11) que o gradiente esperado da perda privada preserva a direção do gradiente de entropia cruzada não privado, mas é escalonado por um fator de atenuação dependente dos dados $\kappa(z; r, \alpha)$ . Este insight permite a calibração da taxa de aprendizado para neutralizar o escalonamento de magnitude introduzido pelo mecanismo de privacidade, garantindo um treinamento estável.
Seleção de Parâmetros: A estrutura inclui um procedimento para selecionar os parâmetros de Dirichlet ( $\alpha$ e $r$ ) para satisfazer um orçamento de privacidade alvo $(\epsilon, \delta)$ . O parâmetro $r$ é determinado via busca de raiz para maximizar o fator de escala enquanto permanece dentro das restrições de privacidade.

Principais Contribuições

Nova Estrutura: A proposta de um pipeline de treinamento que privatiza entradas mantendo os rótulos públicos, utilizando o mecanismo de Dirichlet na camada softmax para impor privacidade diferencial.
Garantias Formais de Privacidade: A derivação de um limite de privacidade rigoroso usando RDP e amplificação de subamostragem para o mecanismo de Dirichlet, uma combinação não analisada anteriormente na literatura.
Insight Teórico: A prova de que o mecanismo de Dirichlet preserva a direção dos gradientes enquanto reescala sua magnitude, fornecendo uma base teórica para a seleção da taxa de aprendizado.
Superioridade Empírica: Avaliação extensiva mostrando que o método proposto supera as abordagens de estado da arte existentes em múltiplos conjuntos de dados e orçamentos de privacidade.

Resultados Experimentais
Os autores avaliaram a estrutura em cinco conjuntos de dados de referência: CIFAR10, MNIST, DermaMNIST, FashionMNIST e SVHN. As principais descobertas incluem:

CIFAR10: Com um orçamento de privacidade de $\epsilon = 4$ (com $\delta = 10^{-5}$ ), o método alcançou 88,17% de precisão, melhorando significativamente o estado da arte anterior (Monir e Ghinita, 2024), que alcançou 78,37% com o mesmo orçamento. Mesmo no orçamento estrito de $\epsilon = 1$ , o método alcançou 82,96% de precisão, superando o desempenho do trabalho anterior em $\epsilon = 4,46$ .
MNIST: O método alcançou níveis de precisão próximos aos não privados (ex: 99,44% em $\epsilon = 4$ ) usando um modelo Inception simplificado, superando o DP-SGD e outras linhas de base de aprendizado privado.
DermaMNIST: Em dados de imagens médicas, o método alcançou 74,32% de precisidade em $\epsilon = 1$ , superando o DP-SGD (68,34%) e mantendo uma lacuna de menos de 5% em relação à linha de base não privada.
Eficiência: A estrutura elimina a necessidade de corte de gradiente por amostra (per-sample gradient clipping), que é computacionalmente caro no DP-SGD. Consequentemente, o processo de treinamento é significativamente mais rápido (ex: ~30 segundos por época no CIFAR10 vs. ~60 segundos para o DP-SGD).

Significância e Alegações
O artigo afirma que esta abordagem oferece uma solução complementar ao DP-SGD, especificamente adaptada para cenários onde as entradas são sensíveis, mas os rótulos não são. Ao evitar a privatização de rótulos e o uso de corte de gradiente por amostra, o método alcança um novo estado da arte em precisão em todos os orçamentos de privacidade avaliados. Os autores enfatizam que o mecanismo de Dirichlet introduz aleatoriedade com menor variância do que os mecanismos Gaussianos usados em trabalhos anteriores de privacidade de entrada (como Monir e Ghinita, 2024), e que a variância escala com o número de classes em vez da largura da camada, tornando-o mais adequado para redes profundas. O trabalho demonstra que modelos de alta utilidade podem ser treinados com fortes garantias de privacidade para entradas sensíveis sem as severas penalidades de precisão associadas ao treinamento totalmente privado.

A História da Imagem Secreta e do Rótulo Público

Mais como este