🤖 machine learning

PURGE: Projected Unlearning via Retain-Guided Erasure

O artigo introduz o PURGE, um algoritmo de desaprendizado de máquina que aproveita a dualidade entre aprendizado contínuo e desaprendizado ao combinar restrições de projeção de gradiente com a eliminação de representação multicamada e um alvo de retenção-confusão para remover dados específicos de forma eficaz, preservando a utilidade do modelo e resistindo a ataques de inferência de pertencimento.

Autores originais: Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno muito inteligente que estudou uma biblioteca imensa de livros para se tornar um especialista. Agora, imagine que uma pessoa específica (vamos chamá-la de "Bob") pede ao aluno para esquecer tudo sobre ele devido às leis de privacidade.

O método antigo e "ingênuo" de lidar com isso é dizer ao aluno: "Volte à biblioteca, jogue fora os livros do Bob e comece a estudar do zero". Isso funciona perfeitamente, mas leva anos e custa uma fortuna.

PURGE é um atalho novo e inteligente. É como uma borracha mágica que remove a influência do Bob do cérebro do aluno sem fazer com que ele esqueça todo o resto que aprendeu.

Aqui está como o artigo explica esse processo usando analogias simples:

1. A Ideia Central: Duas Faces da Mesma Moeda

Os autores notaram algo interessante: Aprendizado e Esquecimento são, na verdade, opostos do mesmo problema.

Aprendizado (Aprendizado Contínuo): Você quer aprender uma nova habilidade (como tocar violão) sem esquecer sua habilidade antiga (como tocar piano).
Esquecimento (Desaprendizado de Máquina): Você quer apagar uma memória específica (Bob) sem esquecer o resto da biblioteca.

O artigo diz: "Vamos pegar empregada a matemática usada para aprender coisas novas e invertê-la para nos ajudar a esquecer coisas".

2. O Truque de Mágica: O "Guarda-corpo" (Projeção de Gradiente)

Quando o aluno tenta apagar a memória do Bob, ele pode acidentalmente derrubar um vaso de flores (o "conjunto de retenção" ou outros dados).

O PURGE usa uma técnica chamada Projeção de Gradiente. Pense nisso como um guarda-corpo ou um segurança.

Cada vez que o aluno tenta dar um passo para apagar o Bob, o segurança verifica: "Este passo vai machucar as flores?"
Se a resposta for "Sim", o segurança gentilmente empurra o pé do aluno de volta para que ele apenas se mova em uma direção que não danifique as flores.
Isso garante que, enquanto eles estão apagando o Bob, o restante do conhecimento permaneça seguro e preciso.

3. A Estratégia da "Confusão Falsa" (Alvo de Confusão de Retenção)

Normalmente, quando você tenta fazer um modelo esquecer algo, você diz a ele para adivinhar aleatoriamente (como jogar um dado). O artigo encontrou um problema com isso: Robôs são bons demais em detectar aleatoriedade falsa. Se um modelo começa de repente a adivinhar aleatoriamente, um hacker pode dizer: "Aha! Este modelo foi forçado a esquecer algo!"

Em vez disso, o PURGE usa um Alvo de Confusão de Retenção (Retain-Confusion Target).

Imagine que o aluno olha para os livros que ele manteve e vê onde ele se confunde. Talvez ele confunda "Gatos" e "Cães" às vezes.
Ao apagar o Bob, o aluno é instruído: "Não adivinhe aleatoriamente. Em vez disso, adivinhe exatamente da mesma forma confusa que você faz com os livros que manteve".
Isso faz com que o modelo "apagado" pareça exatamente como um aluno que nunca viu o Bob antes. Para um hacker, é impossível distinguir a diferença.

4. Limpeza Profunda: Apagando o "Pressentimento"

Às vezes, mesmo que o modelo pare de dizer a resposta certa, ele ainda "sente" a resposta errada profundamente dentro de seu céreão (nas camadas intermediárias).

Métodos antigos apenas diziam ao modelo para parar de dizer a resposta errada no final (a saída).
O PURGE vai mais fundo. Ele limpa o "pressentimento" (representações intermediárias), empurrando a atividade cerebral interna para que ela se pareça com a atividade de alguém que nunca conheceu o Bob.

5. O Botão de "Parada Automática"

Como o aluno sabe quando parar de apagar?

Modo antigo: Você tem que contar os minutos ou adivinhar quantas vezes deve praticar.
Modo PURGE: Ele possui dois sinais de parada autorreguláveis:
1. O Orçamento: "Se começarmos a machucar as flores (dados de retenção) demais, pare imediatamente."
2. O Alvo: "Se a memória do Bob estiver tão nebulosa que não conseguimos adivinhar melhor do que o acaso, pare."
  Isso significa que o algoritmo decide quando terminou, para que humanos não precisem adivinhar.

6. A Surpresa da "Estatística Congelada"

O artigo encontrou uma armadilha oculta: Quando se apaga uma classe inteira de dados (como todas as fotos de "Gatos"), a calculadora interna do modelo (BatchNorm) fica confusa porque ela só vê "Gatos" e esquece como lidar com "Cães".

A Correção: Os autores perceberam que precisavam congelar essa calculadora para que ela não atualize suas estatísticas com os dados estranhos e unilaterais. É como dizer à calculadora: "Não mude suas configurações enquanto estamos fazendo esta cirurgia". Sem isso, todo o sistema entra em colapso.

Os Resultados: O Que Eles Descobriram?

Os autores testaram isso em cinco tipos diferentes de dados (de números escritos à mão a imagens médicas).

Privacidade: O modelo "apagado" é tão bom em esconder que os hackers não conseguem dizer se o Bob estava nos dados de treinamento ou não (uma pontuação de 0,5, que é perfeita).
Utilidade: O modelo ainda lembra de mais de 96% de todo o resto.
Velocidade: É cerca de 13 vezes mais rápido do que retreinar todo o modelo do zero.

Em resumo: O PURGE é uma maneira rápida, segura e inteligente de deletar dados específicos da memória de uma IA, pegando emprestados truques de como a IA aprende coisas novas, garantindo que a IA não acabe esquecendo o resto de seu conhecimento ou seja pega por hackers.

Sumário Técnico: PURGE (Projected Unlearning via Retain-Guided Erasure)

1. Definição do Problema

O desaprendizado de máquina (Machine Unlearning - MU) visa remover a influência de dados de treinamento específicos (o conjunto de esquecimento, $D_f$ ) de um modelo treinado sem o custo computacional proibitivo de retreinar do zero. Existe uma tensão fundamental no MU: o modelo deve esquecer agressivamente o $D_f$ para satisfazer auditorias de privacidade (ex: o "direito ao esquecimento" da GDPR) enquanto preserva alta utilidade nos dados restantes (o conjunto de retenção, $D_r$ ).

Métodos existentes enfrentam modos de falha específicos:

Ascensão de Gradiente (Gradient Ascent): Maximiza a perda no $D_f$ , mas frequentemente degrada catastroficamente o desempenho no $D_r$ .
Métodos baseados em saliência (ex: SalUn): Perturbam pesos seletivamente, mas carecem de garantias formais de desempenho de retenção.
Destilação de Conhecimento (Knowledge Distillation): Ancoram a distribuição de retenção, mas falham em restringir as direções do gradiente.
Métodos baseados em Fisher: São fundamentados teoricamente, mas computacionalmente caros devido às aproximações de Hessian.

Crucialmente, muitas abordagens existentes falham em garantir que o modelo desaprendido seja estatisticamente indistinguível de um modelo retreinado apenas com $D_r$ . Essa distinção é vital para resistir a Ataques de Inferência de Membro (MIA), onde um adversário tenta determinar se uma amostra específica estava no conjunto de treinamento.

2. Metodologia

O insight central do PURGE é a dualidade entre Aprendizado Contínuo (Continual Learning - CL) e Desaprendizado de Máquina (Machine Unlearning - MU). Enquanto o CL aprende novas tarefas sem esquecer as antigas, o MU apaga dados específicos sem prejudicar o desempenho de retenção. O PURGE adapta o algoritmo A-GEM (Averaged Gradient Episodic Memory) do CL, que projeta os gradientes de novas tarefas para evitar o aumento da perda em tarefas antigas.

2.1 Projeção de Gradiente para Segurança de Retenção

O PURGE trata o processo de desaprendizado como um problema de otimização restrita. Para cada etapa de atualização, o gradiente para a direção de esquecimento ( $g_f$ ) é projetado em um semiespaço definido pelo gradiente de retenção ( $g_r$ ).

Restrição: A atualização não deve aumentar a perda de retenção ( $L_r$ ).
Mecanismo: Se o gradiente de esquecimento conflita com o gradiente de retenção (ou seja, $\langle g_f, g_r \rangle < 0$ ), o $g_f$ é projetado na fronteira do semiespaço onde $\langle g, g_r \rangle \geq 0$ .
Garantia Teórica: Isso fornece uma garantia construtiva por etapa de que a perda de retenção não aumentará (até a primeira ordem de aproximação), um recurso ausente em métodos de desaprendizado aproximados anteriores.

2.2 Objetivos de Esquecimento

O PURGE introduz um novo alvo para o conjunto de esquecimento, indo além de simples alvos de distribuição uniforme:

KL-Retain (Alvo de Confusão de Retenção): Em vez de empurrar as saídas de esquecimento para uma distribuição uniforme (o que é facilmente detectável por MIA), o PURGE visa o padrão de confusão natural do modelo no conjunto de retenção. Ele pré-computa uma distribuição $p_r$ calculando a média das saídas softmax do modelo original congelado no $D_r$ . O objetivo de esquecimento minimiza a divergência KL entre as saídas de esquecimento e $p_r$ .
Racional: Isso torna as saídas do modelo desaprendido estatisticamente indistinguíveis de um modelo retreinado do zero, levando o MIA AUROC ao ideal de 0.5.

2.3 Apagamento de Representação Multicamadas

A supressão de saída sozinha é insuficiente, pois a informação pode persistir em camadas intermediárias. O PURGE calcula o Erro Quadrático Médio (MSE) entre as ativações do conjunto de esquecimento e a média das ativações do conjunto de retenção (da parte congelada do modelo) através de múltiplas camadas intermediárias. Isso força a remoção da informação das representações ocultas, não apenas da saída final.

2.4 Mecanismos de Estabilidade e Parada

Estabilidade Ancorada por KD: Uma cópia congelada do modelo pré-desaprendizado atua como um professor para o conjunto de retenção via Destilação de Conhecimento (KD), reduzindo o desvio de representação.
Portão e Limite de Entropia (Entropy Gating & Capping): As atualizações são restritas ao objetivo de retenção se a entropia da saída do modelo no lote de esquecimento já estiver próxima do máximo, evitando o excesso de esquecimento ou explosão de gradiente.
Parada de Dupla Autorregulação: O algoritmo para automaticamente com base em dois critérios:
1. Orçamento de Perda de Retenção: Para se a perda de retenção exceder um orçamento predefinido em relação à perda inicial.
2. Alvo de Precisão de Esquecimento (FA): Para quando a FA cai para um nível de chance aleatória (ex: $100/K\%$ ).
Congelamento de BatchNorm: Um detalhe crucial de implementação identificado pelos autores: as camadas de BatchNorm devem ser congeladas em modo de avaliação durante o desaprendizado. Lotes de esquecimento com homogeneidade de classe podem corromper as estatísticas de execução se o BatchNorm permanecer em modo de treinamento, levando ao colapso do modelo.

3. Principais Contribuições

Instanciação Algorítmica da Dualidade CL-MU: O PURGE é o primeiro trabalho a adaptar diretamente o mecanismo de projeção de gradiente do A-GEM (um algoritmo de CL) como a principal ferramenta construtiva para o desaprendizado de máquina, fornecendo garantias formais de segurança de retenção por etapa.
Alvo de Confusão de Retenção: A proposta de um alvo de divergência KL baseado na confusão natural do modelo nos dados de retenção, o que melhora significativamente a resistência ao MIA em comparação com alvos de distribuição uniforme.
Apagamento de Camadas Intermediárias: Estendendo o desaprendizado para as ativações de camadas intermediárias para garantir a remoção profunda de informação.
Estrutura Autorregulável: Eliminação do ajuste manual de épocas via critérios duplos de parada (orçamento de perda de retenção e alvo de FA).
Descoberta Empírica: Identificação do modo de falha do BatchNorm em desaprendizado de nível de classe, um problema sutil, mas crítico, que afeta a estabilidade.

4. Resultados Experimentais

O PURGE foi avaliado em cinco conjuntos de dados (CIFAR-10, MNIST, SVHN, STL10, PathMNIST) em 22 tarefas de esquecimento de nível de classe usando ResNet-18.

Troca Privacidade-Utilidade: O PURGE mantém consistentemente a Precisão de Retenção (RA) acima de 96% em todos os conjuntos de dados.
Privacidade (Resistência a MIA): O PURGE alcança MIA AUROC próximo a 0.5 (o escore de indistinguibilidade ideal) em quatro dos cinco conjuntos de dados. Por exemplo, no CIFAR-10, ele alcança um AUROC de 0.496.
Comparação com Baselines:
- Ao contrário da Ascensão de Gradiente (que derruba a precisão de retenção para ~38% no CIFAR-10) ou do SalUn (que carece de garantias formais de MIA), o PURGE equilibra alta utilidade de retenção com privacidade genuína de membro.
- Embora a Precisão de Teste (TA) do PURGE no CIFAR-10 (84.5%) seja inferior à do SalUn (93.5%), os autores argumentam que isso é um compromisso deliberado para alcançar privacidade genuína (MIA $\approx$ 0.5) em vez de apenas baixa precisão de esquecimento.
Eficiência: O PURGE converge em aproximadamente 1.75 épocas (menos de 200 segundos no CIFAR-10), oferecendo um aumento de velocidade de $\sim$ 13 $\times$ sobre o retreinamento total.
Apagamento de Representação: Métricas de distância de Fréchet de espaço de características (FIDfeat) e similaridade de cosseno confirmam que o PURGE altera efetivamente as representações intermediárias, aproximando-as das de um modelo retreinado do zero.

5. Significância e Alegações

O artigo afirma que o PURGE fornece um arcabouço principiado para o desaprendizado de máquina ao aproveitar a dualidade com o aprendizado contínuo. Sua significância reside em:

Garantias Formais: Fornecer uma garantia por etapa de que a perda de retenção não aumenta, um recurso ausente em métodos de desaprendizado baseados em heurísticas.
Privacidade Robusta: Demonstrar que visar a "confusão natural" do modelo é superior a alvos uniformes artificiais para derrotar Ataques de Inferência de Membro.
Orientação Prática: Oferecer insights críticos de implementação, como a necessidade de congelar as camadas de BatchNorm, que são frequentemente negligenciadas na literatura de desaprendizado.

Os autores reconhecem limitações, incluindo uma lacuna de precisão de teste em comparação com alguns baselines, a falta de garantias formais de privacidade diferencial $(\epsilon, \delta)$ e o escopo de avaliação atual (ResNet-18, esquecimento de classe única). No entanto, eles postulam que a perspectiva de dualidade CL-MU abre um espaço de design mais amplo para futuros algoritmos de desaprendizado.