🤖 machine learning

Similarity-Aware Machine Unlearning

Este artigo propõe um framework de desaprendizado de máquina consciente de similaridade que emprega um método de localização consciente da retenção para minimizar o dano colateral em dados retidos semanticamente similares, enquanto melhora a eficiência do desaprendizado padrão, validado por meio de um novo conjunto de avaliação e experimentos extensos.

Autores originais: Madhavan Citalamangalam Kumaran, Midhun Parakkal Unni, Vicky Kouni, Haripriya Harikumar

Publicado 2026-08-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Madhavan Citalamangalam Kumaran, Midhun Parakkal Unni, Vicky Kouni, Haripriya Harikumar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você construiu um cérebro digital gigante e superinteligente que aprendeu tudo a partir de uma biblioteca massiva de fotos. Esse cérebro é tão bom em seu trabalho que consegue distinguir um gato de um cachorro ou um navio de um carro com uma precisão incrível. Mas há um porém: às vezes, as pessoas querem que suas fotos sejam removidas dessa biblioteca devido a leis de privacidade ou escolha pessoal. Se você apenas deletar a foto, o cérebro ainda pode se lembrar dela, como um aluno que memorizou um fato para uma prova, mas esqueceu de desaprender após o exame. É aqui que entra o "Desaprendizado de Máquina" (Machine Unlearning). Este é a arte de ensinar um computador a esquecer coisas específicas sem ter que jogar fora o cérebro inteiro e construir um novo do zero, o que levaria uma eternidade e custaria uma fortuna.

No entanto, existe um problema complicado: no cérebro de um computador, a informação não é armazenada em gavetas separadas e organizadas; em vez disso, é como uma enorme teia de conexões onde coisas semelhantes estão emaranhadas. Uma foto de um golden retriever e uma foto de um golden lab podem usar exatamente o mesmo conjunto de conexões porque se parecem muito. Se você tentar cortar as conexões do golden retriever para fazê-lo esquecer, pode acidentalmente cortar os fios do golden lab também, fazendo o cérebro esquecer coisas que ele deveria manter. Este artigo trata de encontrar uma maneira de desenredar essa teia para que possamos deletar o que é certo sem prejudicar as coisas que são semelhantes a elas.

Os pesquisadores por trás deste estudo, trabalhando com dados do famoso conjunto de dados CIFAR-10 (uma coleção de 60.000 pequenas imagens coloridas) e um modelo chamado ResNet18, descobriram que a antiga maneira de fazer isso era um pouco desajeitada demais. O método anterior, chamado "localização de esquecimento exclusivo" (forget-only localization), era como um jardineiro tentando arrancar uma erva daninha específica, mas olhando apenas para a própria erva daninha. Ele agarrava as raízes da erva daninha, mas, como essa erva daninha crescia logo ao lado de uma flor linda que era quase idêntica, o jardineiro acabava arrancando a flor do chão também. Em termos computacionais, isso causava "danos colaterais", onde o modelo ficava pior em reconhecer imagens retidas que eram muito semelhantes às que deveriam ser esquecidas.

Para corrigir isso, a equipe propôs um novo método, um "consciente da retenção" (retain-aware). Em vez de apenas olhar para a coisa a ser esquecida, eles pediram ao computador para também olhar para as coisas que ele precisa manter. Eles criaram um "mapa de similaridade" especial para ver quais imagens retidas eram as vizinhas mais próximas das esquecidas. Então, usaram um sistema de pontuação inteligente para decidir quais partes do cérebro do computador deveriam ser ajustadas. Eles essencialmente disseram: "Apenas corte os fios que são super importantes para a coisa que queremos esquecer, mas deixe os fios em paz se eles também forem muito importantes para as coisas semelhantes que queremos manter".

Eles testaram três maneiras diferentes de calcular essas pontuações: um método simples de subtração, um método ponderado (onde podiam aumentar o volume de quanto se importavam em manter as coisas seguras) e um método de razão. Após realizar onze experimentos diferentes, descobriram que sua nova abordagem funcionava muito melhor do que a antiga maneira de "esquecimento exclusivo". Especificamente, o "método de diferença subamostrada" (uma forma específica do método de subtração) foi o grande destaque. Ele conseguiu fazer o modelo esquecer as imagens alvo enquanto mantinha a precisão nas imagens semelhantes retidas quase perfeita.

O artigo mostra que, ao sermos conscientes da similaridade, pudemos reduzir significativamente o "dano colateral". Por exemplo, quando observaram o quão bem o modelo performava em imagens que eram visualmente muito próximas das esquecidas, o novo método causou quase nenhuma queda de desempenho, enquanto o método antigo causou uma queda perceptível. Eles também verificaram se o modelo não estava apenas adivinhando ou agindo de forma estranha; usaram um teste de "ataque de inferência de associação" (membership inference attack — uma forma de ver se o modelo ainda está secretamente lembrando dos dados deletados) e descobriram que seu novo método era muito melhor em realmente apagar a memória.

Em resumo, os autores sugerem que não podemos tratar o esquecimento apenas como uma tarefa simples de deleção. Como os cérebros de computador aprendem encontrando padrões e similaridades, você deve ter cuidado para não quebrar os padrões que deseja manter. Seu novo método age como um cirurgião preciso em vez de uma marreta, removendo a memória específica de uma foto esquecida sem danificar a memória de seus amigos parecidos. Embora tenham testado isso em um conjunto específico de imagens e um tipo específico de modelo, os resultados sugerem que esta abordagem "consciente da retenção" é um passo promissor para tornar as ferramentas de privacidade de IA tanto eficazes quanto seguras para os dados que queremos manter.

Resumo Técnico: Aprendizado Não-Existente Sensível à Similaridade (Similarity-Aware Machine Unlearning)

1. Definição do Problema

O aprendizado não-existente (machine unlearning) visa remover a influência de exemplos de treinamento específicos (o "conjunto de esquecimento", $D_f$ ) de um modelo treinado sem a necessidade de retreinar do zero, satisfazendo assim os direitos de exclusão de dados (ex: GDPR) enquanto mantém a eficiência computacional. Embora os métodos baseados em localização melhorem a eficiência ao modificar apenas um subconjunto de parâmetros influentes, as abordagens existentes sofrem de uma limitação crítica: o emaranhamento de características (feature entanglement).

Os métodos atuais selecionam parâmetros baseando-se apenas na sua importância para o conjunto de esquecimento. No entanto, parâmetros influentes para exemplos esquecidos também costumam sustentar exemplos semanticamente similares no "conjunto de retenção" ( $D_r$ ). A modificação desses parâmetros compartilhados causa danos colaterais, degradando o desempenho do modelo em exemplos retidos que estão próximos aos dados esquecidos no espaço de representação aprendido. Além disso, métricas agregadas padrão (como a acurácia geral do conjunto de retenção) frequentemente falham em detectar esse dano porque ele está concentrado em um pequeno subconj-conjunto de exemplos retidos semanticamente similares.

2. Metodologia

Os autores propõem um framework de Aprendizado Não-Existente Localizado e Sensível à Similaridade que estende a abordagem de Localização por Exemplo de Deleção (DEL). A inovação central é uma estratégia de localização ciente da retenção que considera a importância dos parâmetros tanto para o conjunto de esquecimento quanto para o conjunto de retenção.

2.1. Conceitos Centrais

Similaridade Semântica: Definida via similaridade de cosseno no espaço de embedding do modelo. Os autores observam que amostras semanticamente similares (mesmo entre as fronteiras de esquecimento/retenção) ocupam regiões próximas no espaço de características e ativam subconjuntos sobrepostos de neurônios.
Conjunto de Avaliação de Similaridade de Retenção ( $D_{r,sim}$ ): Para medir diretamente o dano colateral, os autores constroem um conjunto de avaliação específico. Para cada exemplo em $D_f$ , eles identificam seu vizinho mais próximo da mesma classe em $D_r$ com base na similaridade de cosseno no espaço de embedding do modelo original. Este conjunto isola os exemplos retidos mais vulneráveis ao emaranhamento de características.

2.2. Estratégia de Localização

O método calcula escores de criticidade para parâmetros (neurônios) separadamente para o conjunto de esquecimento ( $s_f$ ) e para o conjunto de retenção ( $s_r$ ). O objetivo é selecionar parâmetros que sejam altamente críticos para $D_f$ , mas minimamente críticos para $D_r$ . Três estratégias específicas de pontuação são propostas:

Método da Diferença: $\tilde{s}_j = \max(s_f^j - s_r^j, 0)$ . Este prioriza parâmetros onde a importância do conjunto de esquecimento excede a importância do conjunto de retenção.
Método da Diferença Ponderada: $\tilde{s}_j = \max(w \cdot s_f^j - s_r^j, 0)$ . Este introduz um peso escalar $w$ para ajustar o equilíbrio entre a especificidade do conjunto de esquecimento e a proteção do conjunto de retenção.
Método da Razão: $\tilde{s}_j = \frac{s_f^j}{s_r^j + \epsilon}$ . Este favorece parâmetros com alta importância de esquecimento em relação à importância de retenção.

2.3. Processo de Unlearning

Mascaramento (Masking): Uma máscara de localização binária é construída classificando os neurônios globalmente através de todas as camadas com base no escore de criticidade escolhido. Os neurônios são selecionados avidamente até que um orçamento (ex: 30% do total de parâmetros) seja atingido.
Reinicialização: Os pesos selecionados são reinicializados usando a inicialização Kaiming normal para resetar seus valores.
Ajuste Fino (Fine-tuning): O modelo é ajustado finamente no conjunto de retenção ( $D_r$ ) por um número fixo de épocas. Os gradientes para os pesos não selecionados são mascarados, restringindo as atualizações ao subconjunto reinicializado.

3. Configuração Experimental

Dataset: CIFAR-10 (60.000 imagens, 10 classes). O conjunto de treinamento é dividido em um conjunto de esquecimento ( $D_f$ , 5.000 imagens) e um conjunto de retenção ( $D_r$ , 35.000 imagens).
Modelo: ResNet-18 modificada (adaptada para imagens 32x32).
Baselines: Comparação contra um baseline de localização "apenas esquecimento" (DEL) e um modelo Oráculo (retreinado do zero em $D_r$ ).
Métricas:
- Padrão: Acurácia de teste, acurácia de retenção, acurácia de esquecimento, escore de Ataque de Inferência de Membro (MIA), divergência KL.
- Proposta: Acurácia de Similaridade de Retenção ( $\Delta_{rs}$ ), medindo o desempenho especificamente em $D_{r,sim}$ .
- Avaliação: As métricas são reportadas como deltas ( $\Delta = \text{Oráculo} - \text{Não-existente}$ ), onde valores próximos de zero indicam melhor alinhamento com o Oráculo.

4. Principais Resultados

Os experimentos foram conduzidos em 11 configurações (variando métodos de localização e hiperparâmetros).

Redução de Danos Colaterais: O método da Diferença subamostrada alcançou o melhor equilíbrio. Ele reduziu o delta da acurácia de similaridade de retenção ( $\Delta_{rs}$ ) para +0,04, significativamente menor que o delta de +0,49 do baseline de apenas esquecimento. Isso indica uma redução substancial nos danos colaterais aos exemplos retidos semanticamente similares.
Eficácia do Unlearning: O mesmo método alcançou um delta de acurácia de esquecimento ( $\Delta_{forget}$ ) de +0,56, indicando um esquecimento eficaz (próximo ao comportamento do Oráculo) sem o excesso de esquecimento visto no baseline (+2,70).
Alinhamento com o Oráculo: O método da diferença subamostrada mostrou forte alinhamento com o modelo Oráculo, evidenciado por um baixo delta de escore MIA (+4,98 vs. +5,48 para o baseline) e baixa divergência KL (0,395).
Comparação de Métodos:
- O Método da Razão preservou a utilidade (baixo $\Delta_{retain}$ ), mas falhou em esquecer efetivamente (grande $\Delta_{forget}$ negativo), sugerindo que ele subpriorizou as modificações de parâmetros necessárias.
- O Método da Diferença Ponderada mostrou que aumentar o peso $w$ tornou a intervenção mais agressiva, aumentando a perda de utilidade e os sinais residuais de associação de membro.
Sobrecarga Computacional: O método proposto incorreu em sobrecarga computacional desprezível (02:59 vs. 02:57 para o baseline), pois o tempo de computação de criticidade e o ajuste fino foram quase idênticos.

5. Significância e Alegações

O artigo afirma que o emaranhamento de características é uma causa primária de danos colaterais nos métodos de localização existentes, que as métricas agregadas frequentemente falham em detectar.

A significância deste trabalho reside em:

Identificação de uma Limitação: Vincular explicitamente o dano colateral às representações aprendidas compartilhadas entre os conjuntos de esquecimento e retenção.
Localização Ciente da Retenção: Demonstrar que incorporar a importância do conjunto de retenção na seleção de parâmetros permite um aprendizado não-existente "sensível à similaridade", removendo efetivamente o conhecimento específico do esquecimento enquanto preserva as representações compartilhadas.
Protocolo de Avaliação: Introduzir o conjunto de avaliação de similaridade de retenção como uma ferramenta necessária para medir diretamente o dano colateral, argumentando que as métricas agregadas padrão são insuficientes para este modo específico de falha.

Os autores concluem que sua abordagem reduz consistentemente os danos colaterais enquanto melhora as métricas padrão de unlearning, oferecendo uma solução prática com custo computacional desprezível. Eles sugerem que trabalhos futuros avaliem o método em datasets e arquiteturas maiores.