🤖 machine learning

SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

SHRED é um método inovador de desaprendizagem de máquina sem conjunto de retenção para modelos de linguagem grandes que remove seletivamente conteúdo memorizado identificando e rebaixando tokens de alta informação por meio de auto-distilação, alcançando assim compensações superiores entre eficácia do esquecimento e utilidade do modelo sem exigir conjuntos de retenção curados.

Autores originais: Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Dilema do "Esquecimento"

Imagine um modelo de linguagem de grande porte (LLM) como um aluno com memória fotográfica superpoderosa que leu toda a internet. Às vezes, esse aluno memoriza coisas que não deveria, como o endereço privado de uma celebridade, um livro protegido por direitos autorais ou instruções perigosas sobre como construir uma bomba.

Para corrigir isso, geralmente precisamos fazer o aluno "esquecer" essas informações específicas. No entanto, há um problema:

O Jeito Antigo: Para impedir que o aluno lembre das informações ruins sem fazê-lo esquecer tudo o mais (como falar inglês ou fazer matemática), geralmente precisamos fornecer a ele um "guia de estudos" de exemplos seguros e bons para praticar enquanto ele esquece o que é ruim.
O Problema: No mundo real, muitas vezes não temos esse guia de estudos perfeito. Criar um é difícil, caro e pode enviesar acidentalmente o aluno. Sem ele, tentar fazer o aluno esquecer geralmente quebra seu cérebro, fazendo-o esquecer como falar corretamente ou recusar-se a responder perguntas inofensivas.

A Solução: SHRED

Os autores propõem um novo método chamado SHRED (Self-distillation via High-surprisal-only Retain-free Entropy Demotion). Isso é um nome complicado, então vamos desmontá-lo com uma analogia.

A Ideia Central: Nem Todas as Palavras São Iguais

Imagine que o aluno está recitando uma história sobre um evento específico que memorizou:

"Em 4 de julho, John Smith dirigiu um Ferrari vermelho até o Grand Canyon."

O artigo descobriu algo fascinante sobre como o modelo "pensa" sobre essa frase:

As Palavras "Chatas": Palavras como "Em", "o", "até" e "um" são muito comuns. O modelo tem muita confiança nelas. Elas são como a estrutura de um prédio.
As Palavras "Memorizadas": Palavras como "4 de julho", "John Smith", "Ferrari vermelho" e "Grand Canyon" são fatos específicos. O modelo na verdade tem menos confiança nesses detalhes específicos em comparação com as palavras chatas, porque são únicos daquela história específica.

A Grande Ideia do SHRED: Você não precisa apagar a frase inteira. Você só precisa mirar nos fatos específicos e de alto valor (a estrutura) e deixar a estrutura comum da linguagem intacta.

Como o SHRED Funciona (O Processo de 2 Passos)

O SHRED é um método "livre de conjunto de retenção", o que significa que não precisa daquele guia de estudos externo. Ele usa o próprio cérebro do modelo como professor.

Passo 1: O Trabalho de Detetive (Seleção)
O modelo lê a frase que precisa esquecer. Ele olha para cada palavra e pergunta: "Quão surpreso estou com esta palavra?"

Se o modelo não está surpreso (alta probabilidade), é uma palavra comum (como "o"). O SHRED ignora essas.
Se o modelo está surpreso (baixa probabilidade), é um fato específico (como "John Smith"). O SHRED marca essas como alvos a serem esquecidos.

Passo 2: A Cirurgia (Despromoção)
O modelo é então treinado para fazer duas coisas simultaneamente:

Esquecer os Alvos: É forçado a reduzir sua confiança sobre os fatos específicos (por exemplo, "John Smith").
Manter a Estrutura: É instruído a manter sua confiança alta nas palavras comuns (por exemplo, "Em", "o").

Ao fazer isso, o modelo aprende a "esquecer" o segredo específico sem perder sua capacidade de falar inglês. É como remover os móveis específicos de um quarto sem derrubar as paredes.

Por Que É Melhor Que os Demais

O artigo testou o SHRED contra muitos outros métodos em quatro benchmarks diferentes (como uma "prova final" para esquecimento). Aqui está o que eles descobriram:

A Fronteira de Pareto: Imagine um gráfico onde o canto superior esquerdo é a "pontuação perfeita" (Esquecimento Total + Utilidade Total). A maioria dos métodos fica presa no meio ou no canto inferior direito. O SHRED é o único método que alcança o canto superior esquerdo sem precisar de um guia de estudos (conjunto de retenção).
Sem "Danos Cerebrais": Outros métodos frequentemente fazem o modelo começar a recusar-se a responder perguntas ou falar em algarismos. O SHRED mantém a inteligência geral do modelo intacta.
Correção de Alucinações: Em uma reviravolta surpreendente, o SHRED na verdade tornou o modelo menos propenso a inventar fatos falsos sobre o mundo real. Ao remover as "falsas" histórias memorizadas, o conhecimento natural do modelo brilhou mais claramente.
Robustez:
- Reaprendizagem: Se você tentar enganar o modelo para lembrar do segredo novamente mostrando alguns exemplos, a versão do modelo com SHRED é muito mais difícil de enganar do que as outras.
- Privacidade: É muito difícil para hackers dizerem se o modelo ainda "lembra" dos dados secretos.
- Estabilidade: Você pode treiná-lo por muito tempo sem que ele quebre.

Os "Botões" e Configurações

Os autores encontraram duas maneiras principais de ajustar o SHRED:

O Botão "Quanto" (P): Você pode escolher esquecer apenas os 50% superiores das palavras mais específicas, ou 100% delas. 50% parece ser o ponto ideal para equilibrar o esquecimento com a manutenção da inteligência do modelo.
A Surpresa do "Tamanho do Lote": Geralmente, no treinamento de IA, usar grandes grupos de dados de uma vez é melhor. O SHRED funciona melhor com lotes minúsculos (até mesmo apenas um exemplo por vez). É como aprender uma nova habilidade praticando um movimento específico repetidamente em vez de fazer um treino completo; isso ajuda o modelo a "esquecer" de forma mais cirúrgica.

Resumo

O SHRED é uma maneira inteligente de fazer uma IA esquecer segredos específicos sem precisar de um manual de "bons exemplos" para guiá-la. Ele funciona identificando as palavras específicas e únicas que contêm o segredo e reduzindo gentilmente sua importância, enquanto deixa a estrutura comum da linguagem intocada. O resultado é um modelo que esqueceu com sucesso os dados ruins, mas ainda é inteligente, útil e seguro de usar.

Resumo Técnico: SHRED – Esquecimento Livre de Conjunto de Retenção via Auto-Distilação com Promoção de Logits

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) memorizam dados de treinamento, o que representa riscos relacionados a vazamento de privacidade, violação de direitos autorais e disseminação de conhecimento perigoso. O esquecimento de máquina visa remover seletivamente esse conhecimento específico sem o custo proibitivo do retreinamento completo.

O paradigma padrão de esquecimento requer um conjunto de retenção (exemplos curados do mesmo domínio que o conjunto de esquecimento) para evitar a degradação catastrófica da utilidade geral do modelo. No entanto, na prática, a construção de um conjunto de retenção ideal é frequentemente inviável devido à escassez de dados ou à introdução de vieses de domínio indesejados. Métodos existentes que tentam contornar a dependência do conjunto de retenção frequentemente sofrem com colapso significativo de utilidade, levando a estruturas linguísticas comprometidas ou taxas excessivas de recusa. O desafio central é alcançar um esquecimento eficaz de conteúdo memorizado específico, preservando as capacidades gerais do modelo sem acesso a dados de retenção externos.

2. Metodologia: SHRED

Os autores propõem o SHRED (Auto-Distilação via Promoção de Entropia Livre de Retenção apenas com Alta Surpresa), um método que elimina a necessidade de um conjunto de retenção ao aproveitar a própria distribuição de saída do modelo como professor. A abordagem baseia-se na constatação de que nem todos os tokens dentro de uma instância de "conjunto de esquecimento" carregam informações memorizadas de forma igual.

Insight Chave: Densidade de Informação em Nível de Token

Em um modelo que memorizou um documento específico, tokens que representam conteúdo de alta informação (por exemplo, nomes específicos, datas, relações únicas) recebem probabilidades autoregressivas mais baixas em comparação com tokens que representam o andaime linguístico geral (por exemplo, pontuação, frases comuns, palavras de parada). Os últimos são suportados por estatísticas amplas de pré-treinamento, enquanto os primeiros são específicos da instância memorizada.

O Procedimento SHRED

O SHRED opera em quatro etapas usando um único conjunto de esquecimento ( $D_f$ ):

Passagem Forward do Professor: O modelo a ser esquecido (parâmetros $\theta$ ) atua como um professor congelado e off-policy. Ele processa sequências de $D_f$ para gerar probabilidades autoregressivas por token $p_\theta(x_t | x_{<t})$ .
Seleção de Posições de Esquecimento:
- O sistema exclui a janela de contexto inicial (por exemplo, a pergunta em QA ou prefixo do documento) para evitar danos ao modelamento linguístico básico.
- Ordena os tokens restantes por probabilidade em ordem crescente.
- A fração inferior- $P$ (menor probabilidade, maior informação de Shannon) é selecionada como o conjunto de esquecimento ( $F$ ). Essas posições contêm os tokens de alta informação específicos do documento.
- As posições restantes ( $R = T \setminus F$ ) servem como um conjunto de retenção implícito, preservando a competência linguística geral do modelo.
Construção de Alvos KL:
- Posições de Esquecimento ( $t \in F$ ): A distribuição-alvo é modificada para "rebaixar" o token memorizado.
  - Variação A (Esquecimento por Recuperação): Apenas o token memorizado específico $x_t$ é rebaixado (logits definidos como $-\infty$ ).
  - Variação B (Esquecimento de Conhecimento): O token memorizado e o núcleo top- $\pi$ da distribuição de probabilidade são rebaixados para evitar paráfrase.
- Posições de Retenção ( $t \in R$ ): A distribuição-alvo permanece idêntica à distribuição original do professor, atuando como uma âncora para preservar a utilidade.
Auto-Distilação KL Top-K: O modelo estudante ( $\theta'$ ) é treinado para minimizar a divergência KL entre suas previsões e a distribuição-alvo construída $q_t$ sobre um subconjunto de vocabulário top- $K$ . Este único objetivo simultaneamente afasta o modelo de conteúdo memorizado de alta informação e o ancora em padrões linguísticos gerais.

3. Contribuições Principais

Esquecimento Livre de Conjunto de Retenção: O SHRED é o primeiro método a demonstrar que um esquecimento eficaz pode ser alcançado sem quaisquer dados de retenção externos, dependendo em vez disso da estrutura interna do próprio conjunto de esquecimento.
Promoção Seletiva de Logits: Ao identificar e rebaixar apenas tokens de alta surpresa (alta informação) enquanto preserva tokens de baixa surpresa, o SHRED evita o colapso de utilidade associado a abordagens de esquecimento uniforme.
Objetivo Unificado: O método utiliza um único objetivo de auto-distilação que equilibra naturalmente o esquecimento e a preservação da utilidade, removendo a necessidade de balanceamento complexo de hiperparâmetros entre termos de perda de esquecimento e retenção.
Robustez: A abordagem demonstrou ser robusta contra ataques de inferência de associação (MIA), ataques de reaprendizado e cenários de esquecimento contínuo sequencial.

4. Resultados Experimentais

Os autores avaliaram o SHRED em quatro benchmarks padrão: TOFU (QA de autores fictícios), MUSE (Notícias/Livros), RWKU (Entidades do mundo real) e Hubble (YAGO/Gutenberg).

Optimalidade de Pareto: O SHRED estabelece uma nova fronteira de Pareto em todos os quatro benchmarks, superando as linhas de base dependentes de conjunto de retenção (como GradDiff, NPO e DPO) no trade-off entre eficácia de esquecimento e utilidade do modelo.
Eficácia de Esquecimento: O SHRED iguala o desempenho dos modelos "Alvo" retreinados (oráculos treinados sem os dados de esquecimento) nas métricas de esquecimento, sem exibir o "esquecimento excessivo" observado em métodos como Gradiente Ascendente.
Preservação de Utilidade: Ao contrário das linhas de base que frequentemente causam colapso de utilidade ou exigem um conjunto de retenção para manter o desempenho, o SHRED mantém ou até melhora a utilidade geral. Notavelmente, no benchmark TOFU, observou-se que o SHRED recupera ativamente conhecimento mundial que havia sido alucinado ou suprimido pelo processo inicial de ajuste fino, reduzindo alucinações em perguntas do mundo real onde o modelo "Alvo" ainda falhava.
Robustez:
- MIA: O treinamento SHRED em pequenos lotes atinge pontuações de vazamento de privacidade próximas ao oráculo retreinado, superando significativamente as linhas de base.
- Reaprendizado: Os modelos SHRED são resistentes a ataques de "reaprendizado" onde o modelo é brevemente ajustado novamente no conjunto de esquecimento; eles recuperam o conhecimento muito mais lentamente do que as linhas de base.
- Esquecimento Contínuo: O SHRED degrada a utilidade lentamente ao longo de múltiplas rodadas de esquecimento, enquanto linhas de base como NPO e RMU sofrem quedas significativas de utilidade.
Hiperparâmetros: O método é mais eficaz com uma porcentagem de rebaixamento ( $P$ ) de 50–75% e tamanhos de lote pequenos (BS=1 ou 2), o que ajuda o modelo a escapar de mínimos locais na paisagem de perda.

5. Significado e Alegações

O artigo afirma que o SHRED representa um passo significativo para a frente na implantação prática do esquecimento de máquina. Ao remover a dependência de um conjunto de retenção curado, o SHRED aborda um gargalo importante em aplicações do mundo real onde tais dados estão indisponíveis ou são difíceis de curar.

Os autores enfatizam que a capacidade do SHRED de usar os próprios tokens "benignos" do modelo como âncoras permite que ele preserve capacidades gerais naturalmente, evitando o "esquecimento catastrófico" da utilidade geral frequentemente observado em tarefas de esquecimento. Além disso, a observação de que o SHRED pode reverter alucinações introduzidas pelo ajuste fino sugere que o método não apenas suprime conhecimento, mas pode refinar a distribuição do modelo para estar mais alinhado com o conhecimento geral do mundo.

O artigo conclui que o SHRED oferece um trade-off ótimo de Pareto entre esquecimento e utilidade, é robusto contra vários vetores de ataque e permanece estável sob cenários de sobreajuste e esquecimento contínuo, tornando-o uma solução viável para conformidade de privacidade e segurança em LLMs sem a sobrecarga de curadoria de dados.