💻 computer science

What to Forget in Unlearning? Forget Set Curation for Language Models

Este artigo apresenta o CleanSlate, um benchmark que demonstra que a curadoria de conjuntos de esquecimento é um desafio crítico a montante no desaprendizado de máquina, onde métodos simples de seleção falham em suprimir conteúdo direcionado enquanto estratégias excessivamente agressivas causam danos colaterais significativos às capacidades do modelo.

Autores originais: Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde as vastas bibliotecas do conhecimento humano são comprimidas em um único programa de computador incrivelmente inteligente. Este programa, conhecido como um modelo de linguagem, aprende ao ler trilhões de palavras de livros, sites e canções. Ele se torna tão bom nisso que pode imitar o estilo de um poeta ou completar uma frase de um romance famoso. Mas, às vezes, os proprietários desses programas precisam remover informações específicas. Talvez uma canção tenha sido usada sem permissão, ou uma história privada tenha sido memorizada acidentalmente. O objetivo é fazer o computador "desaprender" essa peça específica de conteúdo sem ter que deletar toda a sua memória e começar do zero. Esse processo é chamado de desaprendizado de máquina (machine unlearning). Durante anos, pesquisadores focaram na mecânica de como deletar os dados uma vez que sabem exatamente quais palavras visar. Eles trataram a lista de palavras a serem esquecidas como um ponto de partida simples, assumindo que, se você disser ao computador para esquecer uma frase específica, ele simplesmente o fará.

No entanto, um novo estudo da Universidade de Stanford sugere que essa suposição ignora uma etapa crucial e difícil. Os pesquisadores perceberam que, no mundo real, um pedido para esquecer algo raramente vem acompanhado de uma lista precisa de palavras. Um usuário pode pedir que um modelo pare de cantar uma música específica, mas essa música existe na memória do computador de muitas formas diferentes. Ela pode aparecer nas letras oficiais, mas também em um artigo de notícias citando um verso, em um fórum de fãs discutindo a melodia, em um arquivo de código armazenando o texto ou em uma crítica que menciona o refrão. O computador não conhece a música apenas por uma cópia perfeita; ele a conhece a partir de uma nuvem dispersa dessas várias menções. A nova pesquisa faz uma pergunta fundamental: como você encontra todas essas peças espalhadas de uma música ou livro dentro de uma biblioteca massiva de texto, para que possa dizer ao computador para esquecê-las? A equipe chama essa etapa ausente de "curadoria do conjunto de esquecimento" (forget set curation), e descobriu que errar isso pode fazer com que o computador perca muito mais do que apenas a canção indesejada.

Para investigar isso, os pesquisadores construíram um campo de testes chamado CLEANSLATE. Eles reuniram milhares de músicas das paradas Billboard Hot 100 abrangendo de 1970 a 2025, juntamente com cinquenta livros. Eles então testaram o quão bem diferentes métodos poderiam identificar os fragmentos específicos de texto que precisavam ser removidos. Eles compararam duas abordagens principais. A primeira abordagem dependia de ferramentas de busca padrão, semelhantes à forma como uma pessoa usaria um mecanismo de busca para encontrar um livro. Essas ferramentas procuravam por correspondências exatas de palavras ou frases. A segunda abordagem era mais agressiva: ela olhava diretamente para as partes específicas do texto que o computador estava mais propenso a reproduzir e as selecionava para remoção, essencialmente contornando a etapa de busca para visar as áreas problemáticas exatas.

Os resultados revelaram uma complexidade surpreendente. Quando os pesquisadores usaram as ferramentas de busca padrão para encontrar o texto, os resultados foram frequentemente fracos. O computador continuava a cantar a música ou recitar o livro, mesmo após as ferramentas de busca terem removido as cópias óbvias. Isso aconteceu porque o computador aprendeu a música a partir de muitas fontes pequenas e dispersas que as ferramentas de busca não encontraram. A "pegada" de uma música não é apenas a letra oficial; é uma rede difusa de citações, referções e fragmentos espalhados pela internet. Quando os pesquisadores tentaram ser mais minuciosos e visaram os trechos exatos de texto que o computador usava para gerar a música, eles alcançaram um tipo diferente de problema. Eles conseguiram impedir o computador de cantar a música, mas, ao fazer isso, prejudicaram a capacidade do computador de lembrar outras coisas. O modelo tornou-se pior em responder perguntas sobre fatos da música e também perdeu algumas de suas habilidades gerais, como sua capacidade de raciocínio ou de resolver problemas matemáticos.

O estudo mostrou que a escolha de qual texto remover não é apenas um detalhe técnico; é uma parte importante da própria solução. Os pesquisadores descobriram que a mesma lista de texto para ser esquecido poderia levar a resultados muito diferentes dependendo de qual algoritmo fosse usado para deletá-lo. Em alguns casos, um método que funcionou perfeitamente para um modelo de computador causou danos significativos a outro. Isso significa que você não pode simplesmente escolher uma lista de palavras e assumir que a exclusão será limpa. O processo de selecionar os dados e o processo de deletá-los estão profundamente conectados. Se você selecionar pouco, o comportamento indesejado permanece. Se selecionar demais, ou o tipo errado de texto, você corre o risco de apagar conhecimentos valiosos e prejudicar a inteligência geral do computador.

Em última análise, a pesquisa sugere que a ideia de uma lista simples e perfeita de coisas para esquecer é uma ilusão. Na realidade desordenada de como esses modelos aprendem, uma música ou um livro é sustentado por uma vasta e invisível teia de texto. Para realmente desaprender uma peça de conteúdo sem ferir o restante da mente do modelo, a seleção dos dados deve ser feita com extremo cuidado, levando em conta exatamente como aquele modelo de computador específico aprendeu aquele conteúdo. O estudo conclui que o desaprendizado prático não pode ser resolvido apenas melhorando as ferramentas de deleção; requer uma nova maneira de pensar sobre como encontramos e escolhemos os dados em primeiro lugar. O caminho a seguir envolve projetar um sistema onde a seleção do que esquecer e o método de esquecer sejam planejados juntos, garantindo que o computador possa deixar ir um pedido específico sem perder sua capacidade de compreender o mundo ao seu redor.

Resumo Técnico: Esqueça a Curadoria de Conjuntos para Modelos de Linguagem

Declaração do Problema

O desaprendizado de máquina (machine unlearning) visa remover dados ou comportamentos específicos de um modelo treinado sem a necessidade de retreinar do zero. No entanto, os benchmarks e métodos existentes tipicamente assumem que o "conjunto de esquecimento" (forget set) — os exemplos específicos usados para impulsionar a atualização de desaprendizado — já é conhecido e fornecido. Em cenários de implantação realistas, um solicitante pode pedir que um modelo pare de reproduzir uma música, livro ou obra protegida específica sem saber quais trechos, documentos ou duplicatas próximas dentro de um corpus de um trilhão de tokens sustentam esse comportamento.

Este artigo identifica um problema upstream ausente: a curadoria do conjunto de esquecimento. Este é o processo de mapear uma solicitação de supressão de alto nível (ex: "pare de reproduzir Never Gonna Give You Up") para os trechos de dados concretos que devem ser passados para um algoritmo de desaprendizado. O desafio é que a evidência que sustenta a reprodução literal de uma obra raramente está confinada a uma cópia canônica da mesma. Em vez disso, ela forma uma "pegada de corpus" distribuída por agregadores de letras, fóruns de fãs, trechos de código, artigos de notícias e discussões incidentais. Um curador deve recuperar evidência suficiente dessa pegada para suprimir o comportamento alvo sem causar danos colaterais ao conteúdo não solicitado ou às capacidades gerais do modelo.

Metodologia: Benchmark CLEANSLATE

Para estudar este problema, os autores introduzem o CLEANSLATE, um benchmark e protocolo de avaliação projetado para avaliar todo o pipeline, desde a solicitação de supressão até o conjunto de esquecimento curado e o modelo editado.

Conjunto de Dados e Escopo

Conteúdo: O CLEANSLATE cobre 4.616 músicas do Billboard Hot 100 (1970–2025) e 50 livros (principalmente do Project Gutenberg).
Modelos: A avaliação abrange seis modelos variando de 7B a 32B de parâmetros (incluindo LLaMA-3.1, OLMo, Gemma, Nemotron e Qwen).
Perfis de Extração: O benchmark mede a "extratibilidade" usando extração probabilística. Uma obra é considerada extratável se o modelo atribuir uma alta probabilidade ( $p \geq 0,001$ ) a um sufixo alvo dado um prefixo. Os perfis são gerados por modelo para considerar os variados níveis de memorização.
QA Baseado em Conteúdo: Para distinguir entre a supressão de reprodução literal e a exclusão de conhecimento factual, os autores construíram 12.088 pares de QA. Estes testam se um modelo ainda consegue responder perguntas factuais sobre uma obra (ex: detalhes do enredo, autor, ano) após o desaprendizado, mesmo que não consiga mais recitar o texto.

Pipeline de Avaliação

Curador ( $A$ ): Recebe uma solicitação de supressão ( $W_f$ ) e um corpus ( $C$ ), então gera um conjunto de esquecimento ( $D_f$ ) e, opcionalmente, um conjunto de retenção ( $D_r$ ).
Desaprendedor ( $U$ ): Um algoritmo de desaprendizado fixo atualiza o modelo $\theta$ para $\theta'$ usando $D_f$ e $D_r$ .
Avaliação: O modelo resultante é pontuado em:
- Supressão do Alvo ( $F$ ): Redução nas janelas extratáveis para o conjunto de esquecimento.
- Supressão Colateral ( $R$ ): Redução não pretendida na extratibilidade do conjunto de retenção.
- Retenção de Capacidade: Desempenho em QA baseado em conteúdo e benchmarks gerais (GSM8K, BBH, WinoGrande, CoQA, HumanEval+, LAMBADA).

Curadores Testados

O estudo compara três tipos de curadores:

BM25-pre / BM25-mid: Recuperação lexical usando índices BM25 sobre corpora de pré-treinamento e meio de treinamento.
Infini-gram-mid: Recuperação de substring exata usando um índice Infini-gram-mini para encontrar spans de caracteres máximos.
Consciente de Avaliação (EA - Evaluation-Aware): Uma linha de base teórica que ignora a recuperação e seleciona diretamente as janelas de avaliação específicas conhecidas como extratáveis, servindo como um teste de robustez para o protocolo de avaliação, em vez de uma solução prática.

Principais Resultados

1. Pegadas de Corpus Difusas

O estudo confirma que obras culturais possuem "pegadas de corpus difusas". Obras mais antigas espalham-se para fora através de citações e discussões, enquanto obras mais recentes frequentemente herdam linguagem através de idiomas e frases feitas (difusão para dentro).

Difusão para Fora: Uma música como "Smile" (2024) alcançou 100% de cobertura no nível de 5-gram no snapshot do Common Crawl, com spans aparecendo em códigos, críticas e fóruns, não apenas em sites de letras.
Difusão para Dentro: Músicas novas frequentemente contêm frases que precedem a própria música (ex: citando um poema de 1910), o que significa que a evidência de suporte pode não parecer, de forma alguma, uma cópia da obra alvo.

2. Falhas de Recuperação dos Curadores

Os curadores naturais de léxico e de substring exata (BM25, Infini-gram) geram conjuntos de esquecimento que levam a uma supressão fraca.

Dependência do Modelo: A eficácia dos conjuntos de esquecimento derivados de recuperação é fortemente dependente do modelo. Modelos maiores (ex: Gemma-3-12B) mostraram algum movimento, enquanto modelos menores (ex: OLMo-3-7B) mal se moveram.
Falta de Seletividade: Mesmo quando houve supressão, ela raramente foi seletiva. Por exemplo, o LLaMA-3.1-8B perdeu entre 51% e 55% de sua extratibilidade do pool de retenção enquanto ganhava no máximo 29% de supressão no pool de esquecimento.

3. O Gap de Seletividade na Curadoria Consciente de Avaliação

Quando o curador ignora a recuperação e seleciona as janelas exatas usadas para avaliação (curador EA):

Alta Supressão: A supressão do alvo atingiu quase 100% em todos os modelos.
Dano Colateral Severo: Esta abordagem causou supressão colateral substancial (redução de 80–100% na extratibilidade do pool de retenção) e regressões significativas de capacidade.
Interação de Algoritmos: O grau de perda de capacidade variou conforme o algoritmo de desaprendizado. Por exemplo, usar entradas EA com SimNPO causou uma queda média de capacidade de 5,1 pontos percentuais, enquanto o UNDIAL preservou amplamente a capacidade (+0,1 pp) apesar de níveis de supressão semelhantes.

4. A Interdependência de Curadoria e Desaprendizado

O estudo demonstra que o conjunto de esquecimento e o algoritmo de desaprendizado interagem fortemente. O mesmo conjunto de esquecimento produziu resultados vastamente diferentes dependendo do desaprendedor (ex: SimNPO vs. RMU vs. UNDIAL).

Sem Solução Universal: Nem a curadoria baseada em recuperação, nem a consciente de avaliação alcançaram o desaprendizado seletivo (alta supressão do alvo com baixo dano colateral) através do grid testado.
Natureza de Pipeline: O desaprendizado prático não pode ser tratado como um processo modular onde a curadoria é uma premissa fixa. A escolha dos dados determina tanto o que é desaprendido quanto o que é danificado.

Significância e Alegações

O artigo argumenta que a curadoria do conjunto de esquecimento deve ser tratada como um dos objetos de avaliação no desaprendizado de máquina, não meramente como um passo de pré-processamento.

Reenquadramento do Problema: Os autores afirmam que o desaprendizado prático não é apenas um problema de otimização uma vez que um conjunto de esquecimento é fornecido; os dados escolhidos para o esquecimento ditam fundamentalmente o equilíbrio entre supressão e utilidade.
Limitações dos Benchmarks Atuais: Os benchmarks existentes que assumem um conjunto de esquecimento conhecido obscurecem o desafio crítico de upstream de mapear solicitações do mundo real para dados.
Direção Futura: O artigo sugere que curadores futuros devem ser "conscientes do algoritmo", potencialmente combinando sinais de pegada de corpus com perfis de extração específicos do modelo e estimativa de influência para construir conjuntos de esquecimento que localizem os efeitos.

Os autores concluem que, embora o CLEANSLATE estude um cenário restrito (supressão literal de músicas e livros), o insight central se aplica amplamente: o mapeamento de uma solicitação para os dados é um componente crítico e não trivial do pipeline de desaprendizado que requer avaliação conjunta com o algoritmo de desaprendizado.