💬 NLP

LLM Unlearning with LLM Beliefs

Este artigo propõe o framework de bootstrapping (BS), que mitiga o efeito de espremimento ao incorporar as crenças do próprio modelo no processo de esquecimento, permitindo uma remoção mais eficaz de informações sensíveis sem comprometer a utilidade do modelo.

Autores originais: Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Jun Liu, Bo Han, Jiantao Zhou

Publicado 2026-03-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Jun Liu, Bo Han, Jiantao Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cozinheiro de elite (o Modelo de Linguagem ou LLM) que aprendeu a cozinhar milhões de receitas de livros, sites e diários. O problema é que, em meio a todas essas receitas, ele memorizou segredos perigosos: como fazer uma bomba caseira, como hackear um banco ou informações privadas de pessoas reais.

Agora, imagine que você precisa pedir a esse cozinheiro para esquecer essas receitas específicas. Isso é o que chamamos de "aprendizado de esquecimento" (unlearning).

O artigo que você enviou, "LLM Unlearning with LLM Beliefs", descobre que os métodos atuais de "esquecer" estão falhando de uma forma muito sutil e perigosa, e propõe uma solução inteligente baseada na própria "intuição" do modelo.

Aqui está a explicação simplificada:

1. O Problema: O Efeito "Espremedor" (Squeezing Effect)

Imagine que a memória do cozinheiro é como um balde cheio de água (a probabilidade de ele dizer algo).

O Método Antigo: Quando você diz "Esqueça a receita de bomba!", os métodos antigos tentam furar o fundo do balde exatamente onde está a receita de bomba.
O Efeito Espremedor: Como a água não pode sumir, ela é espremida para os lados. O cozinheiro para de dizer "Bomba", mas começa a dizer coisas como "Como fazer explosivos caseiros" ou "Armas químicas fáceis".
A Ilusão: Se você medir apenas se ele disse a palavra exata "Bomba", parece que ele esqueceu. Mas, na verdade, ele apenas recontou a história com outras palavras. O conhecimento perigoso ainda está lá, apenas disfarçado. É como tentar esconder um elefante atrás de uma cortina; o elefante não sumiu, só mudou de lugar.

Os autores chamam isso de "Esquecimento Espúrio" (Spurious Unlearning). O modelo parece ter esquecido, mas na verdade só aprendeu a reescrever o segredo.

2. A Solução: Usar a "Crença" do Modelo (LLM Beliefs)

A grande sacada do artigo é: "Se o modelo está tão confiante em recontar o segredo com outras palavras, então essa nova frase também precisa ser apagada!"

O modelo tem uma "intuição" ou "crença" sobre o que é mais provável de dizer. Quando você tenta apagar a resposta original, a "crença" do modelo imediatamente aponta para a resposta reescrita.

A nova solução, chamada de Framework de Bootstrapping (BS), funciona assim:

O Modelo como Espelho: Em vez de apenas pedir para o modelo esquecer a resposta original, o sistema pergunta ao modelo: "O que você diria agora se eu não dissesse a resposta proibida?".
A Resposta: O modelo, confiante, diz: "Eu diria 'Como fazer explosivos'!".
A Ação: O sistema pega essa nova resposta ("Como fazer explosivos") e a adiciona à lista de coisas para esquecer.

É como se você estivesse limpando uma sala. O método antigo limpava apenas a mesa, mas o lixo caía no chão (e ninguém via). O novo método olha para o chão, vê o lixo que caiu lá, e limpa o chão também.

3. As Duas Ferramentas (BS-T e BS-S)

Os autores criaram duas formas de fazer isso:

BS-T (Nível de Palavras): O modelo é treinado para não apenas não dizer a palavra proibida, mas também para não dizer as palavras mais prováveis que ele usaria para contornar a proibição. É como ensinar o cozinheiro a não dizer "bomba" e também a não dizer "explosivo" ou "pólvora" quando o assunto é perigoso.
BS-S (Nível de Frases): Às vezes, mudar uma palavra não basta. O modelo pode reescrever a frase inteira. O BS-S pega a frase completa que o modelo inventou para contornar a proibição e a usa como um novo exemplo do que deve ser apagado. É como pegar a receita inteira reescrita e rasgá-la, garantindo que o segredo não sobreviva em nenhuma versão.

4. Por que isso é importante?

Segurança Real: Métodos antigos deixavam "buracos" onde hackers poderiam encontrar o segredo reescrito. Este novo método fecha esses buracos.
Não Quebra o Modelo: Métodos antigos, ao tentar apagar coisas, muitas vezes faziam o modelo ficar "burro" ou falar bobagens (como repetir "sempre, sempre, sempre"). O novo método é mais cirúrgico: ele apaga o segredo, mas mantém o modelo inteligente e útil para tudo o resto.
Medidas Reais: O artigo mostra que as métricas antigas (que contam palavras) estavam mentindo. Eles propõem usar o próprio modelo de IA para julgar se o segredo foi realmente apagado, o que é muito mais preciso.

Resumo em uma Analogia Final

Imagine que você tem um guarda-costas (o modelo) que sabe segredos perigosos.

Método Antigo: Você tapa a boca do guarda-costas. Ele para de falar o segredo, mas começa a fazer gestos estranhos que todo mundo entende perfeitamente. O segredo vazou.
Método Novo (Bootstrapping): Você percebe que o guarda-costas está fazendo gestos. Você então o treina para não fazer os gestos também. Agora, ele realmente esqueceu o segredo, não apenas a forma de falar.

O artigo prova que, para fazer um modelo de IA esquecer de verdade, você precisa apagar não apenas o que ele deveria dizer, mas também o que ele quereria dizer (suas "crenças") para contornar a proibição.

Título: Desaprendizado de LLM com Crenças de LLM (LLM Unlearning with LLM Beliefs)

1. O Problema: O Efeito de Espremer (Squeezing Effect) e o Desaprendizado Espúrio

Os Grandes Modelos de Linguagem (LLMs) treinados em vastos corpora correm o risco de memorizar conteúdo sensível ou prejudicial. O desaprendizado (unlearning) visa remover esses conhecimentos específicos sem re-treinar o modelo do zero.

No entanto, o artigo identifica um problema crítico nas metodologias atuais (baseadas em Ascensão de Gradiente - GA, e suas variantes como NPO e WGA):

O Efeito de Espremer (Squeezing Effect): Quando o modelo é forçado a reduzir a probabilidade de uma resposta alvo específica (ex: uma frase que revela um segredo), a normalização softmax redistribui a massa de probabilidade para outras regiões de alta probabilidade.
Consequência: Em vez de esquecer o conhecimento, o modelo passa a gerar reformulações semanticamente similares (paráfrases) que ainda contêm a informação proibida.
Desaprendizado Espúrio: Métricas automáticas tradicionais (como ROUGE, Perplexidade e Truth Ratio) frequentemente relatam sucesso porque a superfície do texto mudou, mas o conhecimento nocivo permanece. O modelo "esquece" a frase exata, mas mantém a ideia.

2. Metodologia: Framework de Bootstrapping (BS)

Para combater o efeito de espremer, os autores propõem um framework de Bootstrapping (BS) que utiliza as próprias "crenças" do modelo (suas gerações de alta confiança) como sinais adicionais de desaprendizado. A ideia central é: se o modelo tende a gerar uma paráfrase com alta confiança, essa paráfrase também deve ser suprimida.

O framework é implementado em dois níveis:

A. Bootstrapping-Token (BS-T) - Nível de Token

Mecanismo: Em vez de usar apenas um rótulo one-hot para o token alvo, o método cria um alvo suave (soft target).
Funcionamento: O alvo suave é uma interpolação entre o token original e a distribuição de probabilidade do modelo sobre os k tokens de maior probabilidade (o "vizinhança de alta probabilidade" ou crença local).
Objetivo: Penalizar não apenas a resposta correta, mas também os tokens alternativos que o modelo consideraria mais prováveis, impedindo que a massa de probabilidade "vaze" para essas alternativas.

B. Bootstrapping-Sequence (BS-S) - Nível de Sequência

Mecanismo: Estende o conceito para sequências completas, abordando crenças globais do modelo.
Funcionamento: O método amostra $N$ gerações de alta confiança do próprio modelo para o prompt a ser esquecido. Essas sequências completas são então adicionadas ao conjunto de dados de desaprendizado como exemplos adicionais a serem suprimidos.
Objetivo: Garantir que trajetórias completas de geração nociva sejam removidas, não apenas palavras isoladas. Isso evita que o modelo gere paráfrases longas e coerentes que contornem a supressão de tokens individuais.

Base Teórica:
Os autores fornecem uma análise teórica baseada na dinâmica de aprendizado (framework AKG). Eles demonstram que o BS-T remodela o termo residual do gradiente, distribuindo a pressão de esquecimento sobre o token alvo e sua vizinhança de crença, em vez de apenas empurrar o alvo para baixo (o que causa o efeito de espremer).

3. Principais Contribuições

Identificação do Efeito de Espremer: O trabalho revela que métodos baseados em NPO e GA sofrem de desaprendizado espúrio devido à redistribuição de massa de probabilidade para regiões semanticamente relacionadas, um fenômeno que métricas tradicionais falham em detectar.
Framework de Bootstrapping: Propõe uma nova abordagem que integra as "crenças" do modelo (suas próprias previsões de alta confiança) diretamente na função de perda de desaprendizado.
Implementação Dual (BS-T e BS-S): Apresenta duas instâncias práticas que suprimem tanto respostas-alvo quanto alternativas de alta confiança, oferecendo um equilíbrio entre eficiência (BS-T) e esquecimento profundo (BS-S).
Análise Teórica e Empírica: Fornece provas de como o BS altera a dinâmica do gradiente para mitigar o efeito de espremer e valida a eficácia em múltiplos benchmarks.

4. Resultados Experimentais

Os experimentos foram realizados em três benchmarks principais: TOFU (dados fictícios), MUSE (dados reais e direitos autorais) e WMDP (conhecimento perigoso/bio/ciber). Modelos testados incluíram Llama 3 (1B, 3B, 8B) e Zephyr.

Desempenho Superior: O método BS-S consistentemente alcançou os melhores resultados agregados (média harmônica entre esquecimento e retenção), superando o estado da arte (NPO, RMU, WGA, GradDiff).
Mitigação do Desaprendizado Espúrio:
- Em TOFU, enquanto métodos como NPO mantinham semelhança semântica com as respostas originais (falha espúria), o BS-S reduziu drasticamente a similaridade semântica, gerando respostas fluentes, mas semanticamente distintas.
- As métricas de avaliação baseadas em LLM (LLM-as-a-Judge) confirmaram que o BS-S produz respostas mais naturais e menos similares ao conteúdo proibido do que os baselines.
Retenção de Utilidade: Ao contrário da Ascensão de Gradiente pura (GA), que frequentemente colapsa o modelo (gerando repetições sem sentido como "always always..."), o framework BS preservou a utilidade do modelo em tarefas gerais (MMLU) e fluência.
Eficiência: O BS-T foi mostrado como uma alternativa mais rápida e eficiente, enquanto o BS-S oferece o esquecimento mais profundo, com um custo computacional adicional aceitável devido à amostragem.

5. Significado e Impacto

Este trabalho é fundamental para a segurança e privacidade de LLMs porque:

Muda o Paradigma de Avaliação: Demonstra que métricas superficiais são insuficientes para garantir o apagamento de conhecimento, exigindo a verificação de "crenças" internas do modelo.
Solução Robusta: Oferece um método que não apenas apaga dados, mas impede a generalização indesejada para paráfrases, garantindo um esquecimento mais "limpo" e confiável.
Aplicabilidade Prática: O código foi integrado ao repositório OpenUnlearning, facilitando a adoção pela comunidade de pesquisa e desenvolvimento para criar modelos mais seguros e compliantes com regulamentos de privacidade (como o "direito ao esquecimento").

Em resumo, o artigo argumenta que para desaprender verdadeiramente, não basta dizer ao modelo "não diga X"; é necessário dizer "não diga X e também não diga nada que você acha que é muito parecido com X".