🤖 machine learning

Forget Narrowly, Retain Broadly: Unlearning as an Asymmetric Generalization Problem

Este artigo apresenta o protocolo de avaliação SUITE e o algoritmo JensUn++ para abordar os desafios de generalização assimétrica no desaprendizado de máquina, onde os métodos atuais falham em remover informações específicas de forma confiável sem apagar inadvertidamente informações não relacionadas, ao fornecer um conjunto de dados abrangente que captura a complexa fronteira entre esquecimento e retenção e demonstrar que o aprimoramento dos dados de treinamento é tão crítico quanto o design algorítmico para alcançar compensações ideais de utilidade.

Autores originais: Amit Peleg, Naman Deep Singh, Naama Pearl, Bibhabasu Mohapatra, Matthias Hein

Publicado 2026-07-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Amit Peleg, Naman Deep Singh, Naama Pearl, Bibhabasu Mohapatra, Matthias Hein

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô de biblioteca gigante e superinteligente chamado "LLM" que sabe quase tudo. Às vezes, por razões de privacidade ou segurança, você precisa pedir a esse robô para esquecer um segredo específico — digamos, os detalhes exatos dos problemas jurídicos de uma famosa estrela pop. Mas há um detalhe: você não quer que o robô esqueça todo o resto. Você quer que ele ainda saiba como assar um bolo, resolver problemas matemáticos e falar sobre o espaço, mesmo que não possa falar sobre aquela estrela pop específica.

O problema é que os testes que temos usado para verificar se o robô realmente esqueceu o segredo são como jogar um jogo de "Adivinhe a Palavra" onde as regras estão viciadas.

Os Dois Grandes Erros: Subesquecimento e Sobreesquecimento

Os autores deste artigo argumentam que os testes atuais estão ignorando duas falhas enormes, que eles chamam de subesquecimento (under-forgetting) e sobreesquecimento (over-forgetting).

Subesquecimento (A Armadilha da Paráfrase): Imagine que você diz ao robô: "Esqueça o nome do advogado da estrela pop". Se você perguntar: "Quem era o advogado?", ele pode dizer: "Eu não sei". Mas se você perguntar: "Qual era o nome do tutor legal?" ou "Quem cuidou do caso judicial para o cantor em 2007?", o robô pode subitamente se lembrar! É como se o robô tivesse apenas esquecido a frase exata que você disse para ele esquecer, mas ele ainda conhece o segredo se você perguntar de uma maneira diferente. O artigo chama isso de subesquecimento: o robô acha que esqueceu, mas está apenas escondendo a resposta até que você faça a pergunta certa.
Sobreesquecimento (A Armadilha do Dano Colateral): Agora, imagine que você diz ao robô para esquecer a estrela pop. Em pânico, o robô decide esquecer tudo o que é relacionado à palavra "estrela", "música" ou até mesmo "casos judiciais". De repente, ele não consegue mais falar sobre outro cantor, ou esquece como falar sobre sistemas jurídicos em geral. É como tentar remover uma única maçã estragada de uma cesta e acidentalmente esmagar a cesta inteira. O artigo chama isso de sobreesquecimento: o robô está com tanto medo do segredo que destrói conhecimentos úteis e não relacionados.

A Nova Solução: SUITE (O "Professor Rigoroso")

Para consertar isso, os autores construíram um novo kit de teste superrigoroso chamado SUITE (Selective Unlearning of Isolated Topics and Events - Desaprendizado Seletivo de Tópicos e Eventos Isolados). Pense no SUITE como um professor rigoroso que não apenas faz a mesma pergunta duas vezes.

No lado do "Esquecer": O professor faz a mesma pergunta secreta de dezenas de maneiras diferentes. Eles perguntam diretamente, perguntam de trás para frente ("Qual cantor teve este advogado?") e perguntam indiretamente usando pistas que exigem que o robô conecte os pontos (raciocínio de múltiplos saltos/multi-hop). Se o robô escorregar e responder qualquer uma dessas perguntas, ele falhou.
No lado do "Reter": O professor verifica se o robô ainda conhece coisas que são quase iguais ao segredo, mas não exatamente. Por exemplo, se o segredo é sobre o desastre do ônibus espacial "Challenger", o professor pergunta sobre o desastre do ônibus espacial "Columbia", ou sobre a palavra "Challenger" em um contexto completamente diferente (como uma fossa oceânica profunda). Isso garante que o robô não tenha esquecido acidentalmente tudo o que soa como o segredo.

O artigo mostra que, quando usaram este teste rigoroso do SUITE, muitos métodos anteriores pareciam estar fazendo um ótimo trabalho, mas na verdade estavam falhando miseravelmente. Eles estavam ou ainda lembrando do segredo (subesquecimento) ou quebrando outras partes do cérebro do robô (sobreesquecimento).

O Novo Algoritmo: JensUn++ (O "Recusador Educado")

Os autores também criaram uma nova maneira de ensinar o robô a esquecer, chamada JensUn++.

A maioria dos métodos antigos tentava "suprimir" a resposta. Imagine que o robô é forçado a dizer "Eu não sei", mas porque está sendo forçado, ele começa a ter glitches e a cuspir frases sem sentido como "O céu é verde e o número é roxo". Isso é perigoso e inútil.

JensUn++ é diferente. Em vez de forçar o robô ao silêncio ou ao colapso, ele treina o robô para dar uma recusa polida e natural. Ele ensina o robô a dizer: "Infelizmente, não sou capaz de verificar esta informação", e então parar. É como ensinar o robô a dizer "Eu não posso te contar isso" em uma voz calma e humana, em vez de ter um surto psicótico.

O artigo descobriu que o JensUn++ funciona muito melhor do que os métodos antigos. Em seus testes, ele conseguiu esquecer os segredos (mesmo quando perguntado de maneiras truques e indiretas) sem causar o esquecimento de fatos não relacionados ou fazer o robô falar bobagens.

O Quão Certos Eles Estão?

Os autores estão muito confiantes nesses resultados porque não apenas adivinharam; eles mediram. Eles testaram seu novo método (JensUn++) e seu novo kit de teste (SUITE) em três cérebros de robôs do mundo real (Llama, Ministral e Qwen).

Eles provaram que usar seus novos dados de treinamento (SUITE) fez com que todos os métodos funcionassem melhor, não apenas o deles.
Eles mostraram que seu novo método, JensUn++, alcançou o melhor equilíbrio entre esquecer as coisas ruins e manter as coisas boas. No cenário sequencial (aprendendo um tópico após o outro), ele produziu 0% de respostas sem sentido (gibberish). No cenário conjunto (aprendendo todos os tópicos de uma vez), produziu apenas 0,1% de respostas sem sentido, o que ainda é insignificante.
Eles até testaram os robôs contra truques "adversários" (como perguntar em diferentes idiomas ou usar interpretação de papéis/role-play) e descobriram que seu método ainda se sustentava. O melhor modelo (Mistral) revelou o segredo 0% das vezes no cenário conjunto, enquanto no cenário sequencial, revelou o segredo apenas 3% das vezes (subindo para 4% sob as condições adversárias mais rigorosas). Em contraste, outros métodos tiveram um desempenho muito pior; por exemplo, o GradDiff revelou segredos 38% das vezes e o JensUn 29% das vezes no cenário sequencial no modelo Llama.

Em resumo, o artigo sugere que não podemos apenas dizer a um robô para "esquecer" e esperar o melhor. Precisamos testá-lo com perguntas truques e variadas para garantir que ele realmente esqueceu, e precisamos treiná-lo para dizer "não" educadamente em vez de entrar em colapso. Com os dados e o método certos, podemos realmente fazer esses robôs esquecerem o que precisam, sem perderem a sanidade.

Resumo Técnico: Esqueça de Forma Estrita, Retenha de Forma Ampla

Declaração do Problema

O desaprendizado de máquinas (machine unlearning) em Grandes Modelos de Linguagem (LLMs) visa remover conhecimentos específicos (por exemplo, para privacidade ou segurança) enquanto preserva todas as outras capacidades. No entanto, os benchmarks de avaliação existentes falham em medir o sucesso de forma confiável devido a um problema de generalização assimétrica.

Os benchmarks atuais sofrem de dois modos primários de falha:

Sub-esquecimento (Under-forgetting): Os modelos parecem esquecer fatos-alvo quando questionados diretamente, mas a informação ressurge sob consultas parafraseadas, indiretas ou de raciocínio de múltiplos saltos (multi-hop). As avaliações existentes muitas vezes carecem das formulações de consulta diversas necessárias para testar a generalização intensiva sobre o conjunto de "esquecimento".
Sobre-esquecimento (Over-forgetting): Métodos de desaprendizado degradam inadvertidamente o desempenho sobre conhecimentos disjuntos do alvo, incluindo conceitos semanticamente relacionados, consultas sintaticamente semelhantes e termos com sobreposição lexical. Os benchmarks existentes falham em definir o limite "esquecer-reter" em um nível granular, carecendo de sondagens de proximidade semântica, estrutura sintática e sensibilidade lexical.

O desafio central é que o conjunto de "retenção" é definido implicitamente como "todo o resto", tornando difícil distinguir o esquecimento genuíno da supressão, ou a retenção genuína do dano colateral.

Metodologia

SUITE: Desaprendizado Seletivo de Tópicos e Eventos Isolados

Para abordar essas lacunas, os autores introduzem o SUITE, um protocolo de avaliação e um corpus de treinamento de granularidade fina projetados para capturar a natureza assimétrica do desaprendizado. O SUITE é construído em torno de quatro tópicos factuais do mundo real (ex: o desastre da Challenger, os julgamentos das bruxas de Salem) e define o limite esquecer-reter através de três eixos:

Construção do Conjunto de Esquecimento ( $D_F$ ):
- Consultas Diretas, Reversas e Indiretas: Além das perguntas diretas padrão, o SUITE inclui perguntas reversas (fornecendo a resposta para identificar o tópico) e, crucialmente, perguntas indiretas que exigem raciocínio de múltiplos saltos que omitem o nome da entidade alvo inteiramente.
- Variação Linguística: Cada pergunta é aumentada com paráfrases e variantes de preenchimento de lacunas geradas por diferentes LLMs para evitar o sobreajuste de estilo (style overfitting).
- Divisão de Treinamento/Avaliação: As divisões de treinamento e avaliação utilizam reformulações disjuntas para garantir que a generalização seja testada em formas de consulta não vistas.
Construção do Conjunto de Retenção ( $D_R$ ):
- Proximidade Semântica: O conjunto de retenção é organizado em 16 níveis de proximidade semântica decrescente (Nível 0 ao Nível 15). O Nível 0 cobre o conceito geral do tópico de esquecimento (ex: o programa do Ônibus Espacial sem o desastre), enquanto os níveis superiores cobrem tópicos cada vez mais distantes.
- Controle Sintático e Lexical: O conjunto inclui perguntas que compartilham a estrutura sintática das consultas de esquecimento, mas usam entidades não relacionadas, e perguntas que usam termos do conjunto de esquecimento em contextos não relacionados (ex: "Challenger Deep" vs. "Challenger disaster").
- Conhecimento Geral: Inclui consultas factuais amplas de domínios não relacionados para testar a utilidade geral do modelo.

JensUn++: Um Algoritmo de Desaprendizado

Com base nos insights do SUITE, os autores propõem o JensUn++, um algoritmo de desaprendizado que melhora o estado da arte anterior (JensUn) ao focar na geração de recusas válidas em vez da supressão de conhecimento (o que frequentemente leva a resultados sem sentido/gibberish). Os componentes principais incluem:

Objetivo de Correspondência de Distribuição: O modelo é treinado para corresponder à distribuição pré-treinada original no conjunto de retenção (usando divergência de Jensen-Shannon) enquanto aprende a gerar uma string de recusa específica no conjunto de esquecimento.
Mistura de Prefixo Estocástica (Stochastic Prefix-Mixing): Para garantir que o modelo recuse mesmo quando condicionado a respostas parciais, os dados de treinamento são aumentados amostrando um comprimento de prefixo aleatório da resposta original e anexando a string de recusa. Isso força o modelo a transicionar para uma recusa a partir de qualquer ponto na sequência de geração.
Balanceamento de Perda Adaptativo: Um fator de escala dinâmico é introduzido para equilibrar as perdas de esquecimento e retenção com base em suas normas de gradiente, evitando que um objetivo domine o outro durante diferentes estágios de treinamento.
Pareamento de Consultas: Amostras de esquecimento e retenção são pareadas por tipo de aumento para encorajar o modelo a confiar no conteúdo semântico em vez de correlações superficiais.

Principais Contribuições

Reenquadramento da Avaliação de Desaprendizado: O artigo reenquadra o desaprendizado como um problema de generalização assimétrica, motivando a necessidade de benchmarks que testem tanto a generalização intensiva (lado do esquecimento) quanto a generalização extensa (lado da retenção).
Dataset e Protocolo SUITE: A introdução do SUITE, que fornece a primeira anotação de granularidade fina do limite esquecer-reter, incluindo consultas indiretas para sub-esquecimento e sondagens graduais semânticas/sintáticas/lexicais para sobre-esquecimento.
Análise Empírica de Dados de Treinamento: Um estudo abrangente demonstrando que a escolha dos dados de treinamento é tão crítica quanto o design algorítmico. Métodos treinados no SUITE mostram melhorias substanciais sobre os benchmarks anteriores (como LKF*), revelando que as avaliações anteriores superestimaram significativamente o desempenho do desaprendizado.
Algoritmo JensUn++: Um novo método de desaprendizado que alcança o melhor equilíbrio entre esquecimento e retenção em três LLMs diferentes (Llama-3.2-3B, Ministral-3-3B e Qwen3.5-9B) em configurações sequenciais e conjuntas. Ele produz de forma única strings de recusa naturais e consistentes, evitando o conteúdo sem sentido e as alucinações comuns em métodos baseados em supressão.

Resultados

Discrepância de Avaliação: Quando avaliados no SUITE, métodos que pareciam bem-sucedidos sob o LKF* (ex: PDU, RMU, NPO) exibiram sub-esquecimento severo (taxas de esquecimento >90%) e sobre-esquecimento (quedas significativas na precisão de retenção em níveis semanticamente próximos).
Impacto do Treinamento: O treinamento no SUITE melhorou significativamente o desempenho de todos os métodos, exceto o RMU, que falhou em se beneficiar dos dados de granularidade fina, expondo uma limitação em sua capacidade de lidar com consultas indiretas e reversas.
Desempenho do JensUn++:
- Desempenho de Esquecimento: Alcançou um esquecimento quase completo (taxa de conhecimento esquecido no pior caso de 0–3%) em todos os modelos e configurações, com 0% de saídas sem sentido (gibberish).
- Desempenho de Retenção: Manteve alta precisão de retenção, com degradação mínima (queda de 1–3%) em comparação com os modelos pré-treinados, mesmo em níveis semanticamente próximos (Nível 0).
- Robustez: Demonstrou resiliência contra consultas adversárias (ex: role-playing, troca de idioma) e ataques de "reaprendizado benigno", onde o conhecimento esquecido não ressurgiu durante treinamentos subsequentes em dados não relacionados.
- Utilidade: Preservou as capacidades gerais de downstream (pontuações MMLU, diversidade de geração e qualidade de resposta) melhor do que os métodos concorrentes.

Significância

O artigo argumenta que o desaprendizado é mal definido sem um limite de esquecer-reter de granularidade fina. O SUITE fornece a estrutura necessária para diagnosticar tanto o sub-esquecimento quanto o sobre-esquecimento, servindo como uma fundação para um desaprendizado mais confiável. Os resultados indicam que a qualidade dos dados de treinamento é pelo menos tão importante quanto o design algorítmico; sem dados que codifiquem explicitamente o limite entre o que esquecer e o que reter, até mesmo algoritmos sofisticados falham em generalizar corretamente. O JensUn++ demonstra que, com os dados certos e uma abordagem baseada em recusa, é possível alcançar um desaprendizado que é robusto, seguro (produzindo recusas válidas) e preserva a utilidade do modelo.