🤖 machine learning

Unforgettable Generalization in Language Models

Este artigo investiga como os modelos de linguagem se comportam ao "desaprender" habilidades por meio de ajuste fino com rótulos aleatórios, revelando que a generalização do esquecimento é altamente imprevisível e dependente da tarefa, frequentemente falhando em se estender além de exemplos de treinamento específicos apesar de saídas superficialmente aleatórias, enquanto as capacidades subjacentes da tarefa permanecem intactas, conforme evidenciado pelo sucesso da sondagem linear.

Autores originais: Eric Zhang, Leshem Choshen, Jacob Andreas

Publicado 2026-08-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eric Zhang, Leshem Choshen, Jacob Andreas

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô superinteligente que leu quase tudo na internet. Ele consegue escrever poemas, resolver problemas matemáticos e te explicar por que o céu é azul. Mas, às vezes, esse robô aprende coisas que você não quer que ele saiba, ou fica bom demais em um truque específico que você quer "desensinar". Este é o mundo do "desaprendizado de máquina" (machine unlearning), um ramo da pesquisa de inteligência artificial que faz uma pergunta intrigante: Podemos fazer um robô esquecer de verdade?

Para entender o experimento, você precisa saber duas coisas. Primeiro, esses robôs (chamados de Grandes Modelos de Linguagem) são treinados lendo toneladas de texto e depois são "ajustados" (fine-tuned) com exemplos específicos para ficarem melhores em uma tarefa, como responder perguntas de ciências. Segundo, uma forma comum de tentar fazer eles esquecerem é mostrar as mesmas perguntas novamente, mas com as respostas completamente embaralhadas ou inventadas. A ideia é que, se você confundir o robô o suficiente com respostas erradas, ele pode simplesmente desistir daquele tópico inteiramente. O grande mistério que os pesquisadores têm perseguido é: Essa confusão se espalha? Se você confundir o robô sobre uma pergunta específica, ele esquecerá como responder a todas as perguntas semelhantes, ou ficará apenas confuso sobre aquele exemplo específico?

O Grande Experimento do "Des-treinamento"

Neste artigo, os pesquisadores Eric Zhang, Leshem Choshen e Jacob Andreas, do MIT, decidiram jogar um jogo de "desaprendizado" com um gigante modelo de linguagem chamado Llama2. Eles trataram o modelo como um aluno que acabou de gabaritar uma prova, e então tentaram fazê-lo esquecer o conteúdo reensinando-o com respostas aleatórias e sem sentido. Eles queriam ver se o aluno esqueceria a matéria inteira ou apenas os problemas de prática específicos que lhe foram mostrados.

A Grande Surpresa: Depende do Assunto
Os pesquisadores testaram isso em 21 tipos diferentes de tarefas, variando de "senso comum físico" (como descobrir qual objeto é mais pesado) até "entailment" (decidir se uma frase segue logicamente outra). Os resultados foram selvagens e imprevisíveis.

Às vezes, o esquecimento funcionava perfeitamente. Se tentassem fazer o modelo esquecer como fazer uma classificação de entailment (um quebra-cabeça lógico sobre frases), o modelo ficava em branco. Ele começava a dar respostas aleatórias e inúteis para novas perguntas que nunca tinha visto antes. Era como se o robô tivesse perdido a capacidade de realizar aquele tipo específico de lógica inteiramente.

Mas outras vezes, o esquecimento era um fracasso total. Quando tentaram fazer o modelo esquecer o senso comum físico (como a gravidade funciona) ou perguntas de ciência, o modelo era teimoso. Mesmo após ser treinado com respostas erradas e aleatórias, ele ainda respondia corretamente a novas perguntas de ciência! Era como um aluno que foi forçado a memorizar as respostas erradas para um teste de prática específico, mas, quando veio o teste real, ele ainda sabia as respostas certas. O modelo parecia ter esquecido os exemplos específicos nos quais foi treinado, mas manteve seu conhecimento geral intacto.

Não é Sobre o Quão Difícil é o Teste
Você pode pensar que o modelo só esquece coisas fáceis e lembra de coisas difíceis. Os pesquisadores verificaram isso, e acontece que isso não é verdade. Eles descobriram que a dificuldade da tarefa não previa se o modelo esqueceria ou não. Por exemplo, o modelo era, na verdade, melhor em lembrar as respostas das perguntas do "ARC Challenge" do que das perguntas do "ARC Easy", embora ambas fossem perguntas de ciência. A dificuldade da pergunta não importava; o tipo de pergunta importava.

As Pistas Secretas: Confiança e Variabilidade do "Cérebro"
Então, o que torna uma habilidade fácil ou difícil de esquecer? Os pesquisadores encontraram duas pistas escondidas dentro do "cérebro" do modelo (suas representações de dados internas):

Confiança: Se o modelo já estava muito inseguro sobre a resposta antes de começarem o experimento de esquecimento, era mais fácil fazê-lo esquecer. Se o modelo era confiante, ele se agarrava mais forte.
Variabilidade do Cérebro: Isso é um pouco como observar o quanto os pensamentos do modelo oscilam. Se os "pensamentos" internos (representações) do modelo para uma tarefa estivessem todos espalhados (alta variabilidade), era mais difícil apagar. Se os pensamentos eram muito consistentes e similares (baixa variabilidade), o modelo era mais fácil de ser "des-treinado".

O Esquecimento "Superficial"
Aqui está a parte mais surpreendente. Mesmo quando o modelo parecia ter esquecido uma habilidade — dando respostas aleatórias para todos — os pesquisadores descobriram que a informação não tinha ido embora de verdade. Eles construíram uma ferramenta simples chamada "sonda linear" (pense nisso como um detector pequeno e especializado) e observaram as ondas cerebrais internas do modelo.

Surpreendentemente, esse detector ainda conseguia ler as respostas corretas perfeitamente, embora o próprio modelo estivesse agindo como se não soubesse de nada. É como um aluno que finge estar confuso e dá respostas aleatórias na aula, mas, se você olhar suas anotações, as respostas corretas ainda estão escritas lá com uma caligrafia perfeita. O "esquecimento" era apenas um ato superficial; o conhecimento profundo ainda estava lá, esperando para ser encontrado.

A Conclusão Final
O artigo conclui que tentar fazer a IA esquecer habilidades específicas apenas re-treinando-a com respostas aleatórias é uma aposta. Funciona para algumas tarefas (como quebra-cabeças de lógica), mas falha para outras (como ciência e senso comum). Além disso, mesmo quando parece funcionar, a informação não é verdadeiramente deletada; ela está apenas escondida atrás de uma camada de confusão. Os pesquisadores sugerem que precisamos entender muito mais sobre como esses modelos aprendem e armazenam informações antes de podermos fazer com que eles esqueçam o que não queremos que saibam.

Resumo Técnico: Generalização Inesquecível em Modelos de Linguagem

Declaração do Problema

O artigo aborda uma lacuna crítica no campo do desaprendizado (unlearning) de máquinas para Modelos de Linguagem (LMs). Enquanto pesquisas recentes têm se concentrado no desenvolvimento de técnicas para remover habilidades específicas ou conhecimento declarativo de LMs — frequentemente através de ajuste fino (fine-tuning) em rótulos aleatórios para "desaprender" uma tarefa — há uma compreensão limitada de como esse esquecimento se generaliza. Especificamente, quando um LM é treinado para esquecer uma capacidade em um conjunto de treinamento específico, seu comportamento muda de forma previsível em exemplos não vistos da mesma tarefa, ou o esquecimento permanece localizado apenas nos dados de treinamento? Os autores investigam se a remoção direcionada de habilidades via ajuste fino resulta em um desaprendizado robusto e generalizável ou se o modelo retém a capacidade de realizar a tarefa "esquecida" em novas instâncias.

Metodologia

Os autores conduzem um estudo sistemático usando o modelo base Llama2 de 7 bilhões de parâmetros, com validação adicional em GPT-J-6B e GPT-2. A configuração experimental envolve 21 tarefas diversas de múltipla escolha que abrangem raciocínio de senso comum, compreensão de leitura, matemática, detecção de toxicidade e classificação de implicação (entailment).

O procedimento central segue um pipeline de três estágios:

Pré-treinamento: Partindo de um LM pré-treinado.
Ajuste Fino (Fine-tuning): O modelo é ajustado em uma tarefa alvo ( $T_{train}$ ) para maximizar a acurácia, estabelecendo uma linha de base da capacidade aprendida.
Esquecimento: O modelo é submetido a um novo ajuste fino no mesmo conjunto de treinamento ( $T_{train}$ ), mas com rótulos escolhidos uniformemente ao acaso. Este é um método padrão para induzir o esquecimento.

Métricas:
Para quantificar o sucesso do esquecimento, os autores definem duas métricas:

Gap de Esquecimento (Forget Gap): A diferença entre a acurácia após o esquecimento e a acurácia aleatória esperada (50% para tarefas binárias). Um gap de 0 implica esquecimento completo.
Razão de Esquecimento (Forget Ratio): Uma medida normalizada comparando a queda na acurácia após o esquecimento contra o ganho total possível do ajuste fino. Uma razão de 1 indica esquecimento completo; 0 indica nenhum esquecimento.

Dimensões de Análise:
O estudo avalia o esquecimento através de várias dimensões:

Generalização ao Nível da Tarefa: Comparando o desempenho do esquecimento entre diferentes tipos de tarefas.
Esquecimento Entre Tarefas (Cross-Task): Ajustar o modelo com rótulos aleatórios da Tarefa A e avaliar na Tarefa B.
Preditores de Esquecimento: Analisando correlações entre o sucesso do esquecimento e a dificuldade da tarefa, confiança do modelo e a variância das representações de estado oculto.
Ordem de Aprendizado vs. Esquecimento: Investigando a relação entre a ordem em que os exemplos são aprendidos e a ordem em que eles são esquecidos.
Profundidade do Esquecimento: Treinando sondas lineares (linear probes) nas representações de estado oculto do modelo após o procedimento de esquecimento para determinar se a informação é verdadeiramente apagada ou apenas censurada.

Principais Resultados

1. Alta Variabilidade na Generalização

A principal descoberta é que a generalização do esquecimento é altamente dependente da tarefa e imprevisível.

Tarefas Robustas: Tarefas envolvendo raciocínio de senso comum (ex: PIQA, ARC) e respostas de perguntas científicas (ex: SciQ, PubMedQA) são notavelmente resilientes ao esquecimento. Mesmo após o treinamento com rótulos aleatórios, esses modelos frequentemente mantêm alta acurácia em exemplos de teste, falhando efetivamente em generalizar o comportamento de "esquecimento".
Tarefas Frágeis: Tarefas linguísticas de nível inferior, particularmente classificação de implicação (ex: MNLI, RTE, CoLA) e aceitabilidade gramatical, são facilmente esquecidas. Modelos treinados com rótulos aleatórios para essas tarefas tendem a produzir previsões próximas ao acaso em novas instâncias de teste.

2. A Tarefa de Avaliação Determina o Sucesso

Em experimentos entre tarefas, os autores descobriram que a eficácia do procedimento de esquecimento é amplamente determinada pela tarefa sendo avaliada, e não pela tarefa usada para o treinamento. Por exemplo, treinar um modelo para esquecer o raciocínio de senso comum muitas vezes falha em induzir o esquecimento nessa tarefa específica, mas pode inadvertidamente fazer com que o modelo esqueça outras tarefas linguísticas não relacionadas.

3. Preditores de Esquecimento

Dificuldade da Tarefa: Contrariando a intuição, a dificuldade da tarefa (medida pela acurácia do ajuste fino) não é um preditor confiável de esquecibilidade. Tarefas mais difíceis não são necessariamente mais difíceis de esquecer.
Confiança do Modelo: O artigo afirma explicitamente em sua conclusão que a dificuldade do conjunto de dados e a confiança do modelo não são preditivas de se uma tarefa é esquecida, apesar de observarem uma correlação fraca em gráficos de dispersão específicos.
Variância da Representação: A variância total dos estados ocultos (especificamente o último token da pergunta na penúltima camada) é um forte preditor. Tarefas com menor variância em suas representações de dados de treinamento estão associadas a uma maior generalização do esquecimento. Isso sugere que tarefas "mais amplas" ou mais diversas são mais difíceis de esquecer.

4. Natureza Superficial do Esquecimento

Mesmo nos casos em que o modelo parece ter esquecido uma tarefa (produzindo saídas aleatórias), a informação não é verdadeiramente removida. Sondas lineares treinadas nas representações de estado oculto do modelo ainda podem recuperar os rótulos corretos da tarefa com alta acurácia. Isso indica que o ajuste fino em rótulos aleatórios induz um esquecimento superficial, censurando efetivamente a saída sem apagar a capacidade subjacente das representações do modelo.

5. Robustez entre Modelos e Métodos

As tendências observadas mantêm-se através de diferentes arquiteturas de modelos (Llama2, GPT-J, GPT-2) e diferentes estratégias de esquecimento (rótulos aleatórios vs. rótulos invertidos/flipped labels), sugerindo que estas são propriedades fundamentais de como o ajuste fino interage com as estruturas das tarefas, e não artefatos de um modelo ou método específico.

Significância e Alegações

O artigo afirma destacar a dificuldade e a imprevisibilidade de realizar a remoção direcionada de habilidades de modelos de linguagem através de técnicas padrão de ajuste fino.

Imprevisibilidade: Os autores enfatizam que não se pode assumir que treinar um modelo para esquecer uma habilidade em um conjunto de dados específico resultará no esquecimento dessa habilidade em novas instâncias semelhantes. O comportamento é governado por variabilidades complexas e estruturadas entre tarefas.
Remoção Superficial: O estudo desafia a eficácia do ajuste fino com rótulos aleatórios como um mecanismo de "desaprendizado" verdadeiro. Como as sondas lineares podem recuperar as capacidades esquecidas, o método não remove a informação das representações internas do modelo, levantando preocupações sobre sua utilidade para aplicações de privacidade ou segurança onde a remoção real de dados é necessária.
Dependência de Tarefa: As descobertas sugerem que o sucesso do desaprendizado é intrínseco à natureza da tarefa sendo avaliada, e não ao uso de dados de treinamento específicos para o processo de desaprendizado.

Os autores concluem que, embora o ajuste fino em rótulos aleatórios seja um método simples e amplamente utilizado para o esquecimento, ele resulta em resultados altamente variáveis e frequentemente superficiais, ressaltando a necessidade de mais pesquisas sobre a relação entre os dados de treinamento para o esquecimento e a generalização das previsões do modelo.