💬 NLP

Can Fine-Tuning Erase Your Edits? On the Fragile Coexistence of Knowledge Editing and Adaptation

Este artigo demonstra que o ajuste fino subsequente geralmente causa um decaimento substancial nas edições de conhecimento, revelando que o ajuste fino apenas das camadas editadas é um método eficaz para remover tais edições enquanto mantém o desempenho downstream, destacando, assim, a necessidade crítica de avaliar a edição de conhecimento dentro do contexto mais amplo de pipelines de adaptação de modelos.

Autores originais: Yinjie Cheng, Paul Youssef, Christin Seifert, Jörg Schlötterer, Zhixue Zhao

Publicado 2026-06-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yinjie Cheng, Paul Youssef, Christin Seifert, Jörg Schlötterer, Zhixue Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Pergunta: Você Pode Pintar Sobre uma Correção?

Imagine que você tem uma enciclopédia gigante e incrivelmente inteligente (um Grande Modelo de Linguagem, ou LLM) que foi escrita por uma equipe de especialistas. Às vezes, a enciclopédia tem erros. Talvez ela diga que a capital da França é Berlim.

Edição de Conhecimento (KE - Knowledge Editing) é como enviar um especialista para corrigir esse erro específico. Ele vai até a página, encontra "Berlim" e muda para "Paris". Ele faz isso sem reescrever o livro inteiro. É rápido, barato e preciso.

Ajuste Fino (FT - Fine-Tuning) é como pegar essa enciclopédia e treiná-la em um novo assunto, digamos, "Arte Moderna". Você fornece a ela milhares de novos artigos para ajudá-la a aprender sobre pintura e escultura. Esta é a maneira padrão de tornar esses modelos úteis para tarefas específicas.

O Problema: Os pesquisadores fizeram uma pergunta simples: Se você corrigir um erro (KE) e depois treinar o livro em novos tópicos (FT), a correção sobrevive? Ou o novo treinamento acidentalmente apaga a correção, colocando "Berim" de volta?

A Descoberta Principal: A Correção é Frágil

A principal descoberta do artigo é que o ajuste fino frequentemente apaga as edições.

Pense no conhecimento do modelo como uma escultura delicada feita de argila.

Edição de Conhecimento é como adicionar um detalhe pequeno e específico à escultura (por exemplo, pintar uma flor na argila).
Ajuste Fino é como sacudir toda a escultura vigorosamente para remodelá-la para um novo propósito.

O estudo descobriu que, quando você sacode a escultura (ajuste fino), o pequeno detalhe pintado (a edição) muitas vezes cai ou fica borrado. Em muitos casos, o modelo retorna à sua resposta original incorreta ou, pior, começa a dar uma resposta errada completamente nova que não estava lá antes.

O Experimento: Um Teste de Estresse Massivo

Os pesquisadores não apenas adivinharam; eles realizaram um experimento massivo.

Eles pegaram 5 modelos diferentes (as "enciclopédias").
Usaram 3 ferramentas de edição diferentes (os "pintores").
Aplicaram 254 combinações diferentes de edição e treinamento.

Os Resultados:

Na maioria das vezes, as edições morreram. Após o ajuste fino, uma parte significativa das correções bem-sucedidas tornou-se falhas.
A Vulnerabilidade do "Espaço Nulo" (Null Space): Um método de edição específico (AlphaEdit) foi o mais frágil. Ele tenta esconder a edição em uma "zona de sombra" do cérebro do modelo que geralmente não afeta nada. Mas o ajuste fino é tão poderoso que preenche essa zona de sombra com novas informações, apagando a edição completamente.
O Tamanho do Modelo Importa: Modelos maiores (como o GPT-J) foram ligeiramente mais robustos, mantendo melhor suas edições do que os menores, mas ainda assim sofreram com o problema.

O Fenômeno do "Flip" (Inversão)

Os pesquisadores notaram três coisas estranhas que acontecem após o ajuste fino:

Edições Estáveis: A correção permanece. (Raro).
Edições Apagadas: A correção desaparece e o modelo volta para a resposta errada original. (Comum).
Edições Impossíveis: O modelo fica confuso e dá uma terceira resposta errada que não era nem a original nem a correção pretendida. (Ex: Se você tentou mudar "Paris" para "Londres", o modelo pode começar a dizer "Berlim" após o treinamento).

A Reviravolta Surpreendente: Como Deletar Edições de Propósito

O artigo também investigou como remover edições ruins (como as maliciosas plantadas por hackers) ou manter as boas. Eles testaram uma estratégia inteligente: Não treine o modelo inteiro; treine apenas partes específicas.

Hipótese 1: Se você treinar apenas as camadas onde a edição foi feita, você deve apagar a edição.
- Resultado: Verdadeiro. Esta foi a maneira mais eficaz de remover uma edição. É como lixar apenas o ponto específico onde a tinta ruim foi aplicada.
Hipótese 2: Se você treinar apenas as camadas que não estão envolvidas na edição, você deve proteger a edição.
- Resultado: Falso. Surpreendentemente, treinar as camadas "seguras" na verdade destruiu as edições mais do que treinar o modelo inteiro. É como sacudir a base da escultura tão forte que o detalhe no topo cai, mesmo que você não tenha tocado o topo diretamente.

A Conclusão: Se você precisa remover uma edição ruim, a maneira mais eficiente é fazer o ajuste fino apenas nas camadas específicas onde essa edição reside. É um ataque cirúrgico preciso que remove os dados ruins enquanto mantém o desempenho do restante do modelo quase intacto.

Por Que Isso Acontece? (O Escaneamento Cerebral)

Os pesquisadores olharam dentro do "cérebro" do modelo (seu espaço de ativação) para ver o que estava acontecendo.

Edição é como uma pequena ondulação localizada em um lago. Ela altera a água em um ponto específico.
Ajuste Fino é como uma onda massiva colidindo através de todo o lago.

O estudo descobriu que a "onda" do ajuste fino é muito mais forte e se move em uma direção diferente da "ondulação" da edição. Quando a onda atinge, ela sobrescreve completamente a ondulação. A representação interna do modelo muda tão drasticamente que a pequena correção não consegue sobreviver.

Resumo para o Leitor Comum

Edições são temporárias: Se você corrige um fato em uma IA e depois a treina com novos dados, sua correção provavelmente desaparecerá.
Não é culpa sua: A arquitetura do modelo torna muito difícil manter uma pequena mudança enquanto se aprende muitas coisas novas.
Você pode deletar edições facilmente: Se precisar remover uma edição ruim, você não precisa retreinar toda a IA. Você pode apenas ajustar as partes específicas onde a edição ruim vive, e ela desaparecerá.
Aviso de Segurança: Se agentes mal-intencionados plantarem mentiras maliciosas em uma IA (edição de conhecimento), e depois as empresas fizerem o ajuste fino dessa IA para novas tarefas, essas mentiras podem sobreviver e se espalhar, ou a IA pode ficar confusa e começar a alucinar novas mentiras.

O artigo conclui que precisamos parar de tratar "corrigir fatos" e "treinar para novas tarefas" como etapas separadas. Precisamos construir sistemas de IA onde esses dois processos possam coexistir sem que um destrua o outro.

Resumo Técnico: Pode o Ajuste Fino Apagar Edições? Sobre a Frágil Coexistência da Edição de Conhecimento e do Ajuste Fino

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são tipicamente adaptados a novos domínios por meio de duas intervenções de pós-treinamento distintas: o Ajuste Fino (Fine-Tuning - FT), que atualiza os parâmetros do modelo em conjuntos de dados específicos de tarefas (incluindo métodos de Ajuste Fino de Parâmetros Eficientes ou PEFT, como LoRA e DoRA), e a Edição de Conhecimento (Knowledge Editing - KE), que atualiza o conhecimento factual com dados e computação limitados. Embora ambas as técnicas sejam amplamente adotadas, elas têm sido historicamente estudadas de forma isolada.

Este artigo aborda uma lacuna crítica no pipeline de implantação de LLMs: a interação entre esses dois processos. Especificamente, os autores investigam se as edições de conhecimento sobrevivem ao ajuste fino subsequente. Esta questão é motivada por duas preocupações práticas:

Segurança: Se as edições persistirem após o ajuste fino, edições maliciosas (ex: backdoors, injeção de viés ou desinformação) introduzidas em um modelo base poderiam se propagar silenciosamente para aplicações downstream.
Eficiência: Se o ajuste fino prejudicar ou apagar edições benéficas, os operadores seriam forçados a reeditar os modelos após cada etapa de adaptação, tornando a KE ineficiente.

Metodologia

Os autores conduziram um estudo empírico abrangente cobrindo 254 configurações experimentais independentes. O estudo quantificou sistematicamente o decaimento das edições de conhecimento após o ajuste fino através de várias dimensões:

Modelos: Cinco LLMs foram avaliados, incluindo GPT-J-6B, GPT2-XL, Llama2-7B, Llama3.1-8B e DeepSeek (excluído devido ao baixo desempenho em KE).
Métodos de Edição de Conhecimento (KE): Três métodos representativos de modificação de parâmetros foram testados:
- MEMIT: Um método de múltiplas edições escalável.
- AlphaEdit: Restringe as perturbações ao espaços nulos para minimizar a interferência.
- MEND: Uma abordagem baseada em redes hiper-redes utilizando redes de edição auxiliares.
Métodos de Ajuste Fino (FT): Três abordagens foram comparadas:
- Ajuste fino de parâmetros totais (Full-parameter fine-tuning).
- LoRA (Low-Rank Adaptation).
- DoRA (Weight-Decomposed Low-Rank Adaptation).
Datasets:
- Edição: CounterFact (CF) e Extração de Relação Zero-Shot (zsRE).
- Ajuste Fino: Dataset de Raciocínio de Senso Comum e HotpotQA (para tarefas intensivas em conhecimento).
Métricas de Avaliação:
- Métricas padrão de KE: Sucesso de Eficácia (ES), Sucesso de Paráfrase (PS) e Sucesso de Vizinhança (NS).
- Nova Métrica: Taxa de Inversão de Edição (Edit Flip Ratio - EFR), definida como a proporção de edições que foram bem-sucedidas após a KE mas tornaram-se malsucedidas após o ajuste fino. Esta métrica isola especificamente a estabilidade das edições bem-sucedidas.
Análise Mecanística: Os autores analisaram os espaços de ativação usando mudanças de magnitude camada a camada, deriva direcional (similaridade de cosseno) e Projeção de Aproximação de Variedade Uniforme (UMAP) para entender por que as edições decaem.

Principais Contribuições

Estudo Empírico Sistemático: A primeira investigação em larga escala sobre o impacto do FT na KE, cobrindo 254 configurações através de modelos, datasets e métodos.
Framework de Avaliação: Introdução da Taxa de Inversão de Edição (EFR) para quantificar precisamente a degradação de edições bem-sucedidas, indo além de métricas de desempenho agregadas.
Análise Mecanística de Múltiplos Níveis:
- Identificação de quatro categorias comportamentais pós-ajuste fino: Edições Estáveis, Edições Apagadas, Edições Emergentes (edições que falharam anteriormente mas agora têm sucesso) e Edições Impossíveis.
- Demonstração de que o ajuste fino induz mudanças representacionais significativamente maiores e mais coerentes no espaço de ativação do que a KE, explicando o apagamento das edições.
Estratégias Práticas para Remoção de Edições: Descoberta de que ajustar finamente apenas as camadas editadas ou apenas as camadas não editadas pode remover edições de forma eficaz, muitas vezes de forma mais eficiente do que o ajuste fino de todas as camadas, oferecendo novas estratégias para neutralizar edições maliciosas.

Principais Resultados

1. Decaimento Geral das Edições

O ajuste fino geralmente prejudica as edições de conhecimento. O estudo descobriu que as edições decaem substancialmente após o ajuste fino subsequente na maioria das configurações.

Magnitude do Decaimento: O ajuste fino de parâmetros totais causou a maior fração de falhas nas edições (diminuição média de 38,10%), seguido pelo LoRA (28,71%) e DoRA (29,88%).
Sensibilidade do Modelo: O GPT-J exibiu a maior robustez estrutural (menor diminuição média de 15,93%), enquanto o GPT2-XL e o Llama2 mostraram maior variabilidade e maior decaimento.
Sensibilidade do Método: O AlphaEdit apresentou o maior decaimento. Por exemplo, no GPT-J com o benchmark de zsRE, 25,27% das edições anteriormente bem-sucedidas do AlphaEdit tornaram-se malsucedidas após o ajuste fino. Os autores atribuem isso à vulnerabilidade do mecanismo de armazenamento no espaço nulo, que é quase ortogonal ao espaço de conhecimento existente e, portanto, não é penalizado durante o cálculo de perda do ajuste fino.

2. Impacto de Datasets e Escala

Dataset: Edições no dataset zsRE geralmente sofreram um declínio de desempenho maior em comparação ao CounterFact (CF). Isso é atribuído aos critérios de avaliação mais rigorosos do zsRE (que exige geração exata) versus o CF (baseado em ranking).
Escala: Um número maior de edições geralmente exacerbou o decaimento, particularmente para o AlphaEdit.

3. Ajuste Fino de Camadas Seletivas

Uma descoberta contraintuitiva foi que o ajuste fino apenas das camadas não editadas levou a um maior decaimento das edições do que o ajuste fino de todas as camadas.

Ordenação de Remoção de Edição: A eficácia de remover edições seguiu a ordem: Ajuste fino das camadas editadas > Ajuste fino das camadas não editadas > Ajuste fino de todas as camadas.
Trade-off: Embora o ajuste fino apenas das camadas editadas fosse mais eficaz na remoção de edições, ele acarretou uma maior degradação no desempenho de tarefas downstream em comparação ao ajuste fino de camadas não editadas.
Mecanismo: Isso se alinha à hipótesa da representação distribuída; as edições são armazenadas em múltiplas camadas. Concentrar as atualizações de peso em menos camadas causa perturbações por camada maiores que interrompem a estrutura coordenada que sustenta as edições.

4. Insights Mecanísticos (Espaço de Ativação)

Magnitude: O ajuste fino induz mudanças de magnitude de ativação substancialmente maiores em todas as camadas em comparação com a KE, que induz perturbações limitadas e localizadas.
Direção: O deslocamento direcional induzido pelo ajuste fino é quase ortogonal ao deslocamento induzido pela KE.
Análise UMAP: No espaço de representação, o cluster dos modelos ajustados ( $M_{ft}$ ) e dos modelos editados-então-ajustados ( $M_{ed\_ft}$ ) sobrepõe-se substancialmente, enquanto ambos estão claramente separados do modelo apenas editado ( $M_{ed}$ ). Isso indica que o ajuste fino puxa as representações internas do modelo de volta para a direção do ajuste fino, efetivamente sobrescrevendo as mudanças sutis introduzidas pela KE.

Significância e Alegações

O artigo conclui que os métodos de KE existentes falham em produzir edições consistentemente estáveis que persistam sob o ajuste fino subsequente. Os autores afirmam que isso destaca uma fragilidade crítica no pipeline atual de aplicação de LLMs.

Implicações de Segurança: O risco de "herança" de edições maliciosas é real; se as edições persistirem, os modelos ajustados podem propagar vieses ocultos ou backdoors. Por outro lado, se as edições forem apagadas, a utilidade da KE para corrigir comportamentos prejudiciais do modelo base é comprometida.
Orientação de Implantação: O estudo ressalta a necessidade de avaliar a KE dentro do contexto mais amplo do ciclo de vida do LLM, e não de forma isolada.
Direções Futuras: Os autores sugerem que a pesquisa futura em KE deve explicitamente considerar a adaptação downstream. Eles propõem potenciais estratégias de mitigação, como incorporar regularização para penalizar deslocamentos de ativação em camadas editadas ou projetar as atualizações de FT no subespaço ortogonal dos parâmetros de KE, embora estas sejam apresentadas como direções para trabalhos futuros e não como soluções implementadas neste estudo.

Os autores mantêm um tom modesto, observando que, embora seus achados sejam robustos em todas as arquiteturas testadas (que compartilham o backbone Transformer), os graus específicos de decaimento podem variar com outros modelos ou configurações. Eles disponibilizam seu código e resultados para servir como uma linha de base para pesquisas futuras em edição de modelos robusta.