💬 NLP

Conflict-Resolving and Sharpness-Aware Minimization for Generalized Knowledge Editing with Multiple Updates

O artigo propõe o CoRSA, um framework de treinamento eficiente em parâmetros que resolve conflitos de conhecimento e minimiza a curvatura da perda para melhorar significativamente a generalização, a estabilidade e a eficácia de atualização em grandes modelos de linguagem submetidos a múltiplas edições de conhecimento.

Autores originais: Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

Publicado 2026-02-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário muito inteligente e culto (o Modelo de Linguagem de Grande Escala - LLM) que conhece muitos fatos. Mas, às vezes, o mundo muda. Talvez um novo CEO assuma uma empresa, ou um time de esportes realize uma troca de jogador. Você precisa atualizar a memória desse bibliotecário sem demiti-lo e contratar um novo (o que seria muito caro e lento).

O artigo apresenta um novo método chamado CORSA para ajudar a atualizar a memória desse bibliotecário de forma eficiente e precisa. Veja como funciona, usando analogias simples:

O Problema: O Bibliotecário "Teimoso"

Quando você tenta ensinar um novo fato ao bibliotecário, três coisas costumam dar errado com os métodos atuais:

O Problema da "Paráfrase": Se você disser ao bibliotecário: "O CEO é Andy Jassy", ele pode apenas lembrar dessa frase exata. Se você perguntar: "Quem dirige a Amazon?", ele ainda pode dizer o antigo CEO, Jeff Bezos. Ele não aprendeu verdadeiramente o conceito, apenas as palavras específicas.
O Problema do "Retrocesso": Se você atualizar o bibliotecário uma vez e depois atualizá-lo novamente mais tarde, a primeira atualização pode ser apagada ou a informação antiga e errada pode reaparecer. É como escrever sobre um quadro branco com uma caneta que não seca; a tinta antiga atravessa.
O Problema do "Conflito": O bibliotecário tem memórias fortes dos fatos antigos. Quando você tenta sobrescrever essas informações, a memória antiga luta contra, causando confusão ou "alucinações", onde o bibliotecário fornece uma mistura de informações antigas e novas.

A Solução: CORSA

Os autores criaram o CORSA (Minimização de Sharpness-Aware e Resolução de Conflitos). Pense nisso como um regime de treinamento especial para o bibliotecário que resolve os três problemas acima usando dois truques principais:

1. O Truque do "Vale Plano" (Minimização de Sharpness-Aware)

Imagine que o conhecimento do bibliotecário é uma paisagem de colinas e vales.

Método Antigo: Quando eles aprendem um novo fato, podem ficar presos em um "pico" minúsculo e afiado no mapa. Parece um lugar perfeito, mas se você der um leve empurrão neles (como fazer uma pergunta de uma forma diferente), eles caem do pico e esquecem tudo.
O Truque do CORSA: O CORSA força o bibliotecário a encontrar um vale amplo e plano em vez de um pico afiado. Em um vale plano, mesmo que você dê um empurrão no bibliotecário (faça a pergunta de forma diferente), ele permanece no mesmo lugar. Isso torna o novo conhecimento estável e ajuda a generalizar para diferentes formas de fazer perguntas.

2. O Truque de "Lutar contra o Fantasma" (Resolução de Conflitos)

Imagine que o fato antigo é um fantasma assombrando o bibliotecário.

Método Antigo: O treinamento padrão tenta ensinar o novo fato, mas acidentalmente torna o fantasma mais alto. O bibliotecário aprende o novo fato, mas ainda sussurra o antigo ao fundo.
O Truque do CORSA: O CORSA usa uma estratégia dupla. Ele ensina o novo fato ao mesmo tempo em que diz simultaneamente ao bibliotecário: "Ignore aquele fantasma antigo!". Ele explicitamente afasta a resposta antiga e puxa a nova para perto. Isso cria um intervalo claro entre as duas, garantindo que o fato antigo não se infiltre novamente mais tarde.

Como Ele Lida com Múltiplas Atualizações

O artigo testa o que acontece quando você atualiza a memória do bibliotecário muitas vezes (como rastrear um CEO que muda de emprego todos os anos).

Outros métodos: Eles agem como uma esponja que fica saturada. Após algumas atualizações, a esponja não consegue mais absorver água nova, ou espreme a água antiga (esquecimento).
CORSA: Ele age como um caderno modular. Porque encontrou esses "vales planos" e afastou os "fantasmas", ele pode continuar adicionando novas páginas sem rasgar as antigas. Ele lembra do novo CEO sem esquecer o antigo e não fica confuso quando o CEO muda novamente.

Os Resultados

Os autores testaram isso em fatos do mundo real (como quem é o CEO da Amazon) e até em código (atualizando como um programa de computador funciona).

Melhor Memória: O CORSA foi muito melhor em lembrar dos novos fatos quando perguntado de diferentes maneiras (generalização).
Menos Esquecimento: Quando mantiveram o modelo sendo atualizado, o CORSA esqueceu muito menos das informações não relacionadas em comparação com outros métodos.
Habilidades de Código: Ele até funcionou para corrigir erros de código, uma tarefa onde métodos anteriores falharam porque o código é complexo demais para uma simples "troca de fatos".

Em Resumo

O CORSA é uma maneira mais inteligente de atualizar o cérebro de uma IA. Em vez de apenas "escrever sobre" os dados antigos, ele encontra um lugar estável e plano na mente da IA para armazenar a nova informação e suprime ativamente as memórias antigas e conflitantes. Isso torna a IA mais confiável, menos propensa a esquecer e melhor em lidar com novas informações ao longo do tempo.

Resumo Técnico: CORSA para Edição de Conhecimento Generalizada

1. Formulação do Problema

Os Grandes Modelos de Linguagem (LLMs) dependem de conhecimento paramétrico interno, que se torna desatualizado com o tempo. Embora o retreinamento completo seja computacionalmente proibitivo, os métodos existentes de edição de conhecimento enfrentam três limitações críticas quando aplicados a múltiplas atualizações:

Generalização Pobre: As atualizações frequentemente falham em generalizar além da fraseologia específica dos exemplos de treinamento para diversas formas de entrada (ex: paráfrases ou variações sintáticas).
Instabilidade sob Múltiplas Atualizações: Os métodos têm dificuldade em suportar revisões contínuas (ex: atualizar o mesmo fato várias vezes ou injetar novos fatos) sem causar o esquecimento catastrófico de conhecimentos não relacionados.
Conflitos de Conhecimento: Priores fortes do pré-treinamento frequentemente fazem com que o modelo reverta para informações desatualizadas, apesar das atualizações, ou que novas atualizações inadvertidamente reativem o conhecimento antigo.

Abordagens atuais, como a edição direta de modelos (ex: MEMIT) ou o ajuste fino eficiente em parâmetros (ex: LoRA com SFT padrão), normalmente abordam apenas um ou dois desses requisitos, mas falham em resolver todos os três simultaneamente. Métodos de edição de modelos são frequentemente instáveis sob atualizações contínuas, enquanto o ajuste fino padrão frequentemente interfere no conhecimento prévio, levando à reversão ou saídas incorretas.

2. Metodologia: CORSA

Os autores propõem o CORSA (Conflict-Resolving and Sharpness-Aware Minimization), uma estrutura de treinamento projetada para a edição de conhecimento usando adaptadores LoRA. O método visa a estabilidade e a generalização dos parâmetros do adaptador $\phi$ ao abordar duas condições teóricas derivadas da geometria do panorama de perda (loss landscape):

Aumento da margem pós-atualização ( $\gamma$ ): Garantir que o modelo prefira fortemente o novo conhecimento ( $y^+$ ) sobre o antigo ( $y^-$ ).
Redução da nitidez local ( $\kappa$ ): Encontrar regiões mais planas no panorama de perda para melhorar a estabilidade contra futuras perturbações de parâmetros.

O CORSA integra três mecanismos principais:

A. Supressão de Conhecimento Conflitante (DPO)

O Ajuste Fino Supervisionado (SFT) padrão no novo conhecimento ( $D_{new}$ ) muitas vezes falha em suprimir suficientemente a probabilidade do conhecimento antigo ( $D_{old}$ ), levando a conflitos. Para maximizar explicitamente a margem entre o novo e o antigo conhecimento, o CORSA combina SFT com Otimização de Preferência Direta (DPO).

Objetivo: A função de perda $L_{Update}$ é definida como:
$L_{Update}(\phi) = L_{SFT}(\phi) + \lambda L_{DPO}(\phi)$
Mecanismo: $L_{SFT}$ minimiza a log-verossimilhança negativa do novo alvo. $L_{DPO}$ maximiza a margem de log-verossimilhança entre o novo alvo $y^+$ e o alvo desatualizado $y^-$ para o mesmo input $x$ . Isso impõe explicitamente uma separação entre o novo conhecimento e o prévio.

B. Minimização Consciente de Nitidez (SAM)

Para aumentar a generalização e a estabilidade, o CORSA emprega o SAM para minimizar a nitidez do panorama de perda.

Objetivo: Em vez de minimizar a perda em um único ponto, o SAM minimiza a pior perda dentro de uma vizinhança de raio $\rho$ :
$\min_{\phi} \max_{\|\epsilon\|_2 \le \rho} L_{Update}(\phi + \epsilon)$
Mecanismo: O algoritmo aproxima a perturbação de pior caso $\epsilon^*$ usando um único passo de ascensão baseado no gradiente. Os parâmetros do modelo são então atualizados usando o gradiente avaliado no ponto perturbado $\phi + \epsilon^*$ . Isso força o otimizador a encontrar mínimos mais planos, o que teoricamente correlaciona-se com melhor generalização e estabilidade contra futuras atualizações.

C. Resolução de Conflito de Gradiente (PCGrad)

Os autores observam que os gradientes dos objetivos SFT e DPO podem conflitar, e aplicar o SAM diretamente à sua soma ponderada pode ser subótimo.

Mecanismo: O CORSA utiliza o PCGrad (Projecting Conflicting Gradients) para resolver a interferência. Antes de computar a perturbação do SAM e o passo de atualização final, os gradientes de SFT ( $g_{SFT}$ ) e DPO ( $g_{DPO}$ ) são projetados para remover componentes que se opõem (ou seja, onde o produto interno é negativo).
Integração: O PCGrad é aplicado em ambas as etapas do SAM:
1. Para construir a direção da perturbação $\epsilon^*$ .
2. Para determinar a direção de descida final a partir do ponto perturbado.
  Isso garante que o passo consciente de nitidez respeite tanto o objetivo de adaptação (SFA) quanto o de separação de preferência (DPO).

3. Principais Contribuições

Estrutura Holística: O CORSA é o primeiro método a abordar simultaneamente a generalização através de diversos inputs, a estabilidade sob múltiplas atualizações e a resolução de conflitos de conhecimento usando uma única estrutura eficiente em parâmetros.
Insight Teórico: O artigo estabelece uma conexão entre a estabilidade das atualizações de conhecimento e a curvatura do panorama de perda, demonstrando que minimizar a nitidez (via SAM) regulariza implicitamente a curvatura da margem, prevenindo assim a reversão.
Integração Inovadora: O trabalho introduz uma combinação específica de SFT, DPO, SAM e PCGrad adaptada para a dinâmica de gradiente única da edição de conhecimento, onde os objetivos de adaptação e supressão frequentemente conflitam.

4. Resultados Experimentais

Os autores avaliaram o CORSA em três benchmarks de conhecimento factual (CounterFact, ZsRE, MQuAKE) e um benchmark de domínio de código (CodeUpdateArena) usando os modelos Llama-3.1-8B e Qwen-3-4B.

Generalização: O CORSA alcançou ganhos substanciais de generalização em comparação com as linhas de base. No Qwen-3-4B, ele melhorou a generalização média em 12,42% sobre o LoRA e 10% sobre os métodos de edição de modelos (MEMIT).
Estabilidade em Atualizações Contínuas: Em cenários envolvendo múltiplas revisões (ex: atualizando fatos ao longo do tempo ou injetando novo conhecimento), o CORSA reduziu significativamente o esquecimento catastrófico. Comparado ao LoRA, ele reduziu o esquecimento em 27,82% em configurações de revisão contínua.
Resolução de Conflitos: O CORSA suprimiu efetivamente o conhecimento desatualizado. No CounterFact, ele reduziu a "Retenção de Conhecimento Antigo" para 1,28%, comparado a 9,81% do LoRA. Em cenários de atualização contínua, ele minimizou a "Ativação de Conhecimento Antigo" (reversão) para 3,71% no Llama-3.1-8B, significativamente abaixo das linhas de base.
Transferência para o Domínio de Código: O CORSA generalizou com sucesso para o domínio de código (atualizações de API), superando a linha de base mais forte (F-Learning) em 5,48% na eficácia de atualização Pass@5, preservando as capacidades gerais de codificação.
Escalabilidade: O método demonstrou melhorias consistentes de desempenho em diferentes tamanhos de modelos (4B, 8B, 14B), indicando que o objetivo de treinamento fornece benefícios fundamentais à estabilidade da atualização, independentemente da escala.

5. Significância e Alegações

O artigo alega que o CORSA representa um passo significativo para tornar a edição de conhecimento prática para implantações no mundo real, onde os modelos exigem atualizações frequentes, estáveis e generalizáveis. Ao abordar explicitamente as propriedades geométricas do panorama de perda (nitidez) e os conflitos semânticos entre o conhecimento antigo e o novo (margem), o CORSA supera o "trilema" de generalização, estabilidade e resolução de conflitos que limitou trabalhos anteriores.

Os autores enfatizam que sua abordagem não depende de roteamento de memória externa complexo ou replay de dados, que introduzem overhead arquitetônico. Em vez disso, ela incorpora o conhecimento diretamente no adaptador LoRA através de um objetivo de otimização principista. Os resultados sugerem que minimizar a curvatura da perda é um fator crítico, porém anteriormente pouco explorado, para alcançar atualizações de conhecimento robustas em LLMs. O trabalho conclui que melhorar a generalização, a estabilidade e a resolução de conflitos é um passo necessário para mitigar efeitos colaterais indesejados (como alucinações) e reduzir riscos na implantação de LLMs atualizáveis.