Disentangling Knowledge Representations for Large Language Model Editing

Resumo Técnico: DiKE (Disentangling Knowledge Representations for LLM Editing)

1. O Problema: A Preservação de Conhecimento Irrelevante de Alta Granularidade

O Knowledge Editing (Edição de Conhecimento) em Grandes Modelos de Linguagem (LLMs) visa atualizar fatos específicos (ex: mudar "O presidente dos EUA é Biden" para "O presidente dos EUA é Trump") sem re-treinar o modelo inteiro. Embora métodos existentes (como ROME, MEMIT, MEND) sejam eficazes em injetar novos conhecimentos e preservar fatos coarse-grained (irrelevantes grosseiros, como "Microsoft foi fundada por Bill Gates"), eles falham em preservar conhecimento irrelevante de alta granularidade (fine-grained irrelevant knowledge).

• Definição: Conhecimento de alta granularidade refere-se a fatos que compartilham o mesmo sujeito da edição, mas possuem relações e objetos diferentes (ex: ao editar o presidente, o fato "A capital dos EUA é Washington" deve permanecer inalterado).
• Causa Raiz: As representações do sujeito no espaço vetorial do LLM são inerentemente entrelaçadas (entangled). O modelo codifica múltiplos atributos do mesmo sujeito em uma única representação densa. Quando uma edição altera essa representação para injetar o novo fato, ela acidentalmente corrompe os atributos relacionados a fatos irrelevantes de alta granularidade, pois eles compartilham a mesma base de representação.
• Limitação Atual: Métodos atuais tentam mitigar isso impondo restrições baseadas em conhecimento irrelevante amostrado de forma ampla (ex: texto genérico do Wikitext), o que é insuficiente para proteger fatos específicos que compartilham o mesmo sujeito.

2. Metodologia: A Abordagem DiKE

Os autores propõem o DiKE, uma nova abordagem baseada em dois componentes principais que operam em duas fases: Desentrelaçamento de Representação de Conhecimento (KRD) e Edição de Conhecimento Baseada em Desentrelaçamento (DKE).

A. Módulo de Desentrelaçamento de Representação de Conhecimento (KRD)
O objetivo é decompor a representação do sujeito ($h_s$) em duas componentes distintas:

1. Componente Relacionada ao Alvo ($z^r_e$): Captura informações específicas sobre o fato que está sendo editado.
2. Componente Não Relacionada ao Alvo ($z^u_e$): Codifica informações sobre fatos irrelevantes de alta granularidade que devem ser preservados.

• Arquitetura: O módulo consiste em um Disentangler (que recebe as representações do sujeito e da relação e produz os vetores $z^r_e$ e $z^u_e$) e um Recomposer (que reconstrói a representação original a partir dessas duas partes).
• Funções de Perda de Treinamento:
  • Perda de Desentrelaçamento (Contrastiva): Maximiza a informação mútua entre cada componente e a representação original, enquanto trata as duas componentes como pares negativos para forçar a separação no espaço latente.
  • Perda de Restrição de Conhecimento: Garante que a componente relacionada ao alvo preveja o objeto editado e a componente não relacionada preveja corretamente os objetos dos fatos irrelevantes.
  • Perda de Reconstrução: Garante que a soma das componentes reconstrua fielmente a representação original do sujeito.

B. Módulo de Edição de Conhecimento Baseada em Desentrelaçamento (DKE)
Durante a fase de edição, o módulo KRD pré-treinado é congelado. O processo de edição ocorre da seguinte forma:

1. Injeção de Conhecimento: A edição é aplicada apenas na componente relacionada ao alvo ($z^r_e$), modificando-a para refletir o novo fato.
2. Preservação Explícita: A componente não relacionada ($z^u_e$) é mantida estritamente inalterada.
3. Atualização de Parâmetros: Os autores derivam uma solução de forma fechada (closed-form) para uma atualização de rank-um dos pesos do FFN (Feed-Forward Network). A fórmula matemática (Eq. 19) integra as restrições de preservação da componente não relacionada diretamente na otimização dos pesos, garantindo que a atualização não afete os fatos de alta granularidade.

3. Principais Contribuições

1. Novo Paradigma de Desentrelaçamento: Identificam e abordam o problema específico da preservação de conhecimento irrelevante de alta granularidade, propondo a separação explícita de representações de sujeito em componentes relacionadas e não relacionadas.
2. Arquitetura DiKE: Introdução de um método que combina um módulo de desentrelaçamento (KRD) com uma estratégia de edição (DKE) que atualiza apenas a parte relevante do vetor de representação.
3. Solução Analítica Eficiente: Derivação de uma fórmula de atualização de parâmetros baseada em teoria matricial que satisfaz múltiplas restrições (edição do alvo + preservação de fatos irrelevantes) de forma eficiente e minimamente invasiva.
4. Novo Benchmark (FINE-KED): Criação de um novo conjunto de dados de avaliação que categoriza fatos irrelevantes de alta granularidade em três níveis de dificuldade (Fácil, Médio, Difícil) baseados na similaridade semântica da relação com o fato editado.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos de diferentes tamanhos (GPT-2-XL, GPT-J, LLaMA-3) nos benchmarks FINE-KED, COUNTERFACT e MQUAKE-3K.

• Preservação de Conhecimento Fino (FINE-KED): O DiKE superou significativamente os métodos state-of-the-art (ROME, MEMIT, AlphaEdit, MEND) na métrica de Relational Locality (preservação de fatos irrelevantes).
  • Em LLaMA-3, o DiKE alcançou uma melhoria de 6.5% a 8.3% na preservação de conhecimento irrelevante em comparação com os melhores baselines, mantendo uma taxa de sucesso na edição (Efficacy) competitiva (acima de 99%).
  • Métodos como ROME e MEMIT sofreram degradação severa na preservação de fatos de alta granularidade, especialmente em níveis "Difíceis" (relações semanticamente próximas).
• Edição em Lote (Batch Editing): Em cenários onde múltiplas edições compartilham o mesmo sujeito (batch editing), o DiKE manteve alta estabilidade e precisão, enquanto outros métodos falharam devido a conflitos nas representações entrelaçadas.
• Generalização: O módulo KRD demonstrou forte capacidade de generalização para sujeitos e relações não vistos durante o treinamento (Out-of-Distribution), mantendo a eficácia do desentrelaçamento.
• Análise de Componentes: Estudos de ablação confirmaram que a remoção de qualquer componente (desentrelaçamento, restrição de conhecimento ou preservação explícita) resulta em queda significativa de desempenho na preservação de fatos irrelevantes.

5. Significado e Impacto

O trabalho DiKE representa um avanço significativo na área de edição de modelos, demonstrando que a simples aplicação de restrições globais é insuficiente para proteger o conhecimento interno complexo dos LLMs.

• Precisão Cirúrgica: Ao desentrelaçar as representações, o DiKE permite uma edição "cirúrgica" que altera apenas o atributo desejado sem corromper o "ecossistema" de fatos associados ao mesmo sujeito.
• Confiança em Sistemas de IA: A capacidade de atualizar fatos sem introduzir "efeitos colaterais" em informações relacionadas é crucial para aplicações onde a consistência factual é vital (ex: sistemas de suporte à decisão, correção de desinformação).
• Eficiência: A solução de forma fechada e a natureza leve do módulo KRD (que não requer re-treinamento para cada edição) tornam a abordagem escalável e prática para manutenção contínua de bases de conhecimento em LLMs.

Em resumo, o DiKE resolve um dos principais gargalos da edição de conhecimento em LLMs: a preservação de detalhes finos de conhecimento que compartilham o mesmo contexto, estabelecendo um novo padrão para a precisão e segurança na atualização de modelos de linguagem.