Resumo Técnico: Onde o Conhecimento Colide: Um Estudo Mecanístico de Conflito de Conhecimento Intra-Memória em Modelos de Linguagem

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam um desafio crítico de confiabilidade conhecido como conflito de conhecimento intra-memória. Isso ocorre quando informações inconsistentes sobre o mesmo assunto são codificadas dentro do conhecimento paramétrico do modelo, levando a representações internas instáveis onde diferentes prompts eliciam associações fatuais conflitantes. Embora pesquisas anteriores tenham abordado extensivamente os conflitos contexto-memória (resolvendo tensões entre o conhecimento interno e o contexto externo via ajuste fino ou edição de conhecimento), os mecanismos que regem os conflitos internos permanecem amplamente inexplorados. Especificamente, é desconhecido onde dentro da arquitetura do modelo esses conflitos surgem, quais componentes são responsáveis por resolvê-los e quão eficazmente intervenções direcionadas podem alterar o comportamento do modelo para resolver esses conflitos.

Metodologia

Os autores propõem uma estrutura de interpretabilidade mecanística para localizar e intervir causalmente em conflitos de conhecimento intra-memória. O estudo utiliza um pipeline de três estáções:

1. Construção de Dataset:

   • Dados Sintéticos (SynWikiBio): Um dataset curado de biografias de estilo Wikipedia para entidades sintéticas. Os autores geraram 2.000 indivíduos únicos, criando 1.000 pares de biografias conflitantes (ex: universidades ou empresas divergentes) e 1.000 biografias livres de conflito. Isso permite experimentação controlada onde a verdade fundamental (ground truth) e os fatos conflitantes são precisamente definidos.
   • Dados do Mundo Real (DynamicQA): Para testar a generalização, os autores utilizaram o dataset DynamicQA, que contém fatos estáticos, temporais e disputáveis. Eles construíram contextos conflitantes substituindo o conhecimento factual por contrafatuais fornecidos pelo dataset.

2. Treinamento do Modelo:

   • Quatro LLMs de variadas arquiteturas e escalas foram avaliados: GPT-2 XL (1.5B), Llama-3.2-1B, OPT-2.7B e Qwen3-4B.
   • $\ell_{mix}$: Modelos passaram por pré-treinamento contínuo no dataset misto ($B_{mix}$) contendo biografias tanto conflitantes quanto livres de conflito, resultando em modelos com conflitos de conhecimento internos.
   • $\ell_{clean}$: Modelos passaram por pré-treinamento contínuo em um subconjunto livre de conflitos ($B_{clean}$), servindo como referência para representações paramétricas não conflitantes.

3. Sondagem Causal e Intervenção:

   • Logit Lens: Utilizado para inspecionar as representações do fluxo residual (residual stream) em cada camada para localizar onde o conhecimento conflitante é codificado e como a confiança da predição evolui.
   • Activation Patching: Um método de rastreamento causal onde ativações de um prompt "fonte" (livre de conflito) são injetadas em um prompt "alvo" (conflitante) para medir a contribuição causal de componentes específicos (camadas ou cabeças) para a saída do modelo.
   • Cross-Model Activation Patching (CMAP): Uma variante avançada onde as ativações são originadas do modelo limpo ($\ell_{clean}$) e injetadas no modelo conflitante ($\ell_{mix}$). Isso mitiga problemas onde encontrar um prompt fonte não conflitante dentro do mesmo dataset é difícil ou propenso a emaranhamento.
   • Técnicas de Intervenção: O estudo empregou Activation Patching, Zero Ablation (anulação de ativações) e JUICE (amplificação de ativações de cabeças específicas) para testar a capacidade de direcionar as predições do modelo para longe de fatos conflitantes.

Principais Resultados

1. Localização do Conflito

Em todos os quatro modelos testados, os conflitos de memória intra-memória surgem e são resolvidos consistentemente nas últimas camadas da rede.

• Evolução da Confiança: A análise de entropia e divergência KL revela que modelos com e sem conhecimento conflitante convergem de forma semelhante através das camadas intermediárias. A divergência ocorre apenas nas camadas finais (ex: camadas 40–47 no GPT-2 XL), onde o modelo conflitante exibe uma crescente incerteza enquanto o modelo não conflitante continua a convergir para uma predição confiante.
• Especificidade de Componente: Componentes de atenção mostram contribuições agregadas mais fortes para a resolução de conflitos do que componentes MLP.

2. Eficácia das Intervenções

• Nível de Cabeça vs. Nível de Camada: Intervenções direcionadas ao nível de cabeça de atenção superam significativamente as intervenções por camada.
• Gap Sintético vs. Mundo Real: As intervenções são marcadamente mais eficazes no dataset sintético SynWikiBio do que no dataset do mundo real DynamicQA.
  • Por exemplo, no GPT-2 XL, a Taxa de Sucesso de Direcionamento (SSR) para patching de camada caiu de 0,214 (sintético) para 0,141 (mundo real).
  • A análise de filtragem sugere que este gap existe porque os conflitos sintéticos frequentemente dependem de cabeças especializadas em um único fato concorrente, enquanto os conflitos do mundo real envolvem cabeças de tomada de decisão mais complexas e menos especializadas devido a distribuições de dados não controladas.
• Desempenho dos Métodos:
  • O JUICE emergiu como o método de intervenção mais robusto entre modelos e datasets.
  • O CMAP apresentou desempenho comparável ao Activation Patching padrão em dados sintéticos e ofereceu uma configuração mais prática para conflitos do mundo real, onde encontrar prompts fonte "limpos" é difícil.

3. Dependências de Escala de Modelo e Arquitetura

• Anomalia do GPT-2 XL: O GPT-2 XL mostrou taxas de sucesso de intervenção inicialmente menores. Uma análise posterior revelou que isso se deve ao seu maior número total de cabeças de atenção (1.200). Quando o número de cabeças intervindas foi escalonado proporcionalmente, seu desempenho seguiu a tendência dos outros modelos, sugerindo que os sinais relevantes para a tarefa estão distribuídos em um conjunto mais amplo de cabeças no GPT-2 XL em comparação com modelos como OPT-2.7B ou Qwen3-4B.
• Ausência de Circuito Universal: O estudo não encontrou evidências de um único circuito universal dedicado ao tratamento de conflito de conhecimento entre todos os modelos ou assuntos. Em vez disso, circuitos distintos parecem codificar diferentes partes do conhecimento paramétrico, com a predição final sendo determinada por qual sinal de circuito é mais fortemente ativado pelo prompt de entrada.

Significância e Alegações

O artigo afirma fornecer o primeiro relato mecanístico da resolução de conflito de conhecimento intra-memória em LMs. Suas principais contribuições são:

1. Localização: Estabelecer que os conflitos internos não são distribuídos uniformemente, mas localizados nas camadas finais e em cabeças de atenção específicas.
2. Hierarquia de Intervenção: Demonstrar que intervenções granulares, ao nível de cabeça, são superiores às intervenções grosseiras ao nível de camada, particularmente ao visar cabeças especializadas.
3. Avanço Metodológico: Validar o Cross-Model Activation Patching (CMAP) como uma alternativa viável e, muitas vezes, necessária ao Activation Patching padrão para estudar conflitos de conhecimento do mundo real.
4. Gap Sintético-Real: Destacar um hiato substancial de desempenho entre configurações sintéticas e do mundo real, ressaltando que, embora datasets sintéticos sejam úteis para descoberta mecanística, a complexidade dos dados do mundo real (viés, ruído, distribuição de entidades) complica significativamente a resolução de conflitos.

Os autores concluem que os LMs não dependem de um único módulo de "resolução de conflito", mas sim de uma competição entre circuitos distintos que codificam diferentes fatos. Isso sugere que o direcionamento do comportamento do modelo requer a amplificação de sinais desejados ou a supressão de sinais concorrentes no nível de cabeça específico. O estudo reconhece limitações, incluindo a dependência de projeções Logit Lens (que são menos confiáveis em camadas iniciais) e o uso de conflitos sintéticos que podem não espelhar perfeitamente as propriedades estatísticas dos conflitos de pré-treinamento naturais.