Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation

Resumo Técnico: Alucinações Fáticas Induzidas por Novos Conhecimentos em LLMs

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) adquirem conhecimento factual durante o pré-treinamento, mas frequentemente precisam ser ajustados (fine-tuning) para incorporar novos fatos durante a fase de Ajuste Fino Supervisionado (SFT). O problema central investigado neste trabalho é que a introdução de novos conhecimentos durante o SFT pode induzir alucinações factuais.

Ao contrário do que se poderia esperar, essas alucinações não se limitam apenas aos novos dados aprendidos; elas degradam o desempenho do modelo em informações que ele já conhecia anteriormente (conhecimentos pré-existentes). A literatura anterior identificou esse fenômeno, mas faltava uma compreensão detalhada sobre:

• Como essas alucinações se manifestam em diferentes tipos de conhecimento e tarefas.
• Os mecanismos subjacentes (por que isso acontece?).
• Como a alucinação se propaga entre tarefas diferentes.

2. Metodologia

Para investigar o problema de forma controlada, os autores desenvolveram uma abordagem sistemática:

• Dataset Sintético Controlado (Biography-Reasoning):

  • Criaram um dataset com entidades biográficas (pessoas) e quatro atributos (ano de nascimento, ano de falecimento, graduação e universidade).
  • Definiram quatro tipos de conhecimento (os atributos) e 12 tarefas de raciocínio (QA, Raciocínio Único, Raciocínio Comparativo e Raciocínio Novel).
  • Controle Experimental: O dataset permite separar rigorosamente o que é "Conhecimento Conhecido" (visto durante o pré-treinamento simulado) e "Conhecimento Desconhecido" (novo). Isso permite testar cenários onde apenas uma fração ou todo um tipo de conhecimento é novo.

• Configuração Experimental:

  • Utilizaram modelos base (principalmente Qwen2.5-1.5B, com validação em Llama3.2-1B, Qwen3-8B e Qwen2.5-32B).
  • Realizaram SFT com diferentes proporções de dados novos vs. conhecidos.
  • Avaliaram o desempenho em tarefas de QA (Question Answering) e Raciocínio, tanto em dados do mesmo domínio (in-domain) quanto em dados fora de distribuição (OOD), como o dataset ENTITYQUESTIONS do Wikidata.

• Análise de Interpretabilidade:

  • Analisaram os padrões de atenção (attention weights) do modelo, especificamente o foco em entidades-chave (nomes das pessoas) durante a geração da resposta.
  • Investigaram a correlação entre a atenção nas entidades e a severidade das alucinações.

3. Contribuições Principais

1. Análise Granular de Alucinações:

   • Demonstraram que o aprendizado de novos conhecimentos não apenas afeta a tarefa específica, mas causa degradação em tarefas de conhecimento prévio e em tarefas OOD.
   • Descoberta Crítica: A severidade da alucinação é impulsionada pela familiaridade do tipo de conhecimento, e não apenas pela proporção global de novos dados. Se um tipo de conhecimento (ex: "Ano de Nascimento") for 100% novo, mesmo que represente uma pequena fração dos dados totais, ele desencadeia alucinações severas. A presença de alguns exemplos conhecidos dentro desse tipo mitiga o problema.

2. Mecanismo de Atenção (Interpretabilidade):

   • Identificaram que aprender novos conhecimentos enfraquece a atenção do modelo às entidades-chave na pergunta (ex: o nome da pessoa).
   • Como a atenção é uma distribuição normalizada, a redução no foco nas entidades leva a uma sobre-dependência no contexto circundante, resultando em respostas fabricadas mas plausíveis.
   • O aprendizado de conhecimento conhecido, inversamente, reforça a atenção nas entidades.

3. Método de Mitigação (KnownPatch):

   • Propuseram uma técnica simples chamada KnownPatch: injetar uma pequena quantidade de dados de conhecimento conhecido (apenas 5% a 20%) nas etapas finais do treinamento.
   • Isso restaura os padrões de atenção centrados nas entidades e mitiga significativamente as alucinações, sem a necessidade de filtrar todo o conjunto de dados de treinamento.

4. Propagação de Alucinações via Similaridade Léxica:

   • Descobriram que as alucinações se propagam entre tarefas principalmente através da similaridade léxica (sobreposição de tokens no contexto), e não da similaridade semântica.
   • Tarefas com contextos lexicalmente semelhantes aos dados de treinamento desconhecido sofrem mais com a propagação de alucinações.

4. Resultados Chave

• Degradação de Desempenho: O treinamento com conhecimento desconhecido causou quedas drásticas na precisão (mais de 50% em alguns casos) em testes de QA do mesmo tipo e degradação significativa em testes OOD (Wikidata).
• Efeito "RemoveKnown" vs. "KeepKnown": Quando um tipo de conhecimento era totalmente desconhecido (sem exemplos conhecidos restantes), o modelo falhava drasticamente. A presença de poucos exemplos conhecidos dentro do mesmo tipo preservou o desempenho.
• Validação da Atenção: A análise mostrou uma correlação direta: quanto maior a proporção de dados desconhecidos, menor a atenção nas entidades e maior a taxa de alucinação.
• Eficácia do KnownPatch: A injeção tardia de dados conhecidos restaurou a atenção nas entidades e recuperou o desempenho do modelo, aproximando-o do limite superior (modelo treinado apenas com dados conhecidos), mesmo em dados OOD.
• Generalização: Os resultados foram consistentes em diferentes escalas de modelos (de 1.5B a 32B) e arquiteturas.

5. Significado e Impacto

Este trabalho oferece uma compreensão fundamental sobre a fragilidade dos LLMs ao aprender novos fatos. As implicações são profundas para o desenvolvimento de sistemas de IA:

• Segurança e Confiabilidade: Alerta que atualizar modelos com novos dados sem cuidado pode corromper o conhecimento existente, um risco crítico para aplicações factuais.
• Estratégia de Treinamento: Sugere que a estratégia de "apenas dados novos" é perigosa. A manutenção de uma pequena fração de dados conhecidos (especialmente no final do treinamento) é essencial para estabilizar o modelo.
• Diagnóstico de Falhas: A análise de atenção oferece uma ferramenta de diagnóstico para detectar quando um modelo está começando a alucinar antes mesmo da geração da resposta.
• Futuro da Pesquisa: Destaca que a similaridade léxica é um vetor de contaminação de alucinações, sugerindo que a curadoria de dados deve considerar a sobreposição de tokens entre conjuntos de treinamento e teste para evitar vazamento de alucinações.

Em resumo, o paper demonstra que o mecanismo de atenção é o elo perdido entre o aprendizado de novos fatos e a perda de precisão factual, e propõe uma solução prática e eficiente para mitigar esse efeito colateral indesejado.