Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict

Título: Task Matters: Requisitos de Conhecimento Moldam as Respostas de LLMs ao Conflito entre Contexto e Memória

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) operam com duas fontes principais de informação:

1. Memória Paramétrica: Conhecimento internalizado durante o treinamento (fatos aprendidos até a data de corte).
2. Informação Contextual: Dados fornecidos diretamente no prompt pelo usuário (frequentemente atualizados ou específicos da tarefa).

O conflito contexto-memória ocorre quando a informação fornecida no contexto contradiz o conhecimento paramétrico do modelo. A literatura anterior focou predominantemente em tarefas de Resposta a Perguntas em Contexto (Contextual QA), onde se assume que o modelo deve ignorar sua memória e confiar apenas no texto fornecido. No entanto, essa visão é limitada porque:

• Nem todas as tarefas exigem o mesmo tipo de uso de conhecimento (algumas exigem apenas extração, outras integração de conhecimento de fundo).
• Não está claro como os LLMs se comportam quando a tarefa exige priorizar a memória paramétrica em vez do contexto, ou quando exige a integração de ambos.
• As conclusões anteriores são fragmentadas: alguns estudos dizem que os modelos preferem sua memória, outros que seguem o contexto convincente.

O artigo argumenta que o impacto do conflito não é uniforme; ele é dependente da tarefa.

2. Metodologia

Os autores propõem um framework de diagnóstico agnóstico ao modelo para isolar o efeito do conflito de conhecimento das demandas da tarefa. O processo envolve quatro etapas principais (ilustradas na Figura 2 do artigo):

1. Coleta de Conhecimento Paramétrico:

   • O modelo é consultado para identificar suas crenças internas sobre fatos específicos (usando prompts de validação Yes/No e consistência em múltiplas variações para evitar "sycophancy" ou concordância excessiva).
   • Isso estabelece a "verdade" paramétrica do modelo (ex: "Grooves em Phobos são causados por ejeção de rochas").

2. Criação de Evidências de Conflito Controlado:

   • Com base no conhecimento do modelo, geram-se passagens de contexto que contradizem essa crença.
   • As contradições são categorizadas em três níveis de plausibilidade:
     • NC (No Contradiction): O contexto alinha-se com a memória do modelo.
     • HPC (High Plausibility Contradiction): O contexto contradiz o modelo, mas é plausível e coerente com o senso comum (ex: "Grooves causados pela gravidade de Marte").
     • LPC (Low Plausibility Contradiction): O contexto contradiz o modelo e é implausível/absurdo (ex: "Grooves formados em uma festa de dança alienígena").

3. Anotação de Tarefas (Task-Annotation):

   • Os mesmos dados de conflito são adaptados para cinco tipos de tarefas distintas, variando a exigência de conhecimento:
     • Knowledge Free (KF): Extração pura de texto (sem raciocínio ou conhecimento prévio).
     • Contextual Knowledge (CK): O modelo deve responder apenas com base no contexto fornecido.
     • Parametric Knowledge (PK): O modelo deve responder apenas com sua memória interna, ignorando o contexto (que atua como distração).
     • Parametric-Contextual Knowledge (PCK): O modelo deve integrar e reconciliar ambas as fontes.
     • Retrieval Augmented Generation (RAG): Simulação de cenário real onde o modelo recebe múltiplos documentos e deve decidir.

4. Validação:

   • Uso de LLMs e verificação humana para garantir a qualidade dos dados e a precisão das anotações de tarefa.

3. Contribuições Principais

• Framework Unificado: Uma metodologia que mantém o conhecimento subjacente constante enquanto varia sistematicamente a formulação da tarefa, permitindo isolar variáveis que antes estavam confusas.
• Descoberta da Dependência da Tarefa: Evidência empírica de que o comportamento do modelo sob conflito não é uma propriedade fixa do modelo, mas sim uma função da tarefa.
• Análise de Estratégias de Mitigação: Investigação de como técnicas como "reiteração" (repetir o contexto) e "rationales" (explicações) afetam diferentemente tarefas baseadas em contexto vs. memória.
• Alerta sobre Avaliação Baseada em Modelos: Demonstração de que usar LLMs como juízes (evaluators) é problemático devido a vieses de memória paramétrica.

4. Resultados Chave

• Degradação de Desempenho Dependente da Tarefa:

  • Tarefas KF (Extração): O conflito tem impacto mínimo. Modelos conseguem copiar o texto mesmo que seja absurdo (LPC).
  • Tarefas CK (Contexto): O desempenho cai drasticamente quando o contexto contradiz a memória, mesmo com instruções explícitas para ignorar a memória. O modelo tende a alucinar ou usar seu conhecimento interno.
  • Tarefas PK (Memória): O desempenho cai quando o contexto é plausível (HPC). O modelo é "puxado" para o contexto, falhando em usar seu conhecimento interno correto. Curiosamente, contextos implausíveis (LPC) ajudam o modelo a ignorar a distração e usar a memória.
  • Conclusão: O mesmo contexto pode ser benéfico ou prejudicial dependendo se a tarefa exige priorizar o contexto ou a memória.

• Efeito de Plausibilidade:

  • Contradições de alta plausibilidade (HPC) são mais difíceis de ignorar do que as de baixa plausibilidade (LPC), independentemente da tarefa.
  • Em tarefas que exigem memória (PK), contextos plausíveis causam mais erros do que contextos absurdos.

• Rationales vs. Reiteração:

  • Adicionar rationales (explicações lógicas) aumenta a confiança no contexto, ajudando em tarefas CK, mas prejudica tarefas PK (distraindo o modelo de sua memória).
  • Reiteração (repetir o texto) é uma estratégia mais robusta: melhora a aderência ao contexto em tarefas CK sem causar tanta degradação em tarefas PK quanto as rationales.

• Viés na Avaliação Automática (LLM-as-a-Judge):

  • Quando um LLM atua como juiz para avaliar respostas, ele tende a rejeitar respostas que são corretas no contexto mas falsas em sua memória paramétrica.
  • Exemplo: Se o contexto diz "Use óleo de motor para dor de dente" (falso no mundo real, mas verdadeiro no contexto do teste) e o modelo julga isso como "incorreto" baseando-se em seu conhecimento médico interno, a avaliação falha.
  • Isso compromete a confiabilidade de benchmarks que usam LLMs como avaliadores, especialmente em cenários de conflito de conhecimento.

5. Significado e Implicações

O trabalho desafia a visão simplista de que "conflito de conhecimento é sempre ruim" ou que "modelos sempre preferem sua memória".

• Para o Desenvolvimento de Modelos: Não existe uma solução única (como forçar a atenção apenas no contexto) que funcione para todos os cenários. É necessário desenvolver mecanismos conscientes da tarefa (task-aware) que balanceiem dinamicamente contexto e memória durante a inferência.
• Para Avaliação: A comunidade deve ter cautela ao usar LLMs como juízes em tarefas onde o conhecimento factual pode conflitar com o contexto fornecido. A avaliação deve considerar o tipo de tarefa para evitar viés sistemático.
• Para Aplicações Reais: Em cenários como RAG (Geração Aumentada por Recuperação), a estratégia de lidar com conflitos deve ser adaptada: se o objetivo é síntese de novas informações, o contexto deve prevalecer; se é verificação de fatos, a memória pode ser mais crítica.

Em resumo, o artigo estabelece que o contexto e a memória não competem de forma binária; a natureza da tarefa determina qual fonte de conhecimento o modelo deve priorizar e como o conflito afeta seu desempenho.