Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

Esta palestra no ECIR 2025 explora a interação entre o conhecimento paramétrico e contextual em Modelos de Linguagem, apresentando pesquisas sobre avaliação de conhecimento, testes diagnósticos para conflitos e características do uso bem-sucedido de contexto.

O essencial

Imagine que os Grandes Modelos de Linguagem (como o ChatGPT) são como cozinheiros extremamente talentosos, mas com uma memória peculiar.

Este artigo é um resumo de uma palestra dada pela pesquisadora Isabelle Augenstein, que investiga exatamente como esses "cozinheiros" funcionam quando precisam decidir o que colocar no prato: o que eles já sabem de cor (memória interna) ou o que alguém acabou de entregar na mesa (informação nova do contexto).

Aqui está a explicação do artigo, traduzida para uma linguagem simples e cheia de analogias:

1. O Cozinheiro e a Receita de Memória (Conhecimento Paramétrico)

Quando um modelo de IA é treinado, ele "engole" milhões de livros e artigos. Tudo o que ele aprende fica gravado nos seus "pesos" (os neurônios digitais). Isso é o conhecimento paramétrico.

• A Analogia: É como se o cozinheiro tivesse lido todas as receitas do mundo e as tivesse memorizado. Ele sabe que "o pão leva farinha" sem precisar olhar nada.
• O Problema: Se o mundo muda (ex: descobrimos que o pão deve levar um ingrediente novo), o cozinheiro não sabe disso, a menos que seja re-treinado (o que é caro e demorado). Além disso, às vezes ele "alucina" e inventa receitas que nunca existiram.

2. O Pedido de Ajuda Externa (Conhecimento Contextual e RAG)

Para corrigir isso, usamos uma técnica chamada RAG (Geração Aumentada por Recuperação). É como se, antes de cozinhar, alguém entregasse ao cozinheiro um bilhete com a receita atualizada.

• O Cenário Ideal: O cozinheiro lê o bilhete, esquece o que estava na memória antiga e segue a nova receita.
• O Cenário Real (O Conflito): Muitas vezes, o cozinheiro é teimoso. Se o bilhete diz "o pão leva sal" e a memória dele diz "o pão não leva sal", ele pode ignorar o bilhete e continuar usando a receita antiga. Ou pior, ele pode ficar confuso e misturar as duas coisas de um jeito estranho.

3. O Que a Pesquisa Descobriu? (As Descobertas Chave)

A pesquisadora e sua equipe fizeram vários testes para entender essa teimosia do cozinheiro:

A. Quem está no comando? (Memória vs. Contexto)

Eles criaram testes para ver se o modelo está realmente usando a informação nova ou apenas repetindo o que aprendeu antes.

• A Descoberta Surpreendente: O modelo é mais fácil de convencer com fatos antigos e estáticos do que com fatos que mudam com o tempo.
  • Exemplo: Se você disser "A capital do Japão é Estocolmo" (uma mentira clara e estática), o modelo pode aceitar o erro facilmente. Mas se você der informações sobre algo que muda todo dia (como o clima ou notícias de ontem), o modelo tende a ignorar o contexto e confiar na sua memória antiga. É como se ele fosse mais teimoso com o que é "dinâmico".

B. O Cozinheiro não é um Detetive (Limitações de RAG)

Muitas pessoas acham que, se você der um monte de documentos ao modelo, ele vai ler tudo e escolher o melhor.

• A Realidade: O modelo prefere documentos que são fáceis de ler e parecem com a pergunta. Se a resposta estiver escondida em um texto longo e complexo, ele pode ignorar.
• O Perigo dos Dados Sintéticos: Muitos testes anteriores usavam cenários falsos (fictícios) onde o conflito era óbvio. No mundo real, esses conflitos são mais sutis. Os testes falsos exageravam o problema, fazendo parecer que o modelo era pior do que realmente é, ou que ele ignorava contextos que, na verdade, ele conseguiria usar se o contexto fosse bem escrito.

C. Como consertar o teimoso?

Eles testaram várias formas de "forçar" o modelo a ler o bilhete (técnicas de manipulação de contexto).

• Resultado: Não existe uma "bala de prata". Às vezes, pedir educadamente funciona; outras vezes, mudar a estrutura do texto ajuda. Modelos maiores geralmente são melhores em ouvir o contexto, mas modelos menores podem ser treinados para serem excelentes em tarefas específicas se receberem o "bilhete" da maneira certa.

4. A Conclusão: Estamos Subindo uma Espiral

A palestra termina com uma citação da lendária pesquisadora Karen Spärck Jones. A ideia é que, na ciência, parece que estamos dando voltas em círculos (repetindo velhos problemas), mas na verdade estamos subindo uma espiral.

• O Significado: Estamos descobrindo os mesmos problemas de sempre (como modelos que não raciocinam bem e apenas recitam), mas agora temos ferramentas melhores e entendemos melhor por que isso acontece. Não é um círculo vicioso, é um progresso.

Resumo em uma frase:

Este artigo nos ensina que, para fazer os "super-robôs" de IA serem verdadeiramente úteis e precisos, precisamos entender que eles são teimosos: às vezes ignoram informações novas se entrarem em conflito com o que já sabem, e precisamos criar formas mais inteligentes de apresentar essas informações para que eles realmente as usem, em vez de apenas fingir que leram.

Resumo técnico

Resumo Técnico: A Interplay entre Conhecimento Paramétrico e Contextual em LLMs

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) adquirem conhecimento paramétrico (memória interna) durante o treinamento, codificado em seus pesos. No entanto, o uso desses modelos para tarefas intensivas em conhecimento enfrenta desafios críticos:

• Limitações Intrínsecas: Alucinações, conhecimento desatualizado, erros factuais e desempenho inferior em idiomas de baixos recursos e raciocínio complexo.
• Custo de Atualização: Corrigir ou atualizar o conhecimento paramétrico exige retreinamento custoso ou técnicas de edição de conhecimento que podem causar efeitos colaterais (ripple effects) ou superposição de conhecimento.
• Falha na Integração de Contexto: Embora técnicas como Geração Aumentada por Recuperação (RAG) tentem mitigar essas falhas fornecendo contexto externo, estudos indicam que os LLMs frequentemente ignoram o contexto fornecido se este entrar em conflito com sua memória pré-treinada.
• Conflitos de Conhecimento: Existem dois tipos principais de conflito não totalmente compreendidos:
  1. Conflito Intra-memória: Contradições dentro dos próprios dados de treinamento do modelo.
  2. Conflito Contexto-Memória: Quando o contexto recuperado contradiz o conhecimento paramétrico.

O objetivo central da palestra é investigar como os LLMs decidem usar o conhecimento paramétrico versus o contextual, quando o contexto deve sobrescrever a memória interna e quais características determinam o sucesso dessa integração.

2. Metodologia e Abordagens de Pesquisa

A palestra apresenta uma série de estudos empíricos desenvolvidos pelo grupo de pesquisa da autora, utilizando novas métricas, conjuntos de dados e frameworks de avaliação:

A. Avaliação de Conhecimento Paramétrico (Atribuição)

• Framework Unificado: Proposição de um framework para comparar métodos de atribuição de instâncias (quais dados de treinamento influenciaram a resposta) e atribuição de neurônios (quais neurônios foram ativados).
• Testes de Fidelidade: Uso de testes de suficiência (ativação de neurônios chave) e completude (supressão de neurônios chave) para validar a explicabilidade.
• Análise de MLP: Foco nas camadas de classificação MLP (Multi-Layer Perceptron) em vez de pesos completos para reduzir custos computacionais, testando a hipótese de que o conhecimento reside mais nas atenções do que nos neurônios MLP.

B. Detecção de Conflitos (DynamicQA)

• Dataset DynamicQA: Criação de um conjunto de dados com três tipos de fatos para estudar a dinâmica do conhecimento:
  • Fatos Estáticos: Uma única representação possível.
  • Fatos Temporais: Mudam ao longo do tempo.
  • Fatos Disputáveis: Dependem da perspectiva.
• Métricas de Conflito:
  • Entropia Semântica: Para medir a incerteza e variação na memória paramétrica (conflito intra-memória).
  • Pontuação de Persuasão Coerente (Coherent Persuasion Score): Para medir o deslocamento semântico na distribuição de saída do modelo quando confrontado com contexto conflitante (conflito contexto-memória).

C. Uso de Contexto no Mundo Real (DRUID e ACU)

• Dataset DRUID: Um novo conjunto de dados para verificação de alegações com contextos do mundo real (diferente de dados sintéticos), comparando fontes controladas, realistas e do mundo real.
• Métrica ACU (Actual Context Usage): Uma nova medida para quantificar o quanto o modelo realmente utiliza o contexto recuperado.
• Técnicas de Manipulação de Contexto (CMT): Estudo de diversas intervenções (desde prompting simples até intervenções mecânicas) para resolver conflitos entre contexto e memória.

3. Resultados Principais

Sobre Conhecimento Paramétrico e Atribuição

• Neurônios MLP: A maioria dos neurônios MLP pode ser removida sem alterar significativamente as previsões, contradizendo a suposição anterior de que o conhecimento reside majoritariamente nessas camadas. Os autores hipotetizam que os pesos de atenção são mais cruciais para a codificação do conhecimento.
• Atribuição de Instâncias: O fine-tuning com instâncias de treinamento "influenciais" (identificadas por métodos de atribuição) não superou o fine-tuning com instâncias aleatórias. Isso ocorre porque as instâncias influentes tendem a ter menor diversidade.
• Descoberta de Artefatos: A combinação de métodos de atribuição de instâncias e neurônios é mais eficaz na descoberta de artefatos de conjuntos de dados (sobreajuste a padrões lexicais específicos) do que qualquer método isolado.

Sobre Conflitos de Conhecimento e Persuasão

• Paradoxo da Dinâmica: Contrariando a intuição, modelos são mais facilmente persuadidos por contextos que contradizem fatos estáticos ou de baixa dinâmica do que por fatos dinâmicos (que mudam frequentemente).
• Indicador de Falha: A "dinamicidade do fato" é o indicador negativo mais forte e consistente para a persuasão do modelo, superando a popularidade do fato (que era usada anteriormente para guiar modelos RAG).
• Incerteza: Fatos que mudam regularmente são menos propensos a serem atualizados via recuperação de contexto, enquanto fatos estáticos são facilmente "enganados" por contexto conflitante.

Sobre o Uso de Contexto (RAG)

• Fontes Assertivas: Contextos provenientes de fontes de verificação de fatos (fact-checking) levam a um maior uso de contexto, provavelmente devido à linguagem assertiva e direta.
• Similaridade vs. Realidade: Os LLMs priorizam contextos com alta similaridade à consulta, o que é difícil de alcançar em cenários RAG do mundo real.
• Falha em Contextos Longos: Modelos mostram menor fidelidade em contextos longos.
• Dados Sintéticos vs. Realidade: Conjuntos de dados sintéticos superestimam o impacto de certos conflitos de conhecimento e exageram a "repulsão ao contexto" (quando o modelo ignora o contexto), fenômenos que são mais raros em dados reais.
• Resolução de Conflitos: Não há uma única técnica de manipulação de contexto (CMT) que seja a "vencedora" universal. Modelos maiores tendem a usar o contexto melhor em média, mas modelos menores podem superar modelos grandes se a técnica de manipulação for otimizada especificamente para eles.

4. Contribuições Chave

1. Framework Unificado de Avaliação: Uma estrutura comparativa para métodos de atribuição de conhecimento em LLMs.
2. Novos Conjuntos de Dados:
   • DynamicQA: Para estudar conflitos internos e externos de conhecimento baseados na dinâmica temporal.
   • DRUID: Para avaliar o uso de contexto em cenários de verificação de fatos do mundo real, superando as limitações de dados sintéticos.
3. Novas Métricas: Introdução da Coherent Persuasion Score e da métrica ACU para quantificar a persuasão e o uso real de contexto.
4. Insights sobre RAG: Evidência de que a dinamicidade do fato é um preditor crítico para a falha do RAG e que dados sintéticos não refletem fielmente a complexidade do uso de contexto no mundo real.

5. Significado e Conclusão

A palestra destaca que, apesar dos avanços, o funcionamento interno de modelos baseados em RAG e a forma como eles alternam entre memória interna e contexto externo permanecem mal compreendidos.

• Desafio Interdisciplinar: A complexidade do problema exige colaboração entre pesquisadores de Recuperação de Informação (IR) e Processamento de Linguagem Natural (NLP).
• Revisão de Paradigmas: Os resultados sugerem que os LLMs são excelentes em "recitação" (memorização) mas falham em raciocínio, e que a confiança excessiva em fontes fáceis de entender (como em modelos anteriores) persiste.
• Futuro: A pesquisa aponta para a necessidade de novas medidas de conflito intra-memória e indicadores mais robustos para o uso bem-sucedido de contexto, especialmente em domínios de baixa certeza.

A palestra encerra com uma citação de Karen Spärck Jones, sugerindo que a pesquisa em IA não é um círculo vicioso, mas uma "ascensão em espiral", onde ideias antigas reaparecem em novas roupagens, mas com materiais e costumes melhores, permitindo avanços contínuos na compreensão dos modelos.