Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) frequentemente enfrentam conflitos de conhecimento temporal, onde informações em seus parâmetros (memória paramétrica) entram em contradição com fatos atualizados ou em evolução. Existe uma falta de consenso na literatura sobre a capacidade dos LLMs de atualizar esses fatos quando expostos a contexto externo (como em sistemas de Geração Aumentada por Recuperação - RAG).

Dois estudos recentes chegaram a conclusões opostas:

• DYNAMICQA: Concluiu que fatos dinâmicos (temporais e contestados) são mais resistentes a mudanças via contexto externo em comparação a fatos estáticos.
• MULAN: Concluiu que fatos temporais são mais fáceis de atualizar do que fatos estáticos quando o contexto é fornecido.

O objetivo deste trabalho de reprodutibilidade é investigar a fonte dessa divergência, determinando se as conclusões contraditórias derivam de diferenças nas metodologias de avaliação, no design dos conjuntos de dados ou nas características dos modelos.

2. Metodologia

Os autores realizaram um estudo de reprodutibilidade sistemático em três fases principais:

1. Reprodutibilidade Original: Reprodutaram os experimentos originais de DYNAMICQA e MULAN usando os mesmos modelos (7B) e conjuntos de dados, corrigindo erros de implementação encontrados no código original do DYNAMICQA (especificamente na métrica de precisão "sem contexto").
2. Cruzamento de Metodologias e Dados: Para isolar as variáveis, aplicaram a metodologia de avaliação de um estudo ao conjunto de dados do outro:
   • Aplicaram a métrica de Coherent Persuasion (DYNAMICQA) e a precisão de QA ao conjunto de dados MULAN.
   • Para isso, substituíram as afirmações programáticas do MULAN por contextos naturais gerados sinteticamente por um LLM (inspirado no CONFLICTBANK).
   • Aplicaram a métrica de Update Success (MULAN) ao conjunto de dados DYNAMICQA, convertendo o formato de perguntas e respostas para o estilo de completamento de frases.
3. Análise de Escala de Modelo: Expandiram os experimentos para além dos modelos de 7B utilizados nos estudos originais, avaliando a família Gemma 3 (1B, 4B e 12B) para verificar se os resultados são consistentes entre diferentes tamanhos de modelos.

Métricas Utilizadas:

• DYNAMICQA: Precisão, Coherent Persuasion Score (mede a mudança na distribuição de saída), Entropia Semântica e porcentagem de instâncias "teimosas" (stubborn) vs. "persuadidas".
• MULAN: F1-score, Confiança (probabilidade do primeiro token) e Update Success Rate (taxa de sucesso na atualização).

3. Principais Contribuições

• Reprodutibilidade e Correção: Confirmaram as descobertas originais de ambos os estudos sob suas condições experimentais originais, mas corrigiram um viés na avaliação de precisão do DYNAMICQA que comparava incorretamente respostas sem contexto com respostas substitutas.
• Dependência de Conjunto de Dados: Demonstraram que as conclusões são altamente dependentes do design do conjunto de dados. As descobertas do MULAN generalizaram-se para a metodologia do DYNAMICQA, mas as descobertas do DYNAMICQA não se generalizaram consistentemente para a metodologia do MULAN.
• Análise de Tamanho do Modelo: Revelaram que o tamanho do modelo influencia significativamente a atualização de fatos temporais, observando padrões não monotônicos (ex: o modelo de 4B mostrou um comportamento diferente dos modelos de 1B e 12B).
• Unificação de Frameworks: Criaram um framework unificado para comparar diretamente como a definição de "temporalidade" e a construção de contexto afetam a avaliação de conflitos de conhecimento.

4. Resultados Chave

• Validação das Conclusões Originais: Sob condições originais, o DYNAMICQA confirmou que fatos temporais são mais difíceis de atualizar (maior resistência), enquanto o MULAN confirmou que são mais fáceis (maior taxa de sucesso de atualização).
• Generalização das Descobertas:
  • Ao aplicar a metodologia do DYNAMICQA aos dados do MULAN, os resultados do MULAN se mantiveram: fatos mutáveis (temporais) mostraram maior persuasão e menor resistência.
  • Ao aplicar a metodologia do MULAN aos dados do DYNAMICQA, os resultados foram mistos. Alguns modelos tiveram taxas de atualização mais baixas para fatos temporais, mas outros não mostraram a diferença esperada em relação aos fatos estáticos.
• Impacto do Tamanho do Modelo (Gemma 3):
  • A tendência de que fatos temporais são "mais fáceis" de atualizar (conclusão do MULAN) não se generalizou consistentemente para todos os tamanhos.
  • O modelo de 4B seguiu a tendência do MULAN, mas os modelos de 1B e 12B mostraram que fatos temporais eram mais difíceis de atualizar do que fatos imutáveis, invertendo a conclusão do MULAN para esses tamanhos.
• Causas da Divergência:
  • Definição de Temporalidade: O DYNAMICQA usa contagens de edições no Wikipedia (o que pode classificar erroneamente fatos estáticos como temporais devido a correções menores), enquanto o MULAN usa triplas estruturadas do Wikidata com relações explicitamente temporais.
  • Formato de Contexto: O DYNAMICQA usa passagens naturais da Wikipedia, enquanto o MULAN usa afirmações programáticas simples. A substituição por contextos naturais no MULAN alterou a dinâmica de persuasão.
  • Métricas: A métrica de "sucesso de atualização" (binária) do MULAN é diferente da métrica de "deslocamento de distribuição" (Coherent Persuasion) do DYNAMICQA.

5. Significância e Conclusão

O estudo conclui que não há uma resposta universal sobre se fatos temporais são mais fáceis ou mais difíceis de atualizar em LLMs. A resposta depende criticamente de:

1. Design do Conjunto de Dados: Como a temporalidade é definida e filtrada.
2. Metodologia de Avaliação: Se mede mudança de distribuição ou sucesso binário de atualização.
3. Tamanho do Modelo: O comportamento de atualização não é monotônico em relação ao tamanho do modelo.

Portanto, a questão de se o contexto externo resolve confiavelmente conflitos de conhecimento temporal permanece aberta. Os autores alertam que benchmarks individuais podem não fornecer uma visão completa, e futuras pesquisas devem considerar a interação entre design de dados, métricas e arquitetura do modelo para evitar conclusões enganosas sobre a "atualizabilidade" de LLMs. O código e os dados estão disponíveis publicamente para facilitar futuras investigações.