Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN

Título: Conflictos Temporales en LLMs: Reproducibilidad e Insights de Unificar DYNAMICQA y MULAN

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) almacenan conocimiento factual en sus parámetros, pero a menudo sufren de conflictos de conocimiento temporal. Esto ocurre cuando la información en los datos de entrenamiento se vuelve obsoleta o evoluciona, llevando al modelo a retener hechos contradictorios.

Existe una falta de consenso en la literatura científica sobre cómo los LLMs manejan estos conflictos cuando se les proporciona contexto externo (como en la Generación Aumentada por Recuperación - RAG):

• DYNAMICQA concluye que los hechos temporales son más resistentes al cambio que los estáticos cuando se presenta contexto externo.
• MULAN concluye lo contrario: que los hechos temporales son más fáciles de actualizar que los estáticos.

Esta discrepancia sugiere que las conclusiones podrían depender de factores metodológicos (diseño del dataset, métricas de evaluación) en lugar de una propiedad intrínseca de los modelos.

2. Metodología

Los autores realizaron un estudio de reproducibilidad sistemático que involucró tres fases principales:

• Reproducción Original: Replicaron los experimentos de ambos estudios (DYNAMICQA y MULAN) utilizando sus datasets y modelos originales (principalmente LLMs de 7B parámetros: Llama-2, Mistral, Qwen2, Falcon) para verificar la validez de los resultados iniciales.
• Cruce de Metodologías (Unificación):
  • Aplicaron la métrica de DYNAMICQA (Coherent Persuasion Score y precisión en QA) al dataset de MULAN. Para esto, generaron contextos naturales realistas usando un LLM (Llama-3.3-70B) para reemplazar las declaraciones programáticas simples de MULAN.
  • Aplicaron la métrica de MULAN (Update Success Rate y completado de hechos) al dataset de DYNAMICQA, convirtiendo las preguntas de QA al formato de completado de oraciones.
  • Estandarizaron los formatos de los datasets para permitir una comparación directa.
• Análisis de Escala de Modelo: Extendieron los experimentos más allá de los 7B parámetros originales, evaluando la familia Gemma 3 en tamaños de 1B, 4B y 12B para observar cómo el tamaño del modelo influye en la retención y actualización de hechos.

Métricas Clave:

• Coherent Persuasion Score (CP): Mide el desplazamiento semántico en la distribución de salida del modelo al recibir contexto.
• Update Success Rate: Proporción de casos donde el contexto externo cambia exitosamente la respuesta memorizada.
• Semantic Entropy: Mide la incertidumbre de salida.
• Precisión y Confianza: Evaluación de F1 y probabilidad del primer token.

3. Contribuciones Clave

1. Reproducción y Corrección: Reprodujeron ambos estudios, identificando y corrigiendo un error en el código de evaluación de DYNAMICQA (donde se comparaba incorrectamente la salida sin contexto con la respuesta sustituta en lugar de la respuesta original).
2. Análisis de Dependencia del Dataset: Demostraron que las conclusiones opuestas surgen principalmente de diferencias en el diseño del dataset (fuentes de datos, definición de "temporalidad") y las métricas de evaluación, no necesariamente de la arquitectura del modelo.
3. Estudio de Escala: Introdujeron una evaluación sistemática sobre cómo el tamaño del modelo (de 1B a 12B) afecta la capacidad de actualización, revelando patrones no monótonos.
4. Generación de Contexto Sintético: Utilizaron un LLM grande para generar contextos naturales de alta calidad para reemplazar las declaraciones sintéticas de MULAN, permitiendo una evaluación más realista bajo la métrica de DYNAMICQA.

4. Resultados Principales

• Reproducibilidad: Bajo condiciones originales, ambos estudios fueron reproducidos con éxito, confirmando sus hallazgos iniciales (DYNAMICQA: hechos temporales difíciles de actualizar; MULAN: hechos temporales fáciles de actualizar).
• Dependencia del Dataset y Métrica:
  • Cuando se aplicó la metodología de MULAN al dataset de DYNAMICQA, los resultados fueron mixtos y no replicaron consistentemente la conclusión original de DYNAMICQA de que los hechos temporales son más difíciles de actualizar.
  • Cuando se aplicó la metodología de DYNAMICQA al dataset de MULAN, los hallazgos de MULAN (que los hechos temporales son más fáciles de actualizar) se generalizaron bien.
  • Causa de la divergencia: Se identificó que la definición de "temporalidad" en DYNAMICQA (basada en conteos de ediciones de Wikipedia) es ruidosa y a menudo clasifica hechos estáticos como temporales. Además, el uso de plantillas únicas en DYNAMICQA frente a múltiples plantillas en MULAN afecta el rendimiento.
• Efecto del Tamaño del Modelo:
  • Los modelos Gemma de diferentes tamaños mostraron comportamientos no monótonos.
  • En MULAN, la tendencia de que los hechos temporales sean más fáciles de actualizar no se generalizó a todos los tamaños. El modelo de 4B mostró que los hechos temporales eran más fáciles de actualizar, pero los modelos de 1B y 12B mostraron lo contrario (más difíciles de actualizar que los estáticos).
  • Esto indica que las conclusiones sobre la "actualizabilidad" son sensibles al tamaño del modelo.

5. Significado e Implicaciones

El estudio concluye que no existe una respuesta universal sobre si los LLMs pueden actualizar fácilmente hechos temporales mediante contexto externo. Las conclusiones son altamente contingentes a:

1. Diseño del Dataset: Cómo se definen y seleccionan los hechos (fuentes de datos, criterios de temporalidad).
2. Métricas de Evaluación: Si se mide el desplazamiento de distribución (CP) o el éxito binario de actualización.
3. Tamaño del Modelo: El comportamiento cambia significativamente entre modelos pequeños, medianos y grandes.

Impacto: Este trabajo advierte contra la generalización de resultados de benchmarks específicos. Sugiere que la comunidad debe adoptar evaluaciones más robustas que consideren múltiples tamaños de modelos y diseños de datasets variados antes de afirmar que los LLMs son inherentemente resistentes o receptivos a la actualización de conocimiento temporal. La pregunta sobre si el contexto externo resuelve eficazmente los conflictos de conocimiento temporal sigue siendo abierta.