Evaluating Temporal Consistency in Multi-Turn Language Models

1. El Problema: Inestabilidad del Alcance Temporal (Temporal Scope Instability)

En las interacciones humanas, una vez que se establece un contexto temporal (por ejemplo, hablar de un evento en 2010), se asume que ese marco temporal persiste en las preguntas subsiguientes a menos que se indique lo contrario. Este principio de "persistencia contextual" permite la comunicación eficiente.

Sin embargo, los modelos de lenguaje (LLMs) actuales presentan una falla crítica: la inestabilidad del alcance temporal. Aunque los modelos pueden responder preguntas históricas correctamente de forma aislada (un solo turno), fallan al mantener ese marco temporal en una conversación de varios turnos. El problema principal es el "desplazamiento hacia el presente" (present-day drift): el modelo, al perder el hilo del tiempo, abandona el contexto histórico establecido y responde basándose en el conocimiento actual (presente), lo que resulta en respuestas que son fácticamente correctas para el año actual, pero erróneas para el contexto de la conversación.

2. Metodología: El Benchmark ChronoScope

Para diagnosticar este problema, los autores introdujeron ChronoScope, un benchmark de gran escala diseñado para aislar el comportamiento del alcance temporal en interacciones controladas.

• Construcción de Datos: A diferencia de otros datasets basados en texto, ChronoScope se genera de forma determinista utilizando el grafo de conocimiento de Wikidata. Esto garantiza que las respuestas sean exactas y reproducibles.
• Escala: Contiene más de 1.4 millones de cadenas de preguntas generadas automáticamente.
• Estructura de las Cadenas: Las interacciones se dividen en "familias de cadenas" que prueban diferentes capacidades:
  • Carryover: Mantener el tiempo de forma implícita.
  • Scope Switch: Cambiar explícitamente el año en un turno intermedio.
  • Cross-entity Transfer: Transferir el contexto temporal de una entidad a otra relacionada.
  • Temporal Narratives: Seguir una trayectoria cronológica a través de múltiples turnos.
• Configuraciones de Evaluación:
  1. Gold Context (Contexto de Oro): Se le da al modelo el historial perfecto (respuestas correctas de turnos previos) para ver si el error es de razonamiento temporal o de conocimiento.
  2. Self-Conditioned (Autocondicionado): El modelo interactúa con sus propias respuestas previas (refleja el uso real y permite ver la propagación de errores).
  3. Questions Only (Solo Preguntas): Se eliminan los turnos previos para establecer un límite inferior de rendimiento.

3. Contribuciones Clave

1. Formalización: Definen la "estabilidad del alcance temporal" como una propiedad medible del comportamiento de los LLMs.
2. Dataset Masivo: La creación de ChronoScope, un benchmark de 1.4M de ejemplos con anotaciones precisas de "desplazamiento temporal" (temporal drift).
3. Identificación de un nuevo modo de fallo: Demuestran que el error no es una "alucinación" (inventar datos), sino una desalineación temporal (recuperar datos correctos pero del tiempo equivocado).

4. Resultados Principales

Los experimentos con modelos de vanguardia (como GPT-4, Gemini, LLaMA y Qwen) revelaron hallazgos alarmantes:

• Colapso por Autocondicionamiento: En la configuración Self-Conditioned, la precisión de la cadena completa (Strict-Chain Acc@1) cae casi a cero. Esto significa que un solo error temporal en un turno temprano "envenena" toda la conversación, impidiendo que el modelo se recupere.
• La Paradoja de la Escala: Los modelos más grandes y potentes no resuelven el problema; de hecho, muestran tasas de desplazamiento hacia el presente más altas. Esto sugiere que un conocimiento más fuerte del "presente" (debido al pre-entrenamiento) hace que sea más difícil para el modelo ignorar el presente en favor de un contexto histórico implícito.
• Efecto de la Longitud: A medida que la conversación se alarga, la estabilidad disminuye drásticamente. El error es acumulativo.
• Sesgo de Presente: El error dominante es la sustitución de hechos históricos por hechos actuales. El modelo "sabe" la respuesta correcta para el año solicitado, pero su sesgo hacia la información más reciente en sus pesos de entrenamiento domina la respuesta.

5. Significancia e Implicaciones

Este trabajo es fundamental para el desarrollo de sistemas de IA confiables en áreas sensibles al tiempo, como la investigación histórica, el análisis legal, la educación y la política.

Los autores concluyen que la precisión factual en un solo turno es una métrica insuficiente para evaluar la inteligencia de un modelo en entornos interactivos. Para lograr una verdadera coherencia, los futuros modelos necesitarán mecanismos de seguimiento de estado temporal explícito o estrategias de decodificación que penalicen la inconsistencia cronológica, en lugar de confiar únicamente en la probabilidad estadística de las palabras.