Resumen Técnico: Comprensión Temporal Estructurada pero Acotada en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) demuestran un sólido desempeño en tareas temporalmente ancladas (p. ej., construcción de líneas de tiempo, QA temporal), sigue sin estar claro cómo su razonamiento temporal depende del encuadre lingüístico y cognitivo del tiempo. Los enfoques existentes suelen tratar el tiempo como marcas de tiempo absolutas o relaciones discretas, sin tener en cuenta cómo los LLMs, entrenados en lenguaje natural, heredan abstracciones temporales codificadas lingüísticamente. Específicamente, el campo carece de una comprensión sistemática de cómo los LLMs se adaptan a diferentes Marcos de Referencia Temporales (t-FoRs)—distinguiendo entre el encuadre deíctico (anclado al "ahora" de un experimentador, que genera pasado/presente/futuro) y el encuadre secuencial (anclado a un evento específico, que genera antes/después). Además, no se ha caracterizado bien la influencia de factores estructurales como la distancia temporal, la topología de intervalos (Álgebra de Intervalos de Allen) y la duración de los eventos sobre las representaciones temporales de los LLMs.

Metodología

Los autores proponen un marco de evaluación sensible al encuadre que utiliza una tarea de juicio de similitud para sondear la cognición temporal de los LLMs.

1. Construcción del Conjunto de Datos

• Fuente: Eventos del mundo real extraídos de Wikidata, lo que resulta en un conjunto de datos de 49,956 eventos que abarcan desde el año 0001 hasta el 2100.
• Anonimización: Para evitar la dependencia de conocimientos históricos memorizados, los nombres de los eventos fueron reemplazados por nombres de animales poco comunes, preservando los sellos de tiempo de inicio y fin.
• Muestreo: Se seleccionó un subconjunto equilibrado de 321 eventos para asegurar la cobertura de todas las 13 relaciones del Álgebra de Intervalos de Allen.
• Escala: El conjunto de datos final contiene aproximadamente 2.9 millones de entradas para el t-FoR deíctico y aproximadamente 51,000 entradas para el t-FoR secuencial.

2. Diseño Experimental

El estudio evalúa dos LLMs de código abierto: Qwen3-4B y Qwen3-30B.

• t-FoR Deíctico: Los puntos de referencia se generan como una secuencia de marcas de tiempo de "ahora" ($\tau$) relativas al experimentador. Los pares de datos son $(\tau, e_i)$, donde $e_i$ es un evento objetivo.
• t-FoR Secuencial: Los puntos de referencia son eventos específicos ($e_j$). Los pares de datos son $(e_i, e_j)$, estableciendo un orden relativo.
• Tarea: Se solicita a los modelos que produzcan una puntuación de similitud $s \in [-1.00, 1.00]$ que indique qué tan similar es el tiempo/evento de referencia al evento objetivo.
• Métricas:
  • Similitud Media vs. Distancia Temporal: Analizada como una función de la distancia con signo (días).
  • Varianza Específica del Intervalo: Agrupada por relaciones de Allen para medir la estabilidad.
  • Interacción de Duración: Analizada mediante mapas de calor de celdas de (distancia, duración).

Resultados Clave

1. Adaptación a los Marcos de Referencia Temporales

Los LLMs se adaptan sistemáticamente su comportamiento al t-FoR elegido, pero los patrones resultantes difieren significamente:

• t-FoR Deíctico: Las puntuaciones de similitud forman una estructura graduada y asimétrica centrada en el presente.
  • Futuro: Las puntuaciones caen abruptamente y convergen a -1.00 con baja varianza, indicando una representación comprimida y uniforme.
  • Pasado: Las puntuaciones declinan más gradualmente con una varianza sustancialmente mayor, lo que sugiere una representación más rica pero menos estable de los eventos pasados.
• t-FoR Secuencial: Las puntuaciones de similitud exhiben una fuerte polarización. Una vez que los eventos están temporalmente separados (distancia distinta de cero), las puntuaciones colapsan rápidamente hacia valores fuertemente negativos. La varianza se concentra solo cerca de la distancia cero (donde coexisten múltiples relaciones de intervalo como solapamiento o encuentro).

2. Influencia de la Estructura del Intervalo (Álgebra de Allen)

• Relaciones Estables: Las relaciones estrictamente ordenadas (antes, después) y las relaciones alineadas con los límites (encuentra a, es encontrado por, es igual a) producen puntuaciones consistentes y polarizadas.
• Relaciones Inestables: Las relaciones de solapamiento y contención (p. ej., solapa, durante, contiene) exhiben una varianza significativamente mayor. Esto indica que los LLMs tienen dificultades con las topologías temporales estructuralmente ambiguas, particularmente en el marco secuencial.

3. Interacción de Duración y Distancia Temporal

• t-FoR Deíctico (Solo Pasado): Se observa un efecto de duración distintivo para los eventos pasados. Los eventos pasados de larga duración reciben calificaciones de similitud más altas que los eventos de corta duración a distancias comparables. En algunos casos, eventos distantes de larga duración son calificados como más similares que eventos cercanos de corta duración.
• Sin Efecto de Duración: Esta modulación no ocurre para los eventos futuros en el marco deíctico, ni aparece bajo el t-FoR secuencial, donde la similitud permanece polarizada independientemente de la duración.

Contribuciones Clave

1. Marco de Evaluación Sensible al Encuadre: Introdujo un benchmark que contrasta los t-FoRs deícticos y secuenciales utilizando juicios de similitud sobre eventos del mundo real, yendo más allá de la simple corrección factual.
2. Conjunto de Datos Temporal de Gran Escala: Creó un conjunto de datos derivado de Wikidata que preserva la estructura del intervalo y la duración, permitiendo un análisis sistemático de la distancia temporal, el álgebra de Allen y la duración a escala.
3. Caracterización Empírica del Comportamiento Temporal: Proporcionó evidencia de que la comprensión temporal de los LLMs es dependiente del encuadre y está moldeada por factores estructurales, identificando específicamente:
   • Asimetría pasado-futuro bajo el encuadre deíctico.
   • Colapso rápido de la similitud bajo el encuadre secuencial.
   • Inestabilidad elevada en las relaciones de solapamiento.
   • Efectos de duración restringidos a los eventos pasados bajo el anclaje deíctico.

Significado y Reivindicaciones

El artículo argumenta que los LLMs poseen una forma de comprensión temporal estructurada pero acotada.

• Estructurada: Los LLMs no tratan el tiempo de forma aleatoria; se adaptan coherentemente a diferentes estructuras de referencia (deíctica vs. secuencial) y son sensibles a la geometría del intervalo y la duración.
• Acotada: Esta comprensión no es una métrica temporal objetiva y global. Está constreñida por las regularidades lingüísticas y cognitivas codificadas en el lenguaje natural.
  • Las representaciones son más ricas en el pasado que en el futuro.
  • Las representaciones son más estables para relaciones claramente ordenadas que para intervalos que se solapan.
  • La asimetría pasado-futuro y el efecto de duración selectivo sugieren que los LLMs no poseen un sentido del tiempo objetivo y simétrico, sino uno perspectivo anclado al "experienciador" o a eventos específicos.

Los autores concluyen que la comprensión temporal en los LLMs es probablemente moldeada por regularidades adquiridas lingüísticamente en lugar de mecanismos de inferencia temporal explícitos, manifestándose como un espacio de similitud graduado y anclado al contexto que se adapta al encuadre pero que no colapsa en una única métrica global.

Limitaciones

El estudio está actualmente limitado al texto en inglés. La elección de las taxonomías de t-FoR se basa en Evans (2013) para complementar trabajos previos, aunque el artículo reconoce que no existe un consenso universal sobre qué taxonomía describe mejor las relaciones de eventos.