Résumé Technique : Compréhension Temporelle Structurée mais Bornée dans les Grands Modèles de Langage

Énoncé du Problème

Bien que les grands modèles de langage (LLM) fassent preuve de solides performances sur des tâches temporellement ancrées (ex. : construction de chronologies, questions-réponses temporelles), il reste difficile de savoir comment leur raisonnement temporel dépend du cadrage linguistique et cognitif du temps. Les approches existantes traitent souvent le temps comme des horodatages absolus ou des relations discrètes, échouant à rendre compte de la manière dont les LLM, entraînés sur le langage naturel, héritent d'abstractions temporelles encodées linguistiquement. Plus précisément, le domaine manque d'une compréhension systématique de la manière dont les LLM s'adaptent à différents cadres de référence temporels (t-FoR) — distinguant le cadrage déictique (ancré sur le « présent » d'un expérimentateur, produisant passé/présent/futur) du cadrage séquentiel (ancré sur un événement spécifique, produisant avant/après). De plus, l'influence de facteurs structurels tels que la distance temporelle, la topologie des intervalles (l'algèbre des intervalles d'Allen) et la durée des événements sur les représentations temporelles des LLM n'est pas bien caractérisée.

Méthodologie

Les auteurs proposent un cadre d'évaluation sensible au cadre (frame-sensitive) utilisant une tâche de jugement de similitude pour sonder la cognition temporelle des LLM.

1. Construction du Jeu de Données

• Source : Événements du monde réel extraits de Wikidata, résultant en un jeu de données de 49 956 événements s'étendant de 0001 à 2100.
• Anonymisation : Pour éviter le recours à la connaissance historique mémorisée, les noms d'événements ont été remplacés par des noms d'animaux rares tout en préservant les horodatages de début et de fin.
• Échantillonnage : Un sous-ensemble équilibré de 321 événements a été sélectionné pour assurer la couverture de l'ensemble des 13 relations de l'algèbre des intervalles d'Allen.
• Échelle : Le jeu de données final contient environ 2,9 millions d'entrées pour le t-FoR déictique et environ 51 000 entrées pour le t-FoR séquentiel.

2. Conception Expérimentale

L'étude évalue deux LLM open-source : Qwen3-4B et Qwen3-30B.

• t-FoR Déictique : Les points de référence sont générés comme une séquence de points temporels « maintenant » ($\tau$) relatifs à l'expérimentateur. Les paires de données sont $(\tau, e_i)$, où $e_i$ est un événement cible.
• t-FoR Séquentiel : Les points de référence sont des événements spécifiques ($e_j$). Les paires de données sont $(e_i, e_j)$, établissant un ordre relatif.
• Tâche : Les modèles sont incités à produire un score de similitude $s \in [-1.00, 1.00]$ indiquant à quel point l'événement/le temps de référence est similaire à l'événement cible.
• Métriques :
  • Similitude moyenne vs Distance Temporelle : Analysée en fonction de la distance signée (jours).
  • Variance spécifique à l'intervalle : Groupée par relations d'Allen pour mesurer la stabilité.
  • Interaction de la Durée : Analysée via des cartes thermiques (heatmaps) de compartiments (distance, durée).

Résultats Clés

1. Adaptation aux Cadres de Référence Temporels

Les LLM adaptent systématiquement leur comportement au t-FoR choisi, mais les schémas qui en résultent diffèrent considérablement :

• t-FoR Déictique : Les scores de similitude forment une structure graduée et asymétrique centrée sur le présent.
  • Futur : Les scores chutent brutalement et convergent vers -1.00 avec une faible variance, indiquant une représentation compressée et uniforme.
  • Passé : Les scores déclinent plus graduellement avec une variance nettement plus élevée, suggérant une représentation du passé plus riche mais moins stable.
• t-FoR Séquentiel : Les scores de similitude présentent une forte polarisation. Une fois que les événements sont temporellement séparés (distance non nulle), les scores s'effondrent rapidement vers des valeurs fortement négatives. La variance se concentre uniquement près de la distance zéro (où plusieurs relations d'intervalle comme chevauchement ou rencontre coexistent).

2. Influence de la Structure d'Intervalle (Algèbre d'Allen)

• Relations Stables : Les relations strictement ordonnées (avant, après) et les relations alignées sur les limites (rencontre, rencontré par, égal à) produisent des scores cohérents et polarisés.
• Relations Instables : Les relations de chevauchement et de contenance (ex. : chevauche, pendant que, contient) présentent une variance nettement plus élevée. Cela indique que les LLM peinent avec les topologies temporelles structurellement ambiguës, particulièrement dans le cadre séquentiel.

3. Interaction entre Durée et Distance Temporelle

• t-FoR Déictique (Passé uniquement) : Un effet de durée distinct est observé pour les événements passés. Les événements passés de longue durée reçoivent des évaluations de similitude plus élevées que les événements de courte durée à des distances comparables. Dans certains cas, des événements passés de longue durée lointains sont jugés plus similaires que des événements de courte durée proches.
• Absence d'Effet de Durée : Cette modulation ne se produit pas pour les événements futurs dans le cadre déictique, ni dans le t-FoR séquentiel, où la similitude reste polarisée indépendamment de la durée.

Contributions Clés

1. Cadre d'Évaluation Sensible au Cadre : Introduction d'un benchmark contrastant les t-FoR déictiques et séquentiels en utilisant des jugements de similitude sur des événements du monde réel, allant au-delà de la simple exactitude factuelle.
2. Jeu de Données Temporel à Grande Échelle : Création d'un jeu de données dérivé de Wikidata préservant la structure d'intervalle et la durée, permettant une analyse systématique de la distance temporelle, de l'algèbre d'Allen et de la durée à grande échelle.
3. Caractérisation Empirique du Comportement Temporel : Fourniture de preuves que la compréhension temporelle des LLM est dépendante du cadre (frame-dependent) et façonnée par des facteurs structurels, identifiant spécifiquement :
   • L'asymétrie passé-futur sous le cadrage déictique.
   • L'effondrement rapide de la similitude sous le cadrage séquentiel.
   • L'instabilité élevée des relations basées sur le chevauchement.
   • Les effets de durée restreints aux événements passés sous l'ancrage déictique.

Signification et Revendications

L'article soutient que les LLM possèdent une forme de compréhension temporelle structurée mais bornée.

• Structurée : Les LLM ne traitent pas le temps de manière aléatoire ; ils s'adaptent de manière cohérente à différentes structures de référence (déictique vs séquentiel) et sont sensibles à la géométrie des intervalles et à la durée.
• Bornée : Cette compréhension n'est pas une métrique temporelle globale et explicite. Elle est contrainte par les régularités linguistiques et cognitives encodées dans le langage naturel.
  • Les représentations sont plus riches dans le passé que dans le futur.
  • Les représentations sont plus stables pour les relations clairement ordonnées que pour les intervalles qui se chevauchent.
  • L'asymétrie passé-futur et l'effet de durée sélectif suggèrent que les LLM ne possèdent pas un sens objectif et symétrique du temps, mais plutôt un sens perspectif ancré à l'« expérimentateur » ou à des événements spécifiques.

Les auteurs concluent que la compréhension temporelle dans les LLM est probablement façonnée par des régularités acquises linguistiquement plutôt que par des mécanismes d'inférence temporelle explicites, se manifestant comme un espace de similitude gradué et ancré au contexte qui s'adapte au cadrage mais ne s'effondre pas en une métrique globale unique.

Limites

L'étude est actuellement limitée au texte anglais. Le choix des taxonomies de t-FoR est basé sur Evans (2013) pour compléter les travaux antérieurs, bien que l'article reconnaisse qu'il n'existe pas de consensus universel sur la taxonomie décrivant le mieux les relations d'événements.