Technische Samenvatting: Gestructureerd maar Begrensd Temporeel Begrip in Large Language Models

Probleemstelling

Hoewel Large Language Models (LLMs) sterke prestaties leveren op temporeel gegrondeerde taken (bijv. tijdlijnconstructie, temporele QA), blijft het onduidelijk hoe hun temporele redenering afhankelijk is van de linguïstische en cognitieve inkadering van tijd. Bestaande benaderingen behandelen tijd vaak als absolute tijdstempels of discrete relaties, waarbij ze er niet in slagen rekening te houden met hoe LLMs, getraind op natuurlijke taal, linguïstisch gecodeerde temporele abstracties erven. Specifiek ontbreekt een systematisch begrip van hoe LLMs zich aanpassen aan verschillende Temporele Referentiekaders (t-FoRs)—waarbij onderscheid wordt gemaakt tussen deictische inkadering (verankerd aan het "nu" van een ervoerder, wat leidt tot verleden/heden/toekomst) en sequentiële inkadering (verankerd aan een specifieke gebeurtenis, wat leidt tot voor/na). Bovendien is de invloed van structurele factoren zoals temporele afstand, intervaltopologie (Allen's Interval Algebra) en de duur van een gebeurtenis op de temporele representaties van LLMs nog niet goed gekarakteriseerd.

Methodologie

De auteurs stellen een frame-gevoelig evaluatiekader voor dat gebruikmaakt van een gelijkenisbeoordelingstaak om de temporele cognitie van LLMs te onderzoeken.

1. Dataset Constructie

• Bron: Real-world gebeurtenissen geëxtraheerd uit Wikidata, resulterend in een dataset van 49.956 gebeurtenissen variërend van 0001 tot 2100.
• Anonimisering: Om te voorkomen dat men vertrouwt op memorized historische kennis, werden namen van gebeurtenissen vervangen door zeldzame diernamen, terwijl de start- en eindtijdstempels behouden bleven.
• Sampling: Een gebalanceerde subset van 321 gebeurtenissen werd geselecteerd om dekking te garanderen voor alle 13 relaties van Allen's Interval Algebra.
• Schaal: De uiteindelijke dataset bevat ~2,9 miljoen vermeldingen voor de deictische t-FoR en ~51.000 vermeldingen voor de sequentiële t-FoR.

2. Experimenteel Ontwerp

De studie evalueert twee open-source LLMs: Qwen3-4B en Qwen3-30B.

• Deictische t-FoR: Referentiepunten worden gegenereerd als een sequentie van "nu"-tijdstempels ($\tau$) relatief aan de ervoerder. Dataparens zijn $(\tau, e_i)$, waarbij $e_i$ een doelgebeurtenis is.
• Sequentiële t-FoR: Referentiepunten zijn specifieke gebeurtenissen ($e_j$). Dataparens zijn $(e_i, e_j)$, die een relatieve ordening vaststellen.
• Taak: Modellen worden geprompt om een gelijkenis-score $s \in [-1.00, 1.00]$ te produceren die aangeeft hoe vergelijkbaar de referentietijd/gebeurtenis is met de doelgebeurtenis.
• Metrieken:
  • Gemiddelde Gelijkenis vs. Temporele Afstand: Geanalyseerd als een functie van de gesigneerde afstand (dagen).
  • Interval-specifieke Variantie: Gegroepeerd volgens Allen's relaties om stabiliteit te meten.
  • Duur-interactie: Geanalyseerd via heatmaps van (afstand, duur) bins.

Belangrijkste Resultaten

1. Adaptatie aan Temporele Referentiekaders

LLMs passen hun gedrag systematisch aan de gekozen t-FoR aan, maar de resulterende patronen verschillen significant:

• Deictische t-FoR: Gelijkenisscores vormen een gegradeerde, asymmetrische structuur gecentreerd rond het heden.
  • Toekomst: Scores dalen scherp en convergeren naar -1.00 met een lage variantie, wat wijst op een gecomprimeerde, uniforme representatie.
  • Verleden: Scores dalen geleidelijker met substantieel hogere variantie, wat suggereft op een rijkere maar minder stabiele representatie van gebeurtenissen uit het verleden.
• Sequentiële t-FoR: Gelijkenisscores vertonen een sterke polarisatie. Zodra gebeurtenissen temporeel gescheiden zijn (niet-nul afstand), storten scores snel in naar sterk negatieve waarden. Variantie concentreert zich alleen nabij nul afstand (waar meerdere intervalrelaties zoals overlap of ontmoet samenvallen).

2. Invloed van Intervalstructuur (Allen's Algebra)

• Stabiele Relaties: Strikt geordende relaties (voor, na) en op grenzen uitgelijnde relaties (ontmoet, ontmoet-door, is gelijk aan) leveren consistente, gepolariseerde scores op.
• Instabiele Relaties: Overlap en insluiting relaties (bijv. overlap, tijdens, bevat) vertonen aanzienlijk hogere variantie. Dit geeft aan dat LLMs moeite hebben met structureel ambigue temporele topologieën, met name in het sequentiële frame.

3. Interactie van Duur en Temporele Afstand

• Deictische t-FoR (Alleen Verleden): Een duidelijk duur-effect wordt waargenomen voor gebeurtenissen uit het verleden. Gebeurtenissen uit het verleden met een lange duur ontvangen hogere gelijkeniswaarderingen dan gebeurtenissen met een korte duur bij vergelijkbare afstanden. In sommige gevallen worden verre gebeurtenissen met een lange duur als gelijkeniswaardiger beoordeeld dan nabije gebeurtenissen met een korte duur.
• Geen Duur-effect: Deze modulatie gebeurt niet voor toekomstige gebeurtenissen in het deictische frame, noch verschijnt het onder de sequentiële t-FoR, waar gelijkenis gepolariseerd blijft ongeacht de duur.

Belangrijkste Bijdragen

1. Frame-gevoelig Evaluatiekader: Introduceerde een benchmark die deictische en sequentiële t-FoRs contrasteert met behulp van gelijkenisbeoordelingen op real-world gebeurtenissen, waarmee verder wordt gegaan dan eenvoudige feitelijke juistheid.
2. Grootschalige Temporele Dataset: Creëerde een uit Wikidata afgeleide dataset die de intervalstructuur en duur behoudt, wat systematische analyse van temporele afstand, Allen's algebra en duur op grote schaal mogelijk maakt.
3. Empirische Karakterisering van Temporeel Gedrag: Leverde bewijs dat het temporele begrip van LLMs frame-afhankelijk is en gevormd wordt door structurele factoren, waarbij specifiek werd geïdentificeerd:
   • De verleden-toekomst asymmetrie onder deictische inkadering.
   • Snelle gelijkenis-instorting onder sequentiële inkadering.
   • Verhoogde instabiliteit in overlap-gebaseerde relaties.
   • Duur-effecten beperkt tot gebeurtenissen uit het verleden onder deictische verankering.

Betekenis en Claims

Het paper betoogt dat LLMs een gestructureerd maar begrensd vorm van temporeel begrip bezitten.

• Gestructureerd: LLMs behandelen tijd niet willekeurig; ze passen zich coherent aan verschillende referentiestructuren aan (deictisch vs. sequentieel) en zijn gevoelig voor intervalgeometrie en duur.
• Begrensd: Dit begrip is geen globale, expliciete temporele metriek. Het is beperkt door de linguïstische en cognitieve regelmatigheden die in natuurlijke taal zijn gecodeerd.
  • Representaties zijn rijker in het verleden dan in de toekomst.
  • Representaties zijn stabieler voor helder geordende relaties dan voor overlappende intervallen.
  • De verleden-toekomst asymmetrie en het selectieve duur-effect suggereren dat LLMs niet over een symmetrisch, objectief tijdsbesef beschikken, maar over een perspectivistisch besef dat verankerd is aan de "ervoerder" of specifieke gebeurtenissen.

De auteurs concluderen dat het temporele begrip in LLMs waarschijnlijk wordt gevormd door linguïstisch verworven regelmatigheden in plaats door expliciete temporele inferentiemechanismen, wat zich manifesteert als een gegradeerde, context-verankerde gelijkenisruimte die zich aanpast aan inkadering maar niet instort tot één enkele globale metriek.

Limitaties

De studie is momenteel beperkt tot de Engelse tekst. De keuze voor de t-FoR taxonomieën is gebaseerd op Evans (2013) om voort te bouwen op eerder werk, hoewel het paper erkent dat er geen universele consensus is over welke taxonomie de gebeurtenisrelaties het best beschrijft.