💬 NLP

Your LLM Agents are Temporally Blind: The Misalignment Between Tool Use Decisions and Human Time Perception

Dit paper introduceert het concept van 'temporale blindheid' bij LLM-agents, waarbij een nieuw dataset (TicToc) en evaluaties aantonen dat bestaande modellen slecht aansluiten bij de menselijke tijdsperceptie bij toolgebruik, maar dat post-training alignment een veelbelovende oplossing biedt.

Oorspronkelijke auteurs: Yize Cheng, Arshia Soltani Moakhar, Chenrui Fan, Parsa Hosseini, Kazem Faghih, Zahra Sodagar, Wenxiao Wang, Soheil Feizi

Gepubliceerd 2026-04-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yize Cheng, Arshia Soltani Moakhar, Chenrui Fan, Parsa Hosseini, Kazem Faghih, Zahra Sodagar, Wenxiao Wang, Soheil Feizi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom je AI-assistent geen gevoel voor tijd heeft (en waarom dat gevaarlijk is)

Stel je voor dat je een zeer slimme, maar ietwat vergetelijke assistent hebt. Deze assistent kan alles voor je regelen: hij boekt vluchten, checkt het weer, zoekt prijzen op en zelfs de treinroosters. Hij is razendsnel en kent bijna alles uit zijn hoofd.

Maar er is één groot probleem: deze assistent heeft geen idee hoe lang het geleden is dat hij iets heeft gedaan. Hij is "tijdsblind".

In het onderzoekspapier "Your LLM Agents are Temporally Blind" (Jouw LLM-agenten zijn tijdsblind) van onderzoekers van de Universiteit van Maryland en RELAI.ai, wordt dit probleem onderzocht. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Stale Sandwich"

Stel je voor dat je je assistent vraagt: "Is de boter nog goed?"
Hij kijkt in zijn notitieboekje en zegt: "Ja, gisteren was hij nog goed."

Scenario A (Korte tijd): Je vraagt dit 5 minuten later. De boter is nog steeds goed. Je assistent heeft gelijk.
Scenario B (Lange tijd): Je vraagt dit 3 dagen later. De boter is nu rot. Maar omdat je assistent geen gevoel voor tijd heeft, denkt hij nog steeds dat de boter goed is, omdat hij "gisteren" (in zijn hoofd) keek.

Dit is wat de onderzoekers tijdsblindheid noemen. De AI ziet de tijd niet als een vloeiende stroom, maar als een statische foto. Ze weten niet dat er uren, dagen of minuten zijn verstreken tussen twee gesprekken.

2. De Twee Fouten: Te Vertrouwen of Te Twijfelen

Omdat de AI geen tijd voelt, maakt ze twee soorten fouten:

Fout 1: Te veel vertrouwen (Over-reliance)
- Vergelijking: Het is alsof je kijkt naar een weerbericht van gisterenochtend om te beslissen of je een paraplu meeneemt, terwijl het nu een uur geleden is gaan regenen.
- Wat gebeurt er: De AI gebruikt oude informatie die nu verouderd is. Bijvoorbeeld: ze zeggen dat er nog plek is op een concert, terwijl de kaarten 10 minuten geleden al uitverkocht waren. Dit leidt tot verkeerde antwoorden.
Fout 2: Te weinig vertrouwen (Under-reliance)
- Vergelijking: Het is alsof je elke keer dat je de koelkast opent, de temperatuur meet met een thermometer, ook al heb je hem 5 minuten geleden al gemeten.
- Wat gebeurt er: De AI denkt dat alles verandert en doet elke keer een nieuwe check (een "tool call"), zelfs als de informatie (zoals de omvang van de Aarde of een statische wet) al jaren hetzelfde blijft. Dit kost tijd, geld en energie.

3. De Proef: TicToc (De "Tik-Tak" Test)

Om dit te testen, hebben de onderzoekers een nieuwe dataset gemaakt genaamd TicToc.

Het idee: Ze hebben duizenden gesprekken nagebootst tussen een mens en een AI.
De variatie: Ze hebben scenario's bedacht waarbij tijd belangrijk is (zoals beurskoersen die elke seconde veranderen) en scenario's waarbij tijd niet uitmaakt (zoals de geschiedenis van een stad).
De test: Ze keken of de AI wist wanneer ze een nieuwe check moesten doen en wanneer ze gewoon het oude antwoord mochten geven.

4. De Resultaten: De AI is nog niet klaar

De resultaten waren niet bemoedigend:

Zelfs de slimste AI-modellen (zoals GPT-4o of Qwen) scoorden slecht. Ze deden vaak net zo goed als iemand die blind gissen doet.
Zelfs als je de AI expliciet vertelt: "Hé, er is 3 uur verstreken", reageren ze er nog steeds niet goed op. Ze lijken de tijd niet echt te begrijpen, maar alleen te lezen.
Interessant detail: Als de AI begon na te denken (redeneren), werd het soms zelfs erger! Ze dachten hard na, maar kwamen tot de verkeerde conclusie omdat hun "tijdsgevoel" ontbrak.

5. De Oplossing: Oefening baart kunst (Post-training)

De onderzoekers probeerden twee dingen:

Gewone tips geven (Prompting): Ze zeiden tegen de AI: "Vergeet niet dat de tijd voorbijgaat!" Dit hielp bijna niets. Het is alsof je tegen een kind zegt "pas op voor het verkeer" zonder dat het kind ooit op straat heeft gelopen.
Specifiek trainen (Post-training/DPO): Ze hebben de AI specifiek getraind op de TicToc-data. Ze hebben de AI laten zien: "Als er 5 minuten zijn verstreken en het gaat om beurskoersen, check dan opnieuw. Als er 5 minuten zijn verstreken en het gaat om de hoofdstad van Frankrijk, hoef je niet te checken."

Het resultaat: Na deze specifieke training verbeterde de prestatie enorm! De AI leerde eindelijk het juiste gevoel voor tijd te ontwikkelen.

Conclusie

Deze studie laat zien dat onze slimme digitale helpers nog een groot gebrek hebben: ze leven in een wereld zonder klok. Ze weten niet dat informatie oud kan worden.

Om echte, betrouwbare AI-assistenten te maken die ons helpen in de echte wereld, moeten we ze niet alleen leren wat ze moeten doen, maar ook wanneer ze het moeten doen. Ze moeten leren om te voelen of een informatiebroodje nog vers is, of dat het al een week in de koelkast heeft gelegen.

Kortom: AI is slim, maar ze hebben nog een uurwerk nodig om echt menselijk te kunnen meedenken.

Titel: Je LLM-agenten zijn tijdsblind: De misalignering tussen tool-gebruiksbeslissingen en menselijke tijdsperceptie

Auteurs: Yize Cheng, Arshia Soltani Moakhar, Chenrui Fan, et al. (University of Maryland & RELAI.ai)

1. Het Probleem: Tijdsblindheid (Temporal Blindness)

Grote Taalmodellen (LLM)-agenten worden steeds vaker ingezet om complexe taken uit te voeren in dynamische omgevingen door externe tools (zoals zoekmachines of databases) aan te roepen. Een kritieke, maar vaak over het hoofd gezien beperking is dat deze agenten standaard uitgaan van een statische context. Ze negeren de werkelijke tijd die verstrijkt tussen berichten.

De auteurs noemen dit "tijdsblindheid". Dit leidt tot twee soorten misalignering met menselijke verwachtingen:

Over-reliance (Overmatige afhankelijkheid): De agent vertrouwt te blind op verouderde context en slaat een noodzakelijke tool-aanroep over, wat leidt tot foutieve output (bijv. surfcondities die uren geleden zijn gecontroleerd).
Under-reliance (Onvoldoende afhankelijkheid): De agent is te voorzichtig en roept onnodig dezelfde tool opnieuw aan voor informatie die waarschijnlijk niet is veranderd (bijv. de straal van de aarde), wat leidt tot resource-verspilling en latentie.

Mensen integreren natuurlijk de passage van tijd in hun besluitvorming; LLM-agenten doen dit niet, zelfs niet wanneer expliciete tijdstempels worden verstrekt.

2. Methodologie: De TicToc Dataset

Om dit fenomeen systematisch te bestuderen, hebben de auteurs TicToc (Time-aware conversational Tool-calling) ontwikkeld.

Dataset Opbouw: TicToc bevat meer dan 1.800 multi-turn trajecten van gesprekken tussen gebruikers en agenten, verdeeld over 76 verschillende scenario's.
Scenario Classificatie: De scenario's zijn ingedeeld op basis van tijdsgevoeligheid:
- Laag (29 scenario's): Statische informatie (bijv. wetten, archieven).
- Middel (25 scenario's): Matig dynamisch (bijv. weerberichten, reserveringen).
- Hoog (22 scenario's): Zeer dynamisch (bijv. beurskoersen, live GPS).
Traject Constructie: De dataset omvat zowel 'read-only' (alleen ophalen) als 'read+write' (ophalen en wijzigen) scenario's met specifieke varianten zoals herhaalde vragen, vergelijkingen en statusbevestigingen.
Tijdstempels: Elk bericht krijgt een ISO 8601-tijdstempel. Er worden gecontroleerde tijdsgaten ( $\Delta t$ ) geïntroduceerd tussen de laatste tool-aanroep en de volgende gebruikersvraag (klein, medium, groot), afhankelijk van de scenario-gevoeligheid.
Menselijke Voorkeuren: Voor elk traject hebben menselijke annotatoren beoordeeld of de agent direct moest antwoorden of een tool moest aanroepen. Dit resulteerde in 3.016 hoogwaardige samples met een hoge inter-annotator overeenstemming (Krippendorff's $\alpha$ = 0,8574).

3. Experimenten en Evaluatie

De auteurs evalueerden 18 moderne LLM's (zowel proprietary als open-weight, variërend van 0.6B tot 32B parameters) op de TicToc-dataset.

Setup: Modellen werden getest met en zonder expliciete tijdstempels in de prompt.
Meting: De hoofdmetriek is de Normalized Alignment Rate (NAR), die meet hoe goed de tool-aanroepbeslissing van het model overeenkomt met de menselijke voorkeur. Een NAR van 50% komt overeen met willekeurig gokken.
Analyse: Er werd gekeken naar de impact van conversatielengte, redeneermodes (Chain-of-Thought) en verschillende alignment-strategieën (prompting vs. post-training).

4. Belangrijkste Resultaten

Slechte Alignering: Zelfs met tijdstempels presteren de beste modellen slechts marginaal beter dan willekeurig gokken. Geen enkel model bereikte een NAR van meer dan 65%. Zonder tijdsinformatie presteerden ze nauwelijks beter dan 55%.
Foutpatronen: Modellen vertonen een consistente bias. Ze neigen er vaak toe om het aantal tool-aanroepen te verhogen naarmate het aantal conversatierondes toeneemt, ongeacht de werkelijke verstreken tijd. Dit suggereert dat ze "aantal rondes" gebruiken als proxy voor "veroudering" in plaats van de tijd te begrijpen.
Redenering helpt niet: Het gebruik van Chain-of-Thought (CoT) redenering leidde tot geen significante verbetering in de alignering. Analyse van de redeneertraces toonde aan dat modellen zelden expliciet verwijzen naar tijdstempels of tijdgerelateerde termen (< 4% van de traces), zelfs als ze wel redeneren.
Think-Answer Mismatches: Er werd een significant fenomeen van "denk-antwoord mismatches" geobserveerd, waarbij de interne redenering van het model (bijv. "ik moet de tool niet aanroepen") in strijd was met de uiteindelijke output (wel een tool aanroepen). Dit verklaarde een groot deel van de False Positives.
Prompting vs. Post-training:
- Prompting: Het toevoegen van instructies of few-shot voorbeelden had slechts een beperkt effect, voornamelijk bij zeer geavanceerde redenerende modellen (zoals o3/o4-mini).
- Post-training (DPO): Direct Preference Optimization (DPO) met een dynamische marge bleek zeer effectief. Na één epoch van fine-tuning op een subset van TicToc, steeg de NAR voor alle getrainde modellen aanzienlijk, wat aantoont dat gerichte post-training noodzakelijk is voor tijdsbewustzijn.

5. Bijdragen en Betekenis

Kernbijdragen:

Identificatie van Tijdsblindheid: Het paper definieert en kwantificeert een fundamentele beperking in multi-turn LLM-agenten: het onvermogen om de werkelijke tijd tussen acties te integreren in tool-gebruiksbeslissingen.
TicToc Dataset: De introductie van een uitgebreide, diverse dataset met menselijke voorkeuren voor tool-gebruik onder verschillende tijdscondities, die dient als benchmark voor tijdsbewustzijn.
Empirische Bewijzen: Het aantonen dat bestaande modellen (inclusief de nieuwste) slecht aligneren met menselijke tijdsperceptie en dat redeneren alleen dit probleem niet oplost.
Oplossingsrichting: Het bewijs dat gerichte post-training (DPO) een veelbelovende en noodzakelijke stap is om agenten menselijker te maken in dynamische omgevingen.

Significantie:
Dit onderzoek biedt een eerste stap naar het begrijpen en mitigeren van tijdsblindheid. Het benadrukt dat voor de ontwikkeling van betrouwbare, mens-gealigneerde agenten in de echte wereld (waar tijd essentieel is), meer nodig is dan alleen betere prompting; het vereist fundamentele aanpassingen in het trainingsproces om de dynamiek van de externe wereld te internaliseren. De dataset en bevindingen vormen een basis voor toekomstig werk in tijdsbewuste agenten.