💬 NLP

Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models

Deze paper introduceert TDBench, een nieuw benchmark dat tijdsgebonden databases en een nieuwe 'time accuracy'-metrieke gebruikt om de prestaties van grote taalmodellen bij tijdsgevoelige feitelijke vragen automatisch, schaalbaar en gedetailleerd te evalueren.

Oorspronkelijke auteurs: Soyeon Kim, Jindong Wang, Xing Xie, Steven Euijong Whang

Gepubliceerd 2026-03-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Soyeon Kim, Jindong Wang, Xing Xie, Steven Euijong Whang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕰️ De Tijdmachine voor AI: Waarom "Nu" belangrijk is

Stel je voor dat je een superintelligente robot hebt die alles over de wereld weet. Maar er is een klein probleem: deze robot heeft een geheugen dat vastzit in de tijd. Als je hem vraagt: "Wie is de huidige president van de VS?", antwoordt hij misschien nog steeds met de naam van een president uit 2010, omdat hij denkt dat die informatie nog steeds waar is.

In de echte wereld veranderen feiten voortdurend. Mensen worden geboren, sterven, verhuizen, en nieuwe wetten worden aangenomen. Voor een slimme AI (een Large Language Model of LLM) is het dus cruciaal om niet alleen wat te weten, maar ook wanneer iets waar was.

🛠️ Het Probleem: De "Handwerk"-Bottleneck

Tot nu toe hebben onderzoekers manieren bedacht om deze robots te testen. Maar die methoden waren vaak als handgemaakte puzzels.

Mensen moesten één voor één vragen bedenken: "Wie was de president in 2015?", "Wie in 2016?", enzovoort.
Dit kostte enorm veel tijd en geld.
Zodra er een nieuwe president kwam, moesten ze de hele puzzel opnieuw maken. Het was als proberen een zwembad leeg te halen met een theelepel.

💡 De Oplossing: TDBench (De Tijdbank)

De auteurs van dit paper (Soyeon Kim en collega's) hebben een slimme oplossing bedacht: TDBench.

Stel je voor dat je in plaats van handmatig puzzels te maken, een automatische machine bouwt die de puzzels maakt. Deze machine gebruikt geen losse stukjes papier, maar een Tijddatabase.

Hoe werkt deze machine? (De 3 Stappen)

De Database als Bron: Ze gebruiken een speciale database die feiten opslaat met een start- en einddatum (zoals een agenda voor de hele wereld). Bijvoorbeeld: "Jan is president van 2000 tot 2004, en Piet van 2004 tot 2008."
De SQL-Magie: In plaats van mensen te laten vragen bedenken, gebruikt de computer een taal die databases begrijpen (SQL). Ze laten de computer automatisch vragen genereren zoals: "Wie was de president op een willekeurig moment tussen 2002 en 2003?"
- Vergelijking: Het is alsof je een bak met Lego-blokjes hebt. In plaats van zelf een kasteel te bouwen, geef je de machine de instructie: "Bouw een kasteel met rode blokken." De machine doet het werk.
De Vertaler: De computer vraagt vervolgens aan een slimme AI: "Zet deze database-instructie om in een normale vraag die een mens zou stellen." Zo ontstaan duizenden vragen in een handomdraai.

🎯 De Nieuwe Scorebord: "Tijds-nauwkeurigheid"

Dit is misschien wel het coolste deel van het paper.

Vroeger keken onderzoekers alleen naar het antwoord.

Vraag: "Wie is de huidige koning van Zweden?"
Antwoord AI: "Carl XVI Gustaf." (Goed! ✅)

Maar wat als de AI het juiste antwoord geeft, maar in de uitleg een leugen vertelt?

AI: "Carl XVI Gustaf is de koning. Hij is in 1950 begonnen." (Fout! Hij begon in 1973).

Deze AI heeft het juiste antwoord, maar hallucineert over de tijd. Dat is gevaarlijk, want het ondermijnt het vertrouwen.

TDBench introduceert een nieuwe score: Tijds-nauwkeurigheid.

Ze kijken niet alleen of het antwoord klopt, maar ook of de tijdsreferenties in de uitleg kloppen.
Vergelijking: Het is alsof je een student toetst. Als hij het juiste antwoord op een wiskundevraag geeft, maar de berekening in de tussenstappen fout is, krijg je toch geen 10. TDBench straft de "tijds-hallucinaties" af.

📊 Wat hebben ze ontdekt?

Ze hebben verschillende populaire AI-modellen (zoals GPT-4, Llama, etc.) getest met hun nieuwe systeem. De resultaten waren verrassend:

De "Goede Nieuws" vs. "Slechte Nieuws": Veel AI's gaven het juiste antwoord (bijvoorbeeld de naam van de president), maar 21,7% van de tijd verzonnen ze de datum in hun uitleg. Ze wisten wie, maar niet precies wanneer.
Verblind door de tijd: AI's zijn goed in simpele vragen (zoals "in 2020"), maar hebben grote moeite met complexe tijdsvragen (zoals "tijdens de periode dat het weer warmer was dan in 1990, maar voor de Olympische Spelen").
Meer dan Wikipedia: Vroeger werden AI's alleen getest met feiten uit Wikipedia. TDBench test ze ook met specifieke data, zoals medische dossiers of wetten. Hier bleek dat AI's vaak nog slechter presteerden, omdat ze die specifieke "tijdsgevoelige" data niet goed hadden geleerd.

🚀 Waarom is dit belangrijk?

Dit onderzoek is als het bouwen van een nieuwe, robuuste test voor AI.

Minder handwerk: We hoeven niet meer duizenden vragen handmatig te schrijven. De database doet het voor ons.
Betrouwbaarder AI: Door te kijken naar de tijd in de uitleg, zien we waar AI's echt falen.
Voor de toekomst: Naarmate AI's meer in onze dagelijkse leven komen (in ziekenhuizen, rechtbanken, nieuws), is het cruciaal dat ze weten wat er nu waar is, en niet wat er 5 jaar geleden waar was.

Kortom: TDBench is de nieuwe "tijdsbewuste" test die ervoor zorgt dat onze digitale helpers niet alleen slim zijn, maar ook weten op welk moment in de geschiedenis ze zich bevinden.

Probleemstelling

Feiten veranderen in de loop van de tijd, wat het voor Large Language Models (LLMs) essentieel maakt om tijdsgevoelige feitelijke kennis accuraat en betrouwbaar te hanteren. Bestaande benchmarks voor Tijdsgevoelige Vraag-Antwoordtaken (TSQA) kampen echter met ernstige beperkingen:

Manuele Bottlenecks: De constructie en het onderhoud van deze benchmarks vereisen vaak veel handmatig werk voor het ontwerpen van tijdscontexten (bijv. "voor 2019") en het updaten van feiten. Dit beperkt de schaalbaarheid en diversiteit.
Gebrek aan Systematisch Ontwerp: Veel benchmarks vertrouwen op een klein, vast aantal sjablonen of handmatig samengestelde datasets (vaak gebaseerd op Wikipedia/Wikidata), wat de variatie in tijdsrelaties beperkt.
Onvolledige Evaluatie: Traditionele evaluaties kijken alleen naar de juistheid van het antwoord. Ze missen echter vaak de validiteit van de tijdreferenties in de uitleg van het model. Een model kan het juiste antwoord geven (bijv. "Karel XVI Gustaaf"), maar een onjuiste startdatum hallucineren in de uitleg, wat de betrouwbaarheid ondermijnt zonder dat dit wordt opgemerkt.

Methodologie: TDBench

De auteurs introduceren TDBench, een nieuw benchmarkkader dat systematisch TSQA-paren construeert door gebruik te maken van temporale databases en geavanceerde database-technieken. Dit elimineert de afhankelijkheid van handmatige sjablonen.

Het framework werkt in drie stappen (zoals weergegeven in Figuur 1):

Kennisselectie via Temporale Functionele Dependencies (TFDs):
- In plaats van handmatig attributen te kiezen, gebruikt TDBench TFDs. Een TFD ( $X \xrightarrow{T} Y$ ) garandeert dat de waarden van $Y$ uniek bepaald zijn door $X$ op elk willekeurig tijdstip binnen de geldigheidsinterval.
- Dit stelt het systeem in staat automatisch de juiste attributen te selecteren voor vragen (bijv. land + rol $\rightarrow$ naam van de leider).
Generatie van Temporale SQL-queries:
- Het framework genereert automatisch SQL-queries die diverse tijdscontexten coderen.
- Het maakt gebruik van Allen's interval algebra (13 onderling uitsluitende tijdsrelaties zoals before, after, overlap, contain, meet, etc.) om complexe tijdscondities te creëren.
- Dit zorgt voor een veel bredere dekking van tijdsrelaties dan bestaande benchmarks (die vaak slechts 4-6 typen gebruiken).
- Voor complexe taken worden temporale joins gebruikt om impliciete tijdscontexten te genereren (bijv. "Wie was de president tijdens de 5e Winterspelen?" vereist een join tussen een Olympische dataset en een Leiders-dataset).
Conversie naar Natuurlijke Taal:
- De gegenereerde SQL-queries worden via een LLM (GPT-4o) vertaald naar natuurlijke taal vragen.
- De antwoorden worden direct opgehaald uit de database, wat garandeert dat de "gold standard" antwoorden feitelijk correct zijn en consistent met de onderliggende data.

Nieuwe Evaluatiemetric: Time Accuracy
Naast de traditionele Answer Accuracy introduceert het paper Time Accuracy.

Deze metric controleert of de tijdsreferenties (start- en einddata) in de uitleg van het model overeenkomen met de feitelijke data.
Het maakt gebruik van SQL-constraints om automatisch te verifiëren welke tijdsreferenties relevant zijn voor een specifieke vraag (bijv. bij een "before"-relatie is alleen de einddatum relevant).
Dit stelt onderzoekers in staat om fouten te detecteren waarbij het model het juiste antwoord geeft, maar de redenering (tijdsreferentie) hallucineert.

Belangrijkste Bijdragen

Systematische Constructie zonder Menselijke Inspanning: TDBench automatiseert het creëren van TSQA-benchmarks door database-technieken (TFDs, SQL) te combineren met LLMs, wat schaalbaarheid en onderhoudsgemak biedt.
Time Accuracy Metric: Een nieuwe evaluatiemaatstaf die de validiteit van tijdsreferenties in modeluitleggen meet, wat een fijner granulariteit biedt dan alleen antwoordcorrectheid.
Uitbreiding van Domeinen: Het framework is niet beperkt tot Wikipedia/Wikidata, maar kan worden toegepast op domeinspecifieke databases (bijv. juridisch, medisch, milieu), wat de generaliseerbaarheid vergroot.
Uitgebreide Evaluatie: Het ondersteunt evaluaties voor tijdsalignatie (huidige kennis), tijdsredenering (diverse contexten) en multi-hop redenering (impliciete contexten).

Resultaten

Uitgebreide experimenten met diverse LLMs (GPT-3.5/4/4o, Llama3.1, Mixtral, Gemma2, Qwen2, Granite) tonen de volgende bevindingen:

Hallucinaties in Uitleg: Hoewel modellen vaak het juiste antwoord geven, hallucineren ze significant in hun tijdsreferenties. In de experimenten daalde de prestatie van Answer Accuracy naar Answer-Time Accuracy met gemiddeld 21,7% op de Wikipedia-dataset. Dit toont aan dat traditionele evaluaties veel fouten over het hoofd zien.
Tijdsredeneringsmoeilijkheden: Modellen presteren goed op eenvoudige relaties (zoals "equal" of "in 2025"), maar hebben moeite met complexere relaties zoals "contain" en "overlap", die precisie vereisen over zowel start- als einddata.
Multi-hop Redenering: Bij vragen die meerdere stappen vereisen (bijv. eerst het land van de Olympische spelen bepalen, dan de leider op dat moment), neemt de hallucinatiekans toe. TDBench kan specifiek diagnosticeren op welke stap (hop) het model faalt.
Domeinspecifieke Prestaties: Modellen vertonen verschillende sterke punten per domein (bijv. GPT-4o presteert goed in juridische domeinen, Llama3.1 in Netflix-gerelateerde data), wat de noodzaak onderstreept van benchmarks buiten Wikipedia.
Validiteit: TDBench toont een hoge overeenkomst (F1-score > 0.90) met handmatige verificatie, wat aantoont dat de database-gedreven aanpak betrouwbaar is.

Significantie

TDBench markeert een verschuiving in de evaluatie van LLMs voor feitelijke kennis:

Betrouwbaarheid: Het benadrukt dat een correct antwoord niet voldoende is; de onderliggende redenering en tijdscontext moeten ook accuraat zijn om vertrouwen in AI-systemen te waarborgen.
Efficiëntie: Door database-technieken te gebruiken, wordt de kostbare en tijdrovende handmatige constructie van benchmarks vervangen door een schaalbaar, automatisch proces.
Toekomstige Richting: Het biedt een blauwdruk voor het evalueren van LLMs op specifieke, niet-generieke domeinen (zoals wetgeving of medische geschiedenis), wat essentieel is voor de integratie van AI in real-world applicaties waar tijdgevoeligheid cruciaal is.

Samenvattend biedt TDBench een robuust, schaalbaar en nauwkeurig instrument om de tijdsgevoelige redeneringscapaciteiten van LLMs te testen, waarbij het de beperkingen van bestaande benchmarks overbrugt en nieuwe inzichten biedt in de hallucinaties van modellen.