How often do Answers Change? Estimating Recency Requirements in Question Answering

Probleemstelling

Grote Taalmodellen (LLMs) kampen met een fundamenteel tekortkoming bij het beantwoorden van tijdsgevoelige vragen. Hoewel deze modellen indrukwekkende prestaties leveren op algemene vraag- en antwoordtaken (QA), vertrouwen ze vaak op verouderde kennis uit hun trainingsdata. Dit leidt tot zelfzekere maar onjuiste antwoorden op vragen waarbij de feitelijke waarheid verandert (bijv. "Wat is de huidige inflatie?" of "Wie is de voorzitter van de ECB?").

Bestaande benchmarks voor tijdsgevoeligheid (zoals TimeQA, RealTimeQA, FreshQA) behandelen temporaliteit vaak als een binair onderscheid: een antwoord is ofwel "huidig" ofwel "verouderd". Ze modelleren echter niet:

1. Hoe vaak antwoorden daadwerkelijk veranderen (bijv. per uur, per jaar, of nooit).
2. Of de frequentie van deze veranderingen contextafhankelijk is (bijv. de Olympische medailles staan alleen tijdens de spelen dagelijks op de lijst, maar zijn daarbuiten statisch).

Zonder deze nuances kunnen modellen niet bepalen wanneer ze externe informatie moeten ophalen, hoe ze met verouderde feiten moeten redeneren, of hoe ze antwoorden moeten rangschikken op geldigheid.

Methodologie

De auteurs introduceren een nieuwe aanpak die bestaat uit een taxonomie en een bijbehorend dataset.

1. Recency-Stationarity Taxonomie

De kern van de methodologie is een tweedimensionale taxonomie om tijdsgevoeligheid te kwantificeren:

• Recency (Recenteheid): De verwachte frequentie waarmee een antwoord verandert. Dit wordt onderverdeeld in 12 discrete klassen, variërend van "binnen een uur" tot "nooit" (bijv. chemische symbolen).
• Stationarity (Stabiliteit): Of deze verandingsfrequentie constant blijft of contextafhankelijk is.
  • Stationair: De update-frequentie is constant (bijv. "Wie is de president?" verandert elke paar jaar, ongeacht de context).
  • Niet-stationair: De frequentie varieert afhankelijk van de context (bijv. "Wie leidt het olympisch medailleklassement?" verandert dagelijks tijdens de spelen, maar niet ertussenin).

2. Dataset Constructie: RECENCYQA

Op basis van deze taxonomie hebben de auteurs RECENCYQA ontwikkeld, een dataset van 4.031 open-domein vragen.

• Bronnen: De dataset combineert bestaande tijdsgevoelige datasets (FreshQA, PATQA, SituatedQA) met gegenereerde vragen op basis van real-world gebeurtenissen.
• Labeling: Een groot taalmodel (LLaMA 3.3 70B) wordt gebruikt om voor elke vraag 13 keer een recency-label te genereren om een verdeling te krijgen. Vervolgens wordt een stationariteitslabel toegekend door meerdere state-of-the-art LLM's (GPT-5.2, Gemini 3 Flash, Claude Sonnet 4.5) en cross-gevalideerd met de recency-verdeling.
• Context: Voor elke vraag worden specifieke tijdscontexten gegenereerd die de verwachte recency bevestigen.
• Validatie: Menselijke evaluatie door zes graduate studenten bevestigt de kwaliteit van de labels (76% nauwkeurigheid voor recency, 78% voor stationariteit).

3. Experimenteel Opzet

De auteurs evalueren zes verschillende LLM's (variërend van 7B tot 72B parameters, waaronder Qwen, LLaMA, Mistral, Gemma) op drie taken:

1. Recency Classificatie: Het voorspellen van de update-frequentie puur op basis van de vraag.
2. Context Sensitiviteit: Het beoordelen van de prestaties met en zonder expliciete tijdscontext, gesplitst naar stationaire en niet-stationaire vragen.
3. Dynamic Recency Transition: Het vermogen van een model om zijn antwoord te herzien wanneer de context verandert (van RL1 naar RL2) voor niet-stationaire vragen.

Belangrijkste Resultaten

• Recency Classificatie: Het is een uitdagende taak voor alle modellen. De nauwkeurigheid varieert tussen 24% en 52%. "Few-shot prompting" werkt het beste (Gemma 3 27B bereikt 52% nauwkeurigheid). Modellen neigen echter naar het voorspellen van tijdelijk aangrenzende klassen in plaats van volledig verkeerde antwoorden (hoge tolerantie-metrics).
• Invloed van Context:
  • Bij niet-stationaire vragen verbetert het toevoegen van context de prestaties aanzienlijk (soms met >40%), omdat modellen dan kunnen redeneren over de veranderende situatie.
  • Bij stationaire vragen leidt context vaak tot een daling in prestaties. Modellen lijken onterecht gewicht te hechten aan tijdsinformatie, zelfs wanneer het antwoord statisch zou moeten zijn. Dit wijst op een gebrek aan "temporal selectivity".
• Dynamic Adaptation: Modellen worstelen om hun voorspelling dynamisch aan te passen wanneer de context verandert. Hoewel ze per context redelijk presteren, is de "transition accuracy" (het correct aanpassen van RL1 naar RL2) zeer laag (bijv. slechts 14,8% bij Few-shot prompting voor Gemma 3). Dit toont aan dat LLM's nog steeds grotendeels statisch redeneren.

Bijdragen

1. Taxonomie: De introductie van een tweedimensionale taxonomie (Recency en Stationarity) die tijdsgevoeligheid meer granuleert dan het huidige binair "huidig vs. verouderd" onderscheid.
2. RECENCYQA Dataset: De eerste dataset die open-domein vragen annotateert met recency-distributies, stationariteitslabels en bijbehorende tijdscontexten.
3. Empirisch Bewijs: Een uitgebreide analyse die aantoont dat LLM's moeite hebben met contextafhankelijke temporaliteit en dat het toevoegen van context niet altijd gunstig is, maar juist schadelijk kan zijn voor statische feiten.

Significantie

Deze studie is cruciaal voor de ontwikkeling van toekomstige QA-systemen en Retrieval-Augmented Generation (RAG).

• Benchmarks: Het biedt een gestructureerde benchmark om te testen of modellen weten wanneer ze hun interne kennis moeten gebruiken en wanneer ze actuele informatie moeten ophalen.
• Systeemontwikkeling: De inzichten suggereren dat toekomstige systemen niet alleen "freshness" moeten maximaliseren, maar ook "temporal selectivity" moeten leren: het vermogen om te detecteren of een vraag contextafhankelijk is voordat er naar externe bronnen wordt gezocht.
• Toekomstig Onderzoek: Het legt de basis voor onderzoek naar recency-bewust zoeken, tijdsgevoelige rangschikking en dynamisch multi-hop redeneren.

Kortom, RECENCYQA vult een belangrijke leemte in de literatuur door te laten zien dat het niet alleen gaat om het hebben van recente kennis, maar om het begrijpen van de dynamiek van die kennis.