🤖 AI

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

Dit artikel introduceert TIDE, een nieuwe door experts geverifieerde benchmark voor het evalueren van grote taalmodellen op het gebied van tijdelijk evoluerend documentbegrip, wat onthult dat huidige modellen aanzienlijk moeite hebben met versieresolutie en vaak de voorkeur geven aan zelfverzekerde parametrische kennis boven autoritatieve, tijdspecifieke tekst.

Oorspronkelijke auteurs: Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op zoek bent naar de juiste regel voor een spel, maar het regelboek is een levend wezen dat elke dag verandert. In de wereld van kunstmatige intelligentie zijn er twee belangrijke manieren waarop kennis gewoonlijk wordt beheerd. De eerste manier is als een enorme encyclopedie: als een feit verandert, wordt het oude simpelweg gewist en vervangen door het nieuwe. Als je vraagt naar de hoofdstad van een land dat van naam is veranderd, laat de encyclopedie gewoon de nieuwe naam zien. De tweede manier, die veel lastiger is, is als een stapel juridische contracten of een videogame met patches. Hier verdwijnt een oude regel niet; deze blijft perfect correct voor de periode waarin deze actief was, terwijl een nieuwe regel later het stokje overneemt. Als je vraagt: "Wat was de maximumsnelheid in 2015?", heb je de regel uit 2015 nodig, niet die uit 2025. Als de computer dit fout doet, is het niet zomaar een stomme fout; het kan zijn dat iemand wordt geadviseerd de verkeerde belasting te betalen of een medische richtlijn te volgen die jaren geleden al is ingetrokken. Dit is de uitdaging van "versie-resolutie": uitzoeken welke versie van een regel op een specifieke datum aan de macht was.

Een team van onderzoekers heeft een nieuwe test ontwikkeld genaamd TIDE (Temporal Information Drift in Evolving Documents) om te zien of de slimste AI-computers van vandaag deze lastige tijdreis-logica aankunnen. Ze hebben niet zomaar nepvragen bedacht; ze hebben onderzoek gedaan naar 644 echte, officiële documenten van de overheid van Bangladesh, variërend van douanewetten, belastingwetten en regelgeving van 1969 tot en met 2025. Deze documenten zijn rommelig, mengen Engels en Bengaals, en bevatten een web van amendementen waarbij de ene regel de andere opheft, wat vervolgens weer door een derde wordt opgeheven. De onderzoekers creëerden 3.050 vragen op basis van deze documenten, waarbij ze de AI vroegen te fungeren als een tijdreizende advocaat. Ze testten negen van de krachtigste beschikbare AI-modellen en gaven hen drie verschillende manieren om antwoorden te vinden: vertrouwen op wat ze tijdens hun training hebben onthouden (zoals bij een examen zonder open boek), het lezen van de exacte juiste documenten die aan hen worden verstrekt, of het doorzoeken van een database om de juiste pagina's te vinden.

De resultaten waren een beetje een waarschuwing. Zelfs de beste AI-modellen, wanneer ze de perfecte documenten om te lezen kregen, hadden slechts ongeveer 68,5% van de antwoorden goed. Dat betekent dat ze nog steeds in meer dan één op de drie gevallen faalden, zelfs wanneer het antwoord recht voor hun "ogen" lag. De studie toonde aan dat deze modellen verrassend goed zijn in het vinden van de juiste tekst wanneer ze precies weten waar ze moeten zoeken, maar dat ze er vreselijk slecht in zijn om te beseffen dat een tekst die ze lezen eigenlijk de verkeerde versie is voor de betreffende datum. Bijvoorbeeld, als je een AI een document geeft dat zegt "De belasting is 10%", maar de vraag gaat over een tijd waarin de belasting 5% was, negeert de AI de documentatie vaak vol vertrouwen en houdt hij vast aan zijn geheugen of de verkeerde tekst. Sterker nog, wanneer de onderzoekers probeerden de AI te misleiden met een zelfverzekerde maar onjuiste bewering, waren de modellen erg goed in het signaleren dat er iets mis was (het detecteren van fouten gebeurde in 79% van de gevallen), maar ze waren vreselijk in het precies aanwijzen van wat er precies mis was (het identificeren van de specifieke fout gebeurde slechts in ongeveer 19% van de gevallen). Dit betekent dat ze vaak wel aanvoelen dat er een probleem is, maar dan vol vertrouwen de verkeerde details de schuld geven.

Het paper suggereert dat het simpelweg geven van meer tekst om te lezen of betere zoekinstrumenten aan AI niet genoeg is om dit probleem op te lossen. De modellen worstelen het meest met taken die vereisen dat ze een tijdlijn in elkaar zetten, zoals het sorteren van gebeurtenissen in volgorde of het berekenen wat de regel "drie jaar later" was. Ze hebben de neiging ervan uit te gaan dat regels alleen maar strenger worden of in één richting veranderen, waarbij ze de nuance missen dat wetten ook kunnen worden ingetrokken of terugkeren naar oude versies. Hoewel de onderzoekers lieten zien dat het hebben van de juiste documenten helpt, garandeert het geen succes. De studie concludeert dat "versie-resolutie" een grote, onopgeloste hindernis blijft voor AI. Totdat deze modellen werkelijk het verloop van de tijd in juridische documenten kunnen begrijpen, kunnen ze te riskant zijn om te vertrouwen voor taken in de echte wereld, zoals belastingaangifte of douaneafhandeling, waarbij het fout doen van de datum tot ernstige financiële of juridische problemen kan leiden.

Technische Samenvatting: TIDE – Benchmarking van Large Language Models op de Begrip van Temporeel Evoluerende Documenten

1. Probleemdefinitie: De Uitdaging van Versie-resolutie

Huidige Large Language Models (LLM's) hebben moeite met evoluerende documenten, zoals wetten, belastingwetgeving en softwaredocumentatie, waarbij regels in de loop van de tijd worden gewijzigd, vervangen of teruggedraaid. In tegen tegenstelling tot encyclopedische kennis (bijv. Wikipedia), waarbij oude feiten simpelweg worden overschreven, behouden evoluerende documenten een persistent historisch record: een eerdere versie blijft juridisch correct voor zijn specifieke geldigheidsperiode, terwijl een nieuwe amendement expliciet vermeldt wat het vervangt en wanneer het van kracht wordt.

De kernuitdaging die is geïdentificeerd is versie-resolutie: het vermogen om de specifieke versie van een regel te identificeren die van kracht is op een gevraagde datum. Bestaande temporele QA-benchmarks (bijv. TempReason, MenatQA, evolveQA) behandelen tijd slechts als een annotatie of testen closed-book kennis over overschreden waarden. Ze falen in het testen van de cruciale capaciteit om te bepalen welke amendement een specifieke datum beheerst, vooral wanneer de brontekst zelf de logica voor vervanging en terugdraaiing bevat. Bovendien missen bestaande benchmarks vaak de complexiteit van echte regelgevende documenten, die frequent code-mixed zijn, heterogeen in lay-out en gebruikmaken van duale kalendersystemen.

2. Methodologie: De TIDE Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs TIDE (Temporal Information Drift in Evolving Documents), een door experts geverifieerde benchmark die ontworpen is om LLM's te evalueren op de versie-resolutie van authentieke, evoluerende juridische teksten.

2.1 Databronnen en Constructie

Corpus: De benchmark is gebouwd op 644 officiële douane-instrumenten uitgegeven door de regering van Bangladesh tussen 1969 en 2025. Dit omvat 3 Acts of Parliament, 20 General Orders (GO's), 609 Statutory Regulatory Orders (SRO's) en 12 Rules.
Complexiteit: De documenten zijn diep code-mixed (Bangla–Engels), bevatten ingebedde tarieftabellen en 97% van de documenten vermeldt datums in zowel de Bangla als de Gregoriaanse kalender.
Parsing Pipeline:
1. Extractie: Een algemeen schema extraheert clausules, hiërarchie, tabellen en metadata zonder tekstverlies, waarbij de oorspronkelijke mixed-script structuur behouden blijft.
2. Entiteit-Concept Extractie: Met behulp van een LLM extraheert het systeem canonieke entiteit-concept paren (bijv. "Customs Duty" en de wijzigingen in het tarief) om naamgeving over documenten heen te normaliseren.
3. Thread Constructie: Entiteiten worden geclusterd en gelinkt in evoluerende concept-threads. Een thread vertegenwoordigt een regelgevend onderwerp als een chronologische lijst van instrumenten en de waarden die zij instellen, waarbij amendementen, intrekkingen en terugdraaiingen expliciet worden vastgelegd.
4. QA Generatie: Vragen worden gegenereerd tegen deze threads, wat ervoor zorgt dat elke vraag gegrond is in de geschiedenis van de regel in plaats van in een enkel snapshot.

2.2 Taaktypen

TIDE bestaat uit 3.050 QA-paren verdeeld over acht verschillende taaktypen die verschillende aspecten van temporeel redeneren isoleren:

Temporele MCQ: Het identificeren van het juiste instrument/datum tussen lexicaal nauwe afleiders.
Event Sorting: Het reconstrueren van de chronologische volgorde van door elkaar gehusselde gebeurtenissen zonder expliciete datums.
Perturbatie Detectie: Het verifiëren of een bewering accuraat is en het corrigeren van specifiek gewijzigde velden.
Scenario Kort Antwoord: Het extraheren van waarden uit realistische scenario's zonder directe clausulecitaten.
Temporeel Scenario Kort Antwoord: Redeneren over meerdere instrumenten om de waarde te vinden die van kracht was op een specifieke datum.
Relatieve Tijd QA: Het berekenen van een doeldatum vanaf een anker en offset (bijv. "drie jaar later") om de regerende regel te vinden.
Open-Eind: Het uitleggen van de rationale achter beleidswijzigingen.
Context Misalignment: Het bepalen van het juiste antwoord wanneer de prompt een misleidende, overschreden preambule bevat.

2.3 Evaluatieprotocol

De auteurs evalueren negen recente LLM's (zes open-weight, drie proprietary) onder drie kennis-toegangsettings:

Parametrisch (Closed-Book): Het model antwoordt uitsluitend vanuit het interne geheugen.
ాల Gold-Context (ICL): Het model krijgt de exacte gold-documenten voorgelegd die gebruikt zijn om de vraag te genereren.
Retrieval-Augmented (RAG): Het model ontvangt de top-10 opgehaalde clausules uit een semantische zoekindex.

Scoringmechanisme:
Er wordt een unieke LLM-as-a-Council benadering gebruikt, waarbij drie heterogene rechters (Claude Opus 4.6, Gemini 3.5 Flash, GPT-5.1) worden ingezet. Cruciaal is dat de scoring een harde datumpoort bevat: een antwoord krijgt nul krediet als de datum onjuist is, zelfs als de betekenis correct is. Dit scheidt "correcte betekenis" van "correcte tijd".

3. Belangrijkste Resultaten

De evaluatie van negen modellen laat zien dat versie-resolutie een openstaand probleem blijft, waarbij de beste macro-gemiddelde nauwkeurigheid slechts 68,5% bereikt (GPT-5 onder ICL).

Kennis-toegang Maakt Verschil: Prestaties verbeteren consistent van Parametrisch $\to$ Rand $\to$ ICL. Echter, zelfs met gold context bereiken modellen geen perfecte nauwkeurigheid, wat aangeeft dat het lezen van de juiste tekst noodzakelijk maar niet voldoende is.
De Versie-resolutie Kloof: Modellen zijn aanzienlijk beter in het vinden van correcte versies dan in het verwerpen van onjuiste versies.
- Context Misalignment: Dit is de moeilijkste taak. De beste score behaald door enig model in enige setting is 27,62% (Kimi onder ICL), terwijl andere modellen en settings aanzienlijk lager presteren. Modellen neigen een zelfverzekerde maar onjuiste premisse te volgen boven de geleverde autoritaire tekst.
- Relatieve Tijd QA: De strikte nauwkeurigheid is over de hele linie laag. De hoogste parametrische score is 12,37% (GPT-OSS), terwijl GPT-5 11,08% en Claude 3,77% behaalt. Onder ICL leidt Claude met 68,03%, maar de taak blijft moeilijk voor de meeste modellen.
- Event Sorting: Prestaties storten in bij RAG (dalend van ~66% in ICL naar ~31%) omdat semantische retrieval vaak delen van de tijdlijn mist die nodig zijn om de volgorde te reconstrueren.
Detectie vs. Identificatie: Bij perturbatie detectie zijn modellen goed in het signaleren dat een bewering fout is (hoge detectie) maar slecht in het identificeren wat er is gewijzigd (lage identificatie) zonder gronding. Gronding verbetert identificatie aanzienlijk.
Modelgedrag:
- Parametrisch: Modellen weigeren vaak te antwoorden of hallucineren datums.
- Gegrond: Modellen hallucineren vaak datums die de verstrekte tekst tegenspreken of falen in het oplossen van conflicten tussen een misleidende context en de bron.
- Taakmoeilijkheid: Het type taak voorspelt prestaties sterker dan de identiteit van het model. Eenvoudige herkennings-taken (Temporele MCQ) zijn makkelijk, terwijl taken die redeneren over meerdere documenten vereisen (Event Sorting, Context Misalignment) extreem moeilijk zijn.

4. Bijdragen

Formalisering van Evoluerende Documenten: Het paper formaliseert de uitdaging van versie-resolutie, waarbij onderscheid wordt gemaakt van eenvoudige feitenupdates.
TIDE Benchmark: De release van een hoogwaardige, door experts geverifieerde benchmark van 3.050 QA-paren over 644 echte, code-mixed juridische instrumenten.
Verenigd Evaluatieprotocol: Een nieuw protocol dat modellen evalueert over parametrische, gold-context en retrieval settings met een strikt datum-gegate scoringmechanisme.
Empirische Inzichten: De studie toont aan dat huidige LLM's, zelfs met toegang tot de brontekst, niet in staat zijn om versies betrouwbaar te resolveren, waarbij ze vaak een zelfverzekerde valse premisse verkiezen boven autoritief bewijs.

5. Betekenis en Beperkingen

Betekenis:
Het paper betoogt dat versie-resolutie niet enkel wordt opgelost door retrieval of long-context toegang alleen. De hardnekkige mislukkingen op versie-gevoelige taken benadrukken een kritieke kloof in de capaciteiten van LLM's voor hoog-risico domeinen zoals recht, belastingen en compliance. De benchmark biedt een fundament voor het ontwikkelen van modellen die betrouwbaar kunnen redeneren over evoluerende documenten, waarbij het vermogen om tekst te lezen wordt gescheiden van het vermogen om temporele conflicten op te lossen.

Beperkingen:

Domeinspecifiteit: De benchmark is momenteel beperkt tot de douanewetgeving van Bangladesh en een specifiek taalpaar/kalendersysteem.
Bevroren Modellen: Evaluatie vindt plaats via prompting op bevroren modellen; het verheldert niet of fine-tuning of continued pretraining deze problemen zou oplossen.
Retrieval Baseline: De RAG-resultaten gebruiken een standaard semantische retriever zonder temporele re-ranking, wat betekent dat de RAG-scores een ondergrens vertegenwoordigen.
Parametrische Onzekerheid: Parametrische scores vertrouwen op onverifieerbare aannames over trainingsdata-cutoffs.
Temporele Drift: Aangezien het corpus loopt tot 2025, zal de benchmark periodieke updates vereisen om actueel te blijven.

De auteurs concluderen dat hoewel het lezen van de juiste tekst een vereiste is, het vermogen om de versie in kracht te identificeren en overschreden informatie te verwerpen een significante, nog onopgeloste uitdaging blijft voor huidige LLM's.