Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering

Technische Samenvatting: Diagnosticeren en Mitigeren van Tijdsgebonden Foutpatronen in Statutair Vraag-Antwoord op Basis van LLM's

Probleemstelling
Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor juridisch onderzoek, maar hun statische trainingsdata en vaste kennisafsnijdingen creëren een fundamentele misalignatie met de evoluerende aard van statutair recht. Dit artikel identificeert twee specifieke tijdsgebonden foutpatronen in Juridisch Vraag-Antwoord (QA):

1. Veroudering na afsnijding: Modellen passen vervangen wettelijke regels toe op feitelijke situaties die zich voordoen na wetgevingswijzigingen, waarbij ze vertrouwen op verouderde parametrische kennis.
2. Recency-bias: Modellen prioriteren onterecht nieuwere wettelijke bepalingen, zelfs wanneer de feitelijke situatie expliciet de toepassing vereist van een historische, vervangen versie van de wet.

De auteurs merken op dat hoewel juridische professionals steeds vaker AI vertrouwen voor onderzoek (met een stijging van 14% naar 26% in 2024–2025), deze tools vaak geen bewustzijn hebben van hun beperkte tijdsrobustheid. In tegenstelling tot algemene kennis is juridische correctheid strikt afhankelijk van de specifieke versie van een bepaling en haar tijdsgebonden toepasselijkheid.

Methodologie
Om deze problemen te diagnosticeren en te mitigeren, construeerden de auteurs een nieuw benchmark en evalueerden ze vijf LLM's over vier inferentie-instellingen.

• Datasetconstructie: De auteurs creëerden een dataset van 312 door experts gevalideerde, tijdsgevoelige Duitse statutaire QA-paren. De data werd synthetisch gegenereerd met behulp van historische geconsolideerde versies van zes Duitse wetten (BGB, StPO, AO, EStG, BauGB, HGB) afkomstig van buzer.de. De dataset is verdeeld in drie categorieën:
  • Vragen over wijzigingen na afsnijding (115 items): Ontworpen om veroudering te testen door feitelijke data na de trainingsafsnijding van het model te presenteren, waarbij kennis vereist is van wetgevingswijzigingen die na de afsnijding hebben plaatsgevonden.
  • Vragen voor wijziging (113 items): Feitelijke data vallen voor een wijziging, waarbij het model een oudere versie van de wet moet toepassen ondanks dat nieuwere versies beschikbaar zijn in zijn context of training.
  • Meervoudige-bepalingen-vragen voor wijziging (84 items): Complexe scenario's die synthese vereisen van meerdere bepalingen, waarbij ten minste één in zijn historische versie moet worden toegepast.
• Geëvalueerde Modellen:
  • Taken na afsnijding: ChatGPT-5.1 en Claude Sonnet 3.7 (kennisafsnijdingen gaan vooraf aan de evaluatiedatum).
  • Taken voor wijziging: ChatGPT-5.2, Claude Opus 4.5 en DeepSeek v3.2 (state-of-the-art modellen op het moment van het experiment).
• Inferentie-instellingen:
  • Vanilla: Uitsluitend vertrouwen op interne parametrische kennis.
  • Web Search: Modellen gebruiken native of externe webzoektools om actuele informatie op te halen.
  • RAG-kNN: Retrieval-Augmented Generation met behulp van k-nearest neighbor-zoekopdrachten op tekstembeddings, gefilterd op een geëxtraheerde "per"-datum om ervoor te zorgen dat alleen geldige paragraafversies worden opgehaald.
  • RAG-ToC: Een ophaalstrategie die de inhoudsopgave van de wet gebruikt om relevante paragrafen te selecteren, gevolgd door dezelfde tijdsgebonden filtering en ophaling als bij RAG-kNN.
• Evaluatie: Een LLM als rechter (Gemini 3 Flash Preview), gevalideerd tegen menselijke expertbeoordelingen, scoorde antwoorden op vier criteria: Uitkomstcorrectheid, Correctheid van Juridische Redenering, Correctheid van Juridische Grondslag en Correctheid van Versietoepassing.

Belangrijkste Resultaten

• Ernstige veroudering in Vanilla-modellen: Bij taken na afsnijding vertoonden Vanilla-modellen ernstige degradatie. Bijvoorbeeld, Claude Sonnet 3.1 behaalde uitkomstcorrectheidsscores zo laag als 24,35%, met juridische redeneringcorrectheid die daalde tot 0%. Modellen pasten zelfverzekerd vervangen bepalingen toe in plaats van onzekerheid te signaleren.
• Effectiviteit van Temporal RAG: Zowel RAG-kNN als RAG-ToC verbeterden de prestaties aanzienlijk over alle vraagtypes heen. Bij scenario's na afsnijding behaalden RAG-methoden uitkomstcorrectheidsscores tussen 78% en 94%, wat significant beter was dan de Vanilla- en Web Search-baselines. De twee RAG-varianten vertoonden geen statistisch significante verschillen in prestaties, wat suggereert dat de tijdsgebonden filtering de kritieke factor is in plaats van het ophaalmechanisme (embeddings versus inhoudsopgave).
• Instabiliteit van Web Search: Hoewel Web Search in sommige gevallen de prestaties verbeterde ten opzichte van Vanilla, leverde het onstabiele winsten op en vertoonde het een duidelijke recency-bias. Bij historisch verankerde taken presteerden web-enabled modellen aanzienlijk beter op recente vragen dan op oudere, waarbij ze vaak huidige wetten ophaalden zelfs wanneer historische versies vereist waren.
• Complexiteit bij meervoudige bepalingen: De prestaties namen over het algemeen licht af voor vragen met meerdere bepalingen in vergelijking met taken met één bepaling, met name in Vanilla- en Web-instellingen. RAG-methoden bleven echter robuust, wat aangeeft dat zodra de juiste tijdsgebonden context wordt geboden, huidige LLM's meerdere bepalingen effectief kunnen synthetiseren.
• Recency-bias: Significante prestatieverschillen op basis van de leeftijd van de vraag werden uitsluitend waargenomen onder de Web Search-voorwaarde, wat suggereert dat recency-bias in deze context wordt gedreven door ophaalpijplijnen die "verse" inhoud prefereren in plaats van inherente parametrische biases in de modellen.

Betekenis en Aanspraken
Het artikel stelt dat betrouwbare juridische QA vereist dat tijdsgebonden geldigheid wordt behandeld als een harde beperking. De auteurs betogen dat:

1. Statische training onvoldoende is: Het mismatch tussen statische modelparameters en dynamisch statutair recht creëert een kritiek faalpunt voor juridische AI, wat aanzienlijke aansprakelijkheidsrisico's oplevert wanneer modellen zelfverzekerd verouderde wetten toepassen.
2. RAG met tijdsgebonden filtering is de oplossing: Het eenvoudigweg ophalen van "relevante" semantische matches is ontoereikend. Systemen moeten ophaalruimten expliciet filteren op basis van de "per"-datum van het feitelijke juridische scenario om ervoor te zorgen dat het model redeneert binnen het juiste juridische regime.
3. Web Search is geen wondermiddel: Generieke webzoektools zijn vatbaar voor recency-bias en kunnen verzorgde, versiegebonden statutaire databases voor tijdsgevoelige juridische taken niet betrouwbaar vervangen.

Het werk vult een gat in bestaande benchmarks (die vaak een gebrek aan focus op civiel recht hebben of falen in het testen van veroudering na afsnijding) en biedt empirisch bewijs dat hoewel ophalen data-veroudering kan mitigeren, de redeneercapaciteiten van LLM's met betrekking tot complexe, meervoudige bepalingen bevattende historische synthese nog steeds bescheiden plafonds hebben. De auteurs concluderen dat toekomstig onderzoek moet verkennen hoe deze bevindingen generaliseren naar common law-jurisdicties en verder moet ingaan op de mechanismen van recency-bias.