Temporal Decay of Co-Citation Predictability: A 20-Year Statute Retrieval Benchmark from 396M Ukrainian Court Citations

Technische Samenvatting: Temporele Verval van Voorspelbaarheid van Co-citatie in Juridische Zoekopdrachten

Probleemstelling
Systemen voor juridische informatiewinning vertrouwen vaak op co-citatiestructuren—de patronen waarin wetsartikelen gezamenlijk worden aangehaald in rechterlijke uitspraken—als een stabiel zoeksignaal. De impliciete aanname is dat als artikelen A en B frequent gezamenlijk worden aangehaald in historische uitspraken, ze ook relevant blijven voor vergelijkbare toekomstige zaken. Dit artikel daagt de stationariteit van deze aanname uit. Het onderzoekt of de voorspelbaarheid van co-citatie over tijd stabiel blijft of vervalt, wat grafgebaseerde zoekmethoden mogelijk verouderd maakt zonder continue updates. De studie richt zich op het Oekraïense rechtssysteem en maakt gebruik van een enorm corpus aan rechterlijke uitspraken om de temporele stabiliteit van zoeksignalen voor wetsartikelen te meten over een periode van 20 jaar (2007–2026).

Methodologie
De auteurs hebben UA-StatuteRetrieval ontwikkeld, een benchmark afgeleid van het Oekraïense Unificatie van de Staatsregister van Rechterlijke Uitspraken (ЄДРСР). De dataset omvat 101 miljoen rechterlijke uitspraken en 396 miljoen gevalideerde citaties van codexartikelen die zijn geëxtraheerd uit 13 juridische codexen.

• Evaluatieprotocol: De studie hanteert een leave-one-out citatievoorspellingsprotocol over een volledig bipartiet citatiegraf (zaken versus artikelen). Voor elke uitspraak worden specifieke aangehaalde artikelen gemaskeerd, en het systeem probeert deze te herstellen met behulp van de overige citaties. Dit dient als proxy voor het zoeken naar wetsartikelen, waarbij de stabiliteit van het co-citatie-signaal wordt gemeten in plaats van de eindgebruikertaak van het vinden van wetsartikelen op basis van zaakfeiten.
• Scorefuncties: De primaire metrieken zijn Mean Reciprocal Rank (MRR) en Hit@K, geëvalueerd met behulp van:
  • Adamic-Adar (AA) en Common Neighbors (CN): Grafgebaseerde linkvoorspellingsmethoden, aangepast uit sociale netwerkanalyse.
  • Degree Baseline: Een op populariteit gebaseerde zoekmethode.
  • BM25: Een tekstgebaseerde baseline die gemaskeerde teksten van zaken (zonder citaties) als query gebruikt tegen volledige wetteksten.
• Ablatiecontroles: Om echt temporeel verval te onderscheiden van compositieverschuivingen (bijvoorbeeld nieuwe artikelen die het corpus binnenkomen), hebben de auteurs de volgende maatregelen genomen:
  1. Fixed-Article Ablatie: Het evalueren van prestaties op een gedeelde woordenschat van artikelen die zowel in 2012 als in 2024 aanwezig waren.
  2. Temporele Train/Test-splits: Het bouwen van de co-citatiematrix uit de eerste 50% van de zaken (op document-ID) en het evalueren op de resterende 50% om datalekken te voorkomen.
• Mechanismeanalyse: De studie maakt gebruik van meertalige E5-large embeddings om "embedding-drift" te meten. Door de semantische centra van stukjes tekst uit zaken die specifieke artikelen aanhalen in 2012 te vergelijken met die in 2024, kwantificeren de auteurs de semantische verschuiving in hoe artikelen worden toegepast.

Belangrijkste Resultaten
De centrale bevinding is dat de voorspelbaarheid van co-citatie aanzienlijk vervalt over tijd, wat bevestigt dat juridische citatiestructuren niet-stationair zijn.

1. Omvang van het Verval:

   • Op een vaste set artikelen daalde de Adamic-Adar MRR met 33% (van 0,43 naar 0,29) over de studietijd.
   • Onder een strikte temporele train/test-splits (zonder datalekken) was de daling nog ernstiger, namelijk 47% (van 0,51 naar 0,27).
   • De daling is monotoon na 2012, zonder perioden van herstel.

2. Niet-uniforme Degradatie:

   • Frequentie: "Hub"-artikelen (>100.000 citaties) verzetten zich tegen verval en handhaven een MRR > 0,5. Echter, artikelen met een gemiddelde frequentie (1.000–10.000 citaties), die de praktische zoekgrens vormen, verliezen ongeveer 50% van hun voorspelbaarheid (MRR daalt van ~0,15 naar ~0,07).
   • Domein: Strafvordering behoudt stabiele co-citatiepatronen (MRR ~0,40). Daarentegen degradeert Burgerlijk Recht snel (MRR daalt van 0,35 naar 0,15), wat samenvalt met de justitiële hervorming van 2017. Bestuursrecht vertoont ook aanzienlijke degradatie, met name na 2022.

3. Prestaties van Tekstgebaseerde Baselines:

   • Tekstzoekopdrachten met BM25 presteren in absolute termen aanzienlijk slechter dan co-citatiemethoden (MRR 0,047 versus 0,324 in 2024), maar vervallen zelfs sneller (31% daling versus 21% voor co-citatie). Dit daagt de aanname uit dat tekstgebaseerde methoden inherent meer temporeel robuust zijn.

4. Mechanistische Verklaring:

   • De analyse van embedding-drift onthult een semantische verschuiving van 4,3% in hoe artikelen over een periode van 12 jaar worden aangehaald.
   • Burgerlijke procedure vertoont de hoogste semantische drift (0,046), wat direct overeenkomt met de steilste degradatie in zoekresultaten. Dit suggereert dat naarmate de juridische context en de interpretatieve praktijk van een artikel evolueren, zowel structurele (co-citatie) als lexische (BM25) signalen verzwakken.

Betekenis en Claims
Het artikel claimt de eerste longitudinale benchmark te bieden die aantoont dat juridische zoeksignalen niet statisch zijn. De betekenis ligt op drie gebieden:

• Implicaties voor Systeemontwerp: Grafgebaseerde zoeksystemen kunnen niet worden behandeld als statische indexen. De waargenomen vervalkans (~4% MRR per jaar tijdens 2012–2018) impliceert dat dergelijke systemen binnen 3–4 jaar betekenisvolle prestatieverlies lijden zonder hertraining. De auteurs suggereren dat hybride systemen die graf- en tekstmodaliteiten combineren, of die gebruikmaken van continue hertraining, noodzakelijk zijn om de uitdaging van het zoeken naar artikelen met "gemiddelde frequentie" aan te pakken, waar signalen het zwakst zijn.
• Benchmarking-normen: De studie onthult dat standaard leave-one-out evaluatieprotocollen de degradatie in de echte wereld met ongeveer 5 procentpunten onderschatten als gevolg van datalekken. De auteurs pleiten voor temporele train/test-splits als het standaardprotocol voor toekomstige benchmarks voor juridische zoekopdrachten.
• Theoretische Bijdrage: Door semantische embedding-drift te koppelen aan het verval van zoekprestaties, biedt het artikel een mechanistische verklaring voor waarom juridische citatienetwerken degraderen: de evoluerende semantische context van juridische artikelen maakt historische co-citatiepatronen minder voorspellend voor toekomstige relevantie.

De auteurs maken de UA-StatuteRetrieval-benchmark beschikbaar, inclusief moeilijkheidsscores per artikel, 20 jaarlijkse snapshots en metingen van embedding-drift, om de gemeenschap in staat te stellen de temporele robuustheid van toekomstige zoekmethoden direct te meten. Het artikel wijst expliciet op beperkingen, waaronder het feit dat de taak citatievoorspelling is (een proxy) in plaats van volledige zoekopdrachten naar wetsartikelen, en dat de resultaten specifiek zijn voor het Oekraïense rechtssysteem van het burgerlijk recht.