Technische Samenvatting: Tijdelijk Conceptdrift in de Voorspelling van Juridische Uitspraken

Probleemstelling

Huidige benchmarks voor juridische NLP (bijv. LexGLUE, LEXTREME, SCALE) vertrouwen voornamelijk op willekeurige train/test-splits, waarbij impliciet wordt aangenomen dat juridische taal stationair is. Dit ontwerp verdoezelt de realiteit van tijdelijk conceptdrift, waarbij de prestaties van modellen verslechteren naarmate de tijdelijke verdeling van testdata afwijkt van de trainingsdata. In het juridische domein wordt deze drift versterkt door wetgevingswijzigingen, evoluerende rechterlijke praktijken en exogene schokken (bijv. conflicten, hervormingen). Hoewel eerdere studies hebben aangetoond dat klassieke TF-IDF-basismodellen aanzienlijke degradatie ondervinden over verschillende tijdperken van Oekraïense rechterlijke beslissingen, bleef de omvang van dit fenomeen bij neurale transformer-modellen en de effectiviteit van domeinspecifieke pretraining of strategieën voor continue learning onontdekt.

Methodologie

Dataset en Tijdelijke Tijdperken

De studie maakt gebruik van 428.000 Oekraïense rechterlijke beslissingen (burgerlijke en handelsjurisdicties) ontleend aan het Eénheidsregister van Staatsrechterlijke Beslissingen (EDRSR). De data is onderverdeeld in drie distincte tijdelijke tijdperken die geopolitieke verstoringen weerspiegelen:

1. Vooroorlogs (2008–2013): Vredesperiode-baseline (128k beslissingen).
2. Hybride oorlog (2014–2021): Na de annexatie van de Krim en rechterlijke hervorming (150k beslissingen).
3. Volledige invasie (2022–2026): Oorlogsrecht en nieuwe procedurele kaders (150k beslissingen).

Binnen elk tijdperk zijn de splits chronologisch (80% train, 10% val, 10% test) om tijdelijke lekkage te voorkomen. Labels zijn geclassificeerd in drie categorieën: Goedgekeurd, Afgewezen en Gedeeltelijk.

Modellen en Experimenteel Ontwerp

Vier transformer-varianten gebaseerd op XLM-RoBERTa werden fine-getuned om de effecten van modelgrootte en domeinpretraining te isoleren:

• Algemeen doel: XLM-R Base (278M) en Large (560M).
• Juridisch domein: Legal-XLM-R Base en Large (voorgetraind op MultiLegalPile).

Het evaluatieprotocol bestaat uit vier experimenten:

1. In-tijdperk Baselines: Trainen en testen binnen hetzelfde tijdperk om diagonale prestaties vast te stellen.
2. Cross-tijdperk Generalisatie: Een $3 \times 3$ matrix waarbij modellen getraind op één tijdperk worden getest op alle drie. Metrieken omvatten Forward Degradatie (Vooroorlogs $\to$ Volledige invasie) en Backward Degradatie (Volledige invasie $\to$ Vooroorlogs).
3. Cross-jurisdictie Transfer: Het gebruik van Swiss Judgment Prediction (SJP)-data om te testen of pretraining op een buitenlandse jurisdictie tijdelijke drift mitigeert.
4. Continue Learning: Sequentiële fine-tuning in twee richtingen:
   • Voorwaarts (Chronologisch): Vooroorlogs $\to$ Hybride $\to$ Volledige invasie.
   • Achterwaarts (Omgekeerd chronologisch): Volledige invasie $\to$ Hybride $\to$ Vooroorlogs.

Belangrijkste Resultaten

1. Ernstige en Asymmetrische Forward Degradatie

Tijdelijke drift is een dominante bron van prestatieverlies, die de impact van modelselectie of domeinpretraining overtreft.

• Forward Degradatie: Modellen getraind op vooroorlogse data verliezen 11,2 tot 27,2 procentpunten (pp) in macro-F1 wanneer ze worden toegepast op beslissingen uit de periode van de volledige invasie. Het grootste model (XLM-R Large) leed een daling van 27,2 pp.
• Asymmetrie: Backward transfer is significant robuuster. Modellen getraind op de complexe periode van de volledige invasie presteren vaak beter op vooroorlogse testdata dan op hun eigen trainingsperiode (bijv. XLM-R Base wint +9,0 pp bij beweging achterwaarts). Dit ondersteunt de "additieve taal" hypothese: nieuwere juridische kaders omvatten oudere, maar oudere modellen missen representaties voor nieuwe concepten (bijv. bepalingen inzake oorlogsrecht).

2. Het Paradox van Domeinspecifieke Pretraining

Tegengesteld aan verwachtingen verbeterde domeinspecifieke pretraining (Legal-XLM-R) de absolute prestaties niet in vergelijking met algemene XLM-R.

• Absolute Prestaties: Legal-XLM-R-modellen scoorden 7–9 pp lager dan algemene modellen op taken binnen hetzelfde tijdperk.
• Tijdelijke Robuustheid: Juridische modellen vertoonden minder forward degradatie (11–12 pp versus 20–27 pp) en een kleinere asymmetrie-gap. Deze "robuustheid" vloeit echter voort uit een lagere basisdiscriminatieve kracht; hun representaties zijn minder tijdperk-specifiek maar ook minder effectief voor de taak.
• Richtingsgevoelige Fragiliteit: In tegenstelling tot algemene modellen degradeerden juridische modellen in zowel forward als backward richtingen, wat suggereert dat hun representaties breekbaar zijn voor elke tijdelijke verschuiving.

3. Dynamiek van Continue Learning

• Chronologische (Forward) Training: Voor algemene XLM-R-modellen elimineerde sequentiële fine-tuning (Vooroorlogs $\to$ Volledige invasie) catastrofaal vergeten. Vooroorlogse kennis werd behouden of verbeterd (+1,8 tot +6,2 pp), terwijl de prestaties voor de periode van de volledige invasie +16,5 tot +19,0 pp toenamen. Het resulterende model presteerde beter dan enig enkel-tijdperk model.
• Omgekeerd Chronologische Training: Deze richting veroorzaakte ernstig catastrofaal vergeten (−12,2 tot −14,3 pp op data uit de periode van de volledige invasie).
• Juridische Modellen: Legal-XLM-R slaagde er niet in kennis te behouden, zelfs niet in de forward richting, met een verlies van 5,6 pp op vooroorlogse data.

4. Grenzen van Cross-jurisdictie Transfer

Pretraining op data van Swiss Judgment Prediction verbeterde de absolute prestaties over alle tijdperken (+3 tot +10 pp), maar verminderde niet de omvang van de tijdelijke degradatie. De forward degradatie-gap bleef vrijwel identiek (20,3 pp versus 21,3 pp), wat bevestigt dat tijdelijke drift een intrinsieke eigenschap is van de evolutie van juridische taal en geen artefact van een specifieke jurisdictie.

5. Neurale versus Klassieke Baselines

Neurale modellen (gemiddelde F1 ~63–65%) presteerden aanzienlijk slechter dan de TF-IDF-baseline (gemiddelde F1 ~79,8%). De auteurs schrijven dit toe aan tokenisator-fruitbaarheidsstraffen op Oekraïense Cyrillische tekst, waarbij SentencePiece juridische termen fragmenteert in 3–5 subwoorden, waardoor de effectieve context binnen het 512-tokenvenster wordt verminderd.

Betekenis en Claims

Het artikel stelt de eerste neurale tijdelijke robuustheidsbenchmark voor juridische NLP vast. De primaire bijdragen zijn:

1. Kwantificering van Drift: Aantonen dat tijdelijke drift een kritieker factor is voor modelbetrouwbaarheid dan modelarchitectuur of domeinpretraining.
2. Mechanistisch Inzicht: Valideren van de "additieve taal" hypothese via asymmetrische transferresultaten en trajecten van continue learning.
3. Mitigatiestrategie: Identificeren van chronologische continue learning als een effectieve strategie voor algemeen doel-modellen om historische kennis te behouden terwijl ze zich aanpassen aan nieuwe juridische kaders, terwijl omgekeerd chronologische training schadelijk is.
4. Benchmarking Standaarden: Betogen dat juridische NLP-benchmarks tijdelijke robuustheid moeten rapporteren naast aggregate prestaties om risico's van real-world implementatie weer te geven.
5. Resource Release: Leveren van een publiek beschikbare dataset van 428k beslissingen met tijdelijke annotaties als bijdrage aan LEXTREME.

De auteurs concluderen dat voor ingezette juridische NLP-systemen periodieke chronologische hertraining op recente data essentieel is, en dat vertrouwen op domeinspecifieke pretraining contraproductief kan zijn voor jurisdictiespecifieke taken die hoge discriminatieve kracht vereisen.