Legal Experts Disagree With Rationale Extraction Techniques for Explaining ECtHR Case Outcome Classification

Probleemstelling

De toepassing van Large Language Models (LLMs) in het juridische domein vereist een hoge mate van interpretatiebaarheid, vertrouwen en transparantie. Een centrale taak in dit domein is het voorspellen van de uitkomst van rechtszaken (bijv. of er sprake is van een schending van mensenrechten). Hoewel er bestaande methoden zijn om deze voorspellingen te verklaren (zoals rationale-extractie), is het onduidelijk of deze technieken daadwerkelijk bruikbare en geloofwaardige verklaringen bieden voor juridische experts.

Er zijn twee specifieke problemen die dit artikel aanpakt:

1. Gebrek aan validatie door experts: Bestaande rationale-extractietechnieken zijn zelden geëvalueerd door juridische experts. De "redenen" die modellen geven, lijken vaak niet overeen te komen met de juridische redenering van mensen.
2. Data-kwaliteit: Bestaande datasets voor het European Court of Human Rights (ECtHR) bevatten fundamentele fouten in de labels (bijvoorbeeld onontvankelijke zaken of zaken met "impliciete schendingen" die ten onrechte als "geen schending" zijn gelabeld), wat de betrouwbaarheid van eerdere studies ondermijnt.
3. Schalbaarheid van evaluatie: Het laten evalueren van rationale-extracties door menselijke experts is duur en schaalt niet goed. Er is behoefte aan geautomatiseerde methoden (zoals "LLM-as-a-Judge") om dit proces te vervangen, maar de betrouwbaarheid hiervan in het juridische domein is nog niet onderzocht.

Methodologie

1. Nieuwe Dataset (ECtHR)
De auteurs hebben een nieuwe, zorgvuldig samengestelde dataset van het ECtHR gecreëerd door de HUDOC-database te scrapen (tot december 2025).

• Filtering: Ze hebben onontvankelijke zaken (inadmissible) en zaken met onduidelijke schendingen verwijderd om de "gold-standard" labels te verbeteren.
• Samenstelling: De dataset bevat 15.221 gevallen met een vastgestelde schending en 1.573 gevallen zonder schending (na subsampling voor balans).
• Focus: De analyse concentreert zich op artikelen 6 (recht op een eerlijk proces) en 8 (recht op respect voor privé- en gezinsleven) van het Europees Verdrag voor de Rechten van de Mens.

2. Interpretabiliteitsmethodes
Twee model-agnostische rationale-extractietechnieken werden vergeleken:

• MaRC (Masked Rationale Creation): Een optimalisatiegebaseerde methode die een input-mask leert om niet-informatieve tokens te vervangen, zodat de classificatie behouden blijft. Het streeft naar rationale die sufficient (voldoende), comprehensive (omvattend) en compact zijn.
• ISR (Flexible Instance-Specific Rationale Extraction): Een ensemble-methode die verschillende feature-attribution technieken (zoals Attention, Integrated Gradients, LIME, DeepLift) combineert om de beste rationale te selecteren op basis van divergentie in voorspellingen.

3. Evaluatie Framework
De auteurs introduceerden een gestandaardiseerd kader voor vergelijking:

• Kwantitatieve Metrics:
  • Normalized Sufficiency (NormSuff): Meet hoe goed de rationale de oorspronkelijke voorspelling ondersteunt.
  • Normalized Comprehensiveness (NormComp): Meet hoe sterk de voorspelling daalt als de rationale wordt verwijderd.
  • F1-score verandering: Impact op de classifier-performance bij masking.
• Kwalitatieve Expert Analyse:
  • Twee juridische experts (Expert A en Expert B) evalueerden de rationale. Expert A extrahette rationale uit de feiten (zonder kennis van de uitspraak), terwijl Expert B beoordeelde of de rationale (van MaRC, ISR en Expert A) de uitkomst ondersteunde en voldoende was om tot een conclusie te komen.
  • De focus lag op globale ondersteuning en sufficientie in de context van het volledige dossier.
• LLM-as-a-Judge:
  • Drie LLMs (Llama-3.1, Mixtral, Gemma-2) werden getest om de kwaliteit van de rationale te beoordelen, met de menselijke expert als referentie. Dit werd gedaan in zero-shot en few-shot configuraties.

Belangrijkste Resultaten

1. Discrepantie tussen Modellen en Experts
Hoewel de kwantitatieve metrics (zoals NormSuff en NormComp) soms hoge scores lieten zien voor MaRC en ISR, concludeerden juridische experts dat de geëxtraheerde rationale niet geloofwaardig waren.

• Fragmentatie: De rationale van de modellen bestonden vaak uit losse zinsdelen, zonder werkwoorden of onderwerpen (bijv. "non-enforcement (section 74)" of "000.8. on 28").
• Gebrek aan context: Kritieke juridische feiten werden vaak halverwege een zin afgesneden, waardoor de betekenis verloren ging.
• Expert oordeel: Expert B oordeelde dat in 9 van de 10 gevallen bij ISR en 7 van de 10 bij MaRC de rationale noch ondersteunend noch voldoende was. Menselijke rationale waren daarentegen coherent, behielden de chronologische volgorde en bestonden uit volledige paragrafen.

2. Kwantitatieve vs. Kwalitatieve Inconsistentie
Er was een duidelijke tegenstelling tussen de automatische "faithfulness" scores en de menselijke beoordeling. Modellen presteerden goed op de metrics die kijken naar statistische correlatie, maar faalden in het leveren van juridisch betekenisvolle uitleg. Dit suggereert dat bestaande kwantitatieve metrics onvoldoende zijn voor de evaluatie van rationale in complexe domeinen zoals het recht.

3. Beperkingen van LLM-as-a-Judge
De poging om LLMs te gebruiken als vervanging voor menselijke experts leverde gemengde resultaten op:

• De overeenstemming (Cohen's Kappa) tussen LLMs en experts varieerde van "geen overeenstemming" tot "redelijke overeenstemming" (bijv. Llama bereikte soms ~0.4).
• De betrouwbaarheid was laag door grote betrouwbaarheidsintervallen en inconsistente beoordelingen van dezelfde documenten door de LLMs.
• Conclusie: LLM-as-a-Judge is op dit moment nog niet betrouwbaar genoeg om menselijke expertevaluatie in het juridische domein volledig te vervangen, vooral vanwege het risico op hallucinaties en gebrek aan consistentie.

Belangrijke Bijdragen

1. Nieuwe, Foutloze Dataset: De publicatie van een nieuw, zorgvuldig gecontroleerd ECtHR-dataset dat de fouten in eerdere datasets (zoals die van Chalkidis et al.) corrigeert door onontvankelijke en dubbelzinnige zaken te verwijderen.
2. Gestandaardiseerd Evaluatie Framework: Een nieuw kader dat kwantitatieve metrics combineert met diepgaande kwalitatieve evaluatie door juridische experts, specifiek gericht op rationale-extractie.
3. Empirisch Bewijs van Discrepantie: Het aantonen dat model-agnostische rationale-extractietechnieken fundamenteel verschillen van hoe juridische experts redeneren, wat de bruikbaarheid van huidige "black-box" uitlegmethoden in vraag stelt voor real-world juridische toepassingen.
4. Realiteitstest voor LLM-as-a-Judge: Een kritische evaluatie van de haalbaarheid van het gebruik van LLMs als vervanging voor menselijke experts in de juridische interpretatie, met de conclusie dat ze nog niet klaar zijn voor deze rol.

Significantie

De studie heeft grote implicaties voor de ontwikkeling van Trustworthy AI in het recht. Het toont aan dat het simpelweg maximaliseren van voorspelbaarheid of het behalen van hoge "faithfulness"-scores op kwantitatieve benchmarks niet voldoende is. Voor juridische toepassingen moeten uitlegmethoden (rationales) semantisch correct, coherent en juridisch onderbouwd zijn.

De bevindingen waarschuwen tegen het blindelings vertrouwen in geautomatiseerde uitlegsystemen voor juridische beslissingen. Zolang de rationale die modellen genereren niet overeenkomen met de redenering van menselijke experts, zijn deze systemen riskant voor gebruik in hoog-risico scenario's. Bovendien benadrukt het artikel dat geautomatiseerde evaluatie door LLMs nog niet de menselijke expertise kan vervangen, wat een belangrijke beperking is voor de schaalbaarheid van toekomstig onderzoek in dit domein.