💬 NLP

Towards Explainable Adjudicative Variance: Quantifying Judicial Discretion via Gated Multi-Task Learning

Dit artikel stelt een parameterefficiënte, interpreteerbare Judge-Aware Gated Multi-Task Learning-architectuur voor die grootschalige generatieve baselines overtreft bij het voorspellen van uitkomsten van de Britse Employment Tribunal door expliciet de feitelijke merites van een zaak te ontwarren van rechterlijke discretie via een fijnmazige taxonomie en een gated fusiemechanisme.

Oorspronkelijke auteurs: Stanisław Sójka, Felix Steffek, Matthias Grabmair

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stanisław Sójka, Felix Steffek, Matthias Grabmair

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Waarom beslissen rechters anders?

Stel je voor dat je probeert de uitkomst van een rechtszaak te voorspellen. Je hebt twee belangrijke stukken informatie:

De Feiten: Wat er werkelijk is gebeurd (het "verhaal").
De Rechter: Wie er op de bank zit (de "beslisser").

In veel rechtssystemen, vooral bij het Britse Employment Tribunal, kan een zaak op twee zeer verschillende manieren eindigen:

De "Merit" Route (Inhoudelijke route): De rechter leest het verhaal, weegt het bewijs af en beslist wie er gelijk heeft of ongelijk heeft op basis van de feiten.
De "Technical" Route (Technische route): De rechter wijst de zaak direct af vanwege een fout in de papierwinkel, een gemiste deadline of een gebrek aan rechtsmacht. De rechter kijkt zelfs nooit naar het verhaal.

Het probleem met huidige AI-modellen is dat ze deze twee routes vaak als hetzelfde behandelen. Ze proberen de uitkomst te raden door alleen de tekst te lezen, waarbij ze negeren dat wie de rechter is, erg belangrijk is wanneer de beslissing gebaseerd is op technische regels of persoonlijke discretie.

De Oplossing: Een "Slimme Schakelaar" voor AI

De auteurs hebben een nieuw type AI-architectuur gebouwd genaamd Judge-Aware Gated Multi-Task Learning. Om te begrijpen hoe dit werkt, gebruiken we een paar analogieën.

1. Het "Tweesporen-systeem" (De Taxonomie)

Ten eerste realiseerden de onderzoekers zich dat juridische uitkomsten niet alleen "Winst" of "Verlies" zijn. Ze creëerden een gedetailleerde kaart (een taxonomie) met 11 verschillende categorieën.

Analogie: Stel je een triage-systeem in een ziekenhuis voor. In plaats van alleen te zeggen "Ziek" of "Niet ziek", maken ze onderscheid tussen "Gebroken been" (heeft een gips nodig), "Griep" (heeft rust nodig) en "Verkeerde afspraak" (stuur ze naar huis).
Hoe het helpt: Door de AI te leren deze 11 specifieke "typen" afloop te herkennen (zoals "Strike Out" voor gemiste deadlines versus "Substantive Win" voor een goed argument), leert de AI de feiten van de zaak te scheiden van de technische regels van de rechtbank.

2. De "Gated Switch" (De Kerninnovatie)

Dit is het belangrijkste deel. De onderzoekers gaven de AI een speciale "gate" of "schakelaar" die controleert hoeveel de AI luistert naar de identiteit van de rechter.

De Analogie: Stel je een uitsmijter bij een club voor.
- Scenario A (Technische afwijzing): Als je geen kaartje hebt (een technische fout), maakt het de uitsmijter niet uit wie je bent. Je wordt onmiddellijk weggestuurd. De "Rechter-schakelaar" staat UIT. De AI negeert de naam van de rechter omdat de regel strikt is.
- Scenario B (Inhoudelijke beoordeling): Als je wel een kaartje hebt, maar de uitsmijter heeft een slechte dag of heeft een specifieke stijl van ID-controle, kan het wel degelijk uitmaken wie je bent. De "Rechter-schakelaar" staat AAN. De AI let op de geschiedenis van de rechter om te zien of deze de neiging heeft streng of mild te zijn.
De Magie: De AI leert deze schakelaar automatisch aan of uit te zetten, afhankelijk van de zaak. De AI volgt niet blindelings de naam van de rechter; het gebruikt die informatie alleen wanneer de zaak ambigu is of leunt op de discretie van de rechter.

3. De "Hybride Motor" (Architectuurvergelijking)

Het paper testte drie verschillende manieren om deze AI te bouwen, waarbij een zeer groot taalmodel (Gemma-4) als motor werd gebruikt:

De "Prompt" Methode (Generatieve SFT): Dit is alsof je de AI vraagt: "Hier is het verhaal, en hier is de naam van de rechter. Wat gebeurt er?" De AI probeert het antwoord in één enkele tekststroom te schrijven.
- Resultaat: Het raakt in de war. De "Rechter" en het "Verhaal" raken in de tekststroom vermengd, en de AI worstelt om ze van elkaar te scheiden. Het is alsof je olie en water in één beker probeert te mengen; ze mengen niet goed.
De "Gestructureerde" Methode (Discriminatief): Deze gebruikt een kleiner, gespecialiseerd brein (ModernBERT) dat specifiek is gebouwd voor classificatie.
- Resultaat: Het werkt goed, maar is niet zo krachtig als de grote motor.
De "Hybride" Methode (De Winnaar): Deze neemt de krachtige grote motor (Gemma-4), maar vraagt de AI niet om het antwoord te schrijven. In plaats daarvan gebruikt het de motor enkel om het verhaal te begrijpen, en geeft die het begrip vervolgens door aan een gespecialiseerde "gestructureerde kop" die de Gated Switch gebruikt om te beslissen hoeveel er naar de rechter geluisterd moet worden.
- Resultaat: Deze won. Het bereikte de hoogste nauwkeurigheid (65,21% op een moeilijke schaal) terwijl het 10 keer minder trainbare parameters gebruikte dan de "Prompt" methode.

Belangrijkste Punten

Structuur wint van Grootte: Je hebt geen enorm, duur model nodig dat probeert alles tegelijk te doen. Een slimme structuur die de "feiten" scheidt van de "invloed van de rechter" werkt beter dan simpelweg meer data in een gigantisch model pompen.
Context is Cruciaal: De AI leerde dat voor sommige zaken (technische fouten) de rechter er niet toe doet. Voor andere zaken (complexe geschillen) is de stijl van de rechter een enorme aanwijzing. De "Gated Switch" stelt de AI in staat om te weten wanneer hij naar de rechter moet kijken en wanneer hij hem moet negeren.
Verklaarbaarheid: Omdat de AI een specifieke "gate" heeft voor de rechter, kunnen we daadwerkelijk zien wanneer de AI besloot om naar de rechter te luisteren. Dit maakt de AI transparant. We kunnen het systeem auditeren om te zien of het eerlijk is of dat het te veel leunt op de eigenaardigheden van een specifieke rechter.

De Kernboodschap

Het paper bewijst dat je, om juridische uitkomsten accuraat te voorspellen, niet alleen een verhaal en een naam aan de AI kunt voeren. Je moet de AI leren hoe hij die naam moet gebruiken. Door een systeem te bouren dat dynamisch beslist wanneer de identiteit van de rechter relevant is, hebben de onderzoekers een model gecreëerd dat nauwkeuriger, efficiënter en gemakkelijker te begrijpen is dan eerdere methoden.

Technische Samenvatting: Naar Verklaarbare Adjudicatieve Variantie

Probleemstelling

Systemen voor het voorspellen van juridische uitkomsten staan voor een fundamentele uitdaging: het ontwarren van objectieve procesfeiten van de adjudicatieve context. Terwijl beslissingen gebaseerd op de inhoud rusten op feitelijk bewijs, hangen technische afdoeningen vaak af van rechterlijke discretie. Bestaande benaderingen, met name standaard tekstclassificatiemodellen en generatieve Large Language Models (LLM's), behandelen de identiteit van de rechter vaak als een statisch kenmerk of falen om de onderscheidende functionele paden van juridische beslissingen (inhoudelijk versus niet-inhoudelijk) expliciet te modelleren. Bovendien hebben huidige methoden moeite met het vastleggen van de genuanceerde wisselwerking tussen procedurele regels en feitenonderzoek in specifieke jurisdicties zoals het Britse Employment Tribunal (UKET), waar uitkomsten niet monolithisch zijn en vaak afhangen van administratieve discretie in plaats van de substantiële juridische merites.

Methodologie

De auteurs stellen een Judge-Aware Gated Multi-Task Learning (MTL) architectuur voor, ontworpen om het onderscheid tussen inhoudelijke en niet-inhoudelijke beslissingspaden expliciet te modelleren. De methodologie is gestructureerd rond drie kerncomponenten:

1. Verfijnde Juridische Taxonomie (DCO)

Om de encoder te superviseren en structurele regularisatie af te dwingen, introduceren de auteurs een Detailed Case Outcome (DCO) taxonomie bestaande uit 11 verfijnde categorieën. Dit schema maakt onderscheid tussen:

Inhoudelijke Uitkomsten (Merit-Based Outcomes): Beslissingen die de procesfeiten en juridische merites evalueren (bijv. Substantiële Winst/Verlies, Verzuimvonnis).
Niet-Inhoudelijke Afdoeningen (Non-Merit-Based Disposals): Beslissingen die zaken beëindigen op technische gronden zonder de onderliggende feiten te betrekken (bijv. Afwijzing/Strike Out, Te laat/Out of Time).
Gemengde Uitkomsten (Mixed Outcomes): Zaken die combinaties bevatten van inhoudelijke bevindingen en technische afdoeningen.
Deze labels dienen als hulp-supervisiedoelen en semantische prototypen voor het aandachtmechanisme, en fungeren als een "juridisch curriculum" om de gedeelde encoder te regulariseren.

2. Judge-Aware Gated Fusion

In plaats van judge-embeddings naïef te concateneren, gebruikt de architectuur een Gated Fusion mechanisme. Dit module fungeert als een dynamische betrouwbaarheidsschakelaar:

Het leert een scalaire gate-activatie $g_k \in (0, 1)$ voor elk uitkomstlabel $k$ .
De gate bepaalt de mate van vertrouwen op de geleerde judge-embedding ( $v_j$ ) op basis van de tekstuele feature ( $c_k$ ).
Het mechanisme "raadpleegt" de identiteit van de rechter selectief wanneer tekstueel bewijs ambigu of discretionair is (bijv. complexe inhoudelijke uitspraken) terwijl het deze onderdrukt voor duidelijke technische afdoeningen (bijv. Strike Outs).
Dit ontwerp stelt het model in staat om de uitkomstspecifieke afhankelijkheid van de rechterlijke context te leren, wat een interpreteerbaar signaal geeft over wanneer adjudicatieve variantie de voorspelling stuurt.

3. Architecturale Vergelijkingen (De "Tracks")

Het artikel voert een gecontroleerde vergelijking uit tussen drie architecturale regimes met behulp van de Gemma-4 26B-A4B backbone en een ModernBERT baseline:

D-Track (Discriminatief): Een ModernBERT-gebaseerde architectuur met LWAN (Label-Wise Attention Network), MTL en gated fusion.
G-Track (Generatieve SFT): Een generatieve baseline waarbij de identiteit van de rechter en DCO-supervisie worden geïnjecteerd als prompt-tokens en output-targets via Supervised Fine-Tuning (SFT) met LoRA.
B-Track (Hybride): Een hybride benadering die de Gemma-4 encoder gebruikt maar de gestructureerde discriminatieve kop (LWAN + Gated Fusion + MTL) behoudt. Dit isoleert de conditioning interface als de variabele, om te testen of gestructureerde compositie beter presteert dan prompt-gebaseerde compositie.

Belangrijkste Resultaten

Geëvalueerd op 13.937 beslissingen van het Britse Employment Tribunal, levert de studie de volgende bevindingen op:

Prestaties: De hybride architectuur (B2, LoRA-geadapteerde Gemma-4 encoder + gestructureerde kop) bereikt een nieuwe state-of-the-art Macro-F1 van 65,21. Dit is een verbetering van +5,1 punt ten opzichte van de sterkste generatieve SFT-variant (G4).
Compositie-efficiëntie: De resultaten tonen aan dat prompt-gebaseerde compositie van de identiteit van de rechter en verfijnde supervisie sub-additief is (het combineren van signalen in de G-track levert verminderde meeropbrengsten op). In tegenstelling hiertoe resulteert het routeren van dezelfde signalen via differentiële architecturale componenten (B-track) in een additieve compositie, wat de prestaties aanzienlijk verhoogt.
Parameter-efficiëntie: Het hybride B2-model bereikt superieure nauwkeurigheid terwijl het ongeveer een orde van grootte minder parameters traint dan de generatieve SFT-baselines.
Klasse-specifieke Winsten: Verbeteringen concentreren zich op de meest ambigue en zeldzame uitkomstklassen (Partly Wins en Other). Zo verbetert B2 de F1-score voor "Other" van 0,273 (G4) naar 0,411.
Interpreteerbaarheid: De geleerde judge-embeddings en gate-activaties maken de lokalisatie mogelijk van gevallen waar de adjudicatieve context de voorspelling stuurt. Counterfactual judge-swap interventies laten zien dat B2 actiever conditioneert op de identiteit van de rechter (hogere KL-divergentie) dan generatieve modellen, met name bij discretionaire uitspraken.
Kalibratie: De gestructureerde architectuur levert een betere Expected Calibration Error (ECE) op vergeleken met generatieve baselines, wat wijst op meer betrouwbare waarschijnlijkheidschattingen.

Betekenis en Claims

Het artikel claimt dat voor identiteitsgeconditioneerde classificatie van juridische uitkomsten, de keuze van de conditioning interface de schaal domineert. Specifiek:

Gestructureerd vs. Prompt-gebaseerd: Differentiële gestructureerde compositie (het leren van judge-embeddings en het fuseren ervan via gates) levert nauwkeurigere en parameter-efficiëntere modellen op dan prompt-gebaseerde compositie, zelfs wanneer de laatste een aanzienlijk grotere backbone gebruikt.
Ontwarring (Disentanglement): De voorgestelde architectuur slaagt erin de objectieve procesfeiten te ontwarren van de rechterlijke discretie, wat een helder audittraject voor verklaarbaarheid biedt.
Design Heuristiek: Het werk suggereert een bredere design heuristiek voor parameter-efficiënte fine-tuning: variabelen die strikte controle of auditing vereisen (zoals de identiteit van de rechter) moeten worden gemodelleerd als leerbare parameters die aan de gradiënt worden blootgesteld en via gestructureerde aandacht worden gefuseerd, in plaats van te worden opgenomen in de inputdistributie als prompt-tokens.
Jurisdictionele Specificiteit: De auteurs merken op dat hun bevindingen zijn afgestemd op de UKET, waar identiteiten van rechters behouden blijven en procedurele afdoeningen frequent voorkomen, maar dat het principe van "gradient-routed remedies" voor compositionele bottlenecks kan worden uitgebreid naar andere domeinen met identiteitsgeconditioneerde hiërarchische classificatie.

De auteurs hanteren een bescheiden standpunt en erkennen beperkingen zoals de afhankelijkheid van LLM-ondersteunde taxonomische extractie (wat een "silver-standard" ruisniveau introduceert), het gebruik van definitieve schriftelijke vonnissen in plaats van ruwe indieningen (potentieel voor post-hoc rationalisatie), en de evaluatie op één enkele dataset en LLM-familie. Zij benadrukken dat hun doel een diagnostische analyse van systemische eerlijkheid is, en niet de creatie van instrumenten voor toegepaste processtrategie.