💬 NLP

Towards Explainable Adjudicative Variance: Quantifying Judicial Discretion via Gated Multi-Task Learning

Dieses Paper schlägt eine parametereffiziente, interpretierbare, Richtersensible Gated Multi-Task-Learning-Architektur vor, die groß angelegte generative Baselines bei der Vorhersage von Ergebnissen britischer Arbeitsgerichte (UK Employment Tribunal) übertrifft, indem sie die sachliche Begründung eines Falles explizit durch eine feingliedrige Taxonomie und einen Gated-Fusion-Mechanismus vom richterlichen Ermessensspielraum entkoppelt.

Ursprüngliche Autoren: Stanisław Sójka, Felix Steffek, Matthias Grabmair

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stanisław Sójka, Felix Steffek, Matthias Grabmair

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Warum entscheiden Richter unterschiedlich?

Stellen Sie sich vor, Sie versuchen, den Ausgang eines Rechtsfalls vorherzusagen. Sie haben zwei Hauptinformationen:

Die Fakten: Was tatsächlich passiert ist (die „Geschichte“).
Der Richter: Wer auf der Bank sitzt (der „Entscheidungsträger“).

In vielen Rechtssystemen, insbesondere beim britischen Arbeitsgericht (UK Employment Tribunal), kann ein Fall auf zwei sehr unterschiedliche Arten enden:

Der „Merit“-Weg (Sachliche Entscheidung): Der Richter lift die Geschichte, wiegt die Beweise ab und entscheidet, wer recht hat oder Unrecht hat, basierend auf den Fakten.
Der „Technische“ Weg: Der Richter weist den Fall sofort ab, etwa wegen eines Formfehlers, einer versäumten Frist oder mangelnder Zuständigkeit. Der Richter sieht sich die Geschichte gar nicht erst an.

Das Problem bei aktuellen KI-Modellen ist, dass sie diese beiden Wege oft als dasselbe behandeln. Sie versuchen, das Ergebnis vorherzusagen, indem sie einfach nur den Text lesen, und ignorieren dabei, dass wer der Richter ist, sehr viel bedeutet, wenn die Entscheidung auf technischen Regeln oder persönlichem Ermessen beruht.

Die Lösung: Ein „intelligenter Schalter“ für die KI

Die Autoren haben eine neue Art von KI-Architektur entwickelt, die Judge-Aware Gated Multi-Task Learning (Richter-bewusstes gesteuertes Multi-Task-Lernen) genannt wird. Um zu verstehen, wie sie funktioniert, nutzen wir ein paar Analogien.

1. Das „Zwei-Spuren“-System (Die Taxonomie)

Zuer das stellten die Forscher fest, dass rechtliche Ausgänge nicht einfach nur „Gewonnen“ oder „Verloren“ sind. Sie erstellten eine detaillierte Karte (eine Taxonomie) mit 11 verschiedenen Kategorien.

Analogie: Stellen Sie sich ein Triage-System im Krankenhaus vor. Anstatt nur zu sagen „Krank“ oder „Nicht krank“, unterscheiden sie zwischen „Beinbruch“ (braucht einen Gips), „Grippe“ (braucht Ruhe) und „Falscher Termin“ (nach Hause schicken).
Wie es hilft: Indem sie die KI lehren, diese 11 spezifischen „Arten“ von Enden zu erkennen (wie z. B. „Abweisung“ wegen versäumter Fristen vs. „Sachlicher Sieg“ für ein gutes Argument), lernt die KI, die Fakten des Falls von den technischen Regeln des Gerichts zu trennen.

2. Der „Gated Switch“ (Die Kerninnovation)

Dies ist der wichtigste Teil. Die Forscher gaben der KI einen speziellen „Gate“ oder „Schalter“, der steuert, wie sehr sie auf die Identität des Richters hört.

Die Analogie: Stellen Sie sich einen Türsteher vor einem Club vor.
- Szenario A (Technische Abweisung): Wenn Sie kein Ticket haben (ein technischer Fehler), ist es dem Türsteher egal, wer Sie sind. Sie werden sofort rausgeworfen. Der „Richter-Schalter“ steht auf AUS. Die KI ignoriert den Namen des Richters, weil die Regel streng ist.
- Szenario B (Merit-basiert): Wenn Sie ein Ticket haben, aber der Türsteher einen schlechten Tag hat oder einen bestimmten Stil beim Ausweisen hat, könnte es wichtiger sein, wer Sie sind. Der „Richter-Schalter“ steht auf AN. Die KI achtet auf die Historie des Richters, um zu sehen, ob dieser eher streng oder nachsichtig ist.
Die Magie: Die KI lernt, diesen Schalter je nach Fall automatisch ein- oder auszuschalten. Sie folgt nicht blind dem Namen des Richters; sie nutzt diese Information nur dann, wenn der Fall mehrdeutig ist oder auf dem Ermessen des Richters beruht.

3. Der „Hybrid-Motor“ (Architekturvergleich)

Das Papier testete drei verschiedene Wege, um diese KI zu bauen, wobei ein sehr großes Sprachmodell (Gemma-4) als Motor diente:

Die „Prompt“-Methode (Generative SFT): Dies ist so, als würde man die KI fragen: „Hier ist die Geschichte und hier ist der Name des Richters. Was passiert?“ Die KI versucht, die Antwort in einem einzigen Textstrom zu schreiben.
- Ergebnis: Sie wird verwirrt. „Richter“ und „Geschichte“ vermischen sich im Textstrom, und die KI hat Schwierigkeiten, sie zu trennen. Es ist, als würde man versuchen, Öl und Wasser in einem einzigen Becher zu mischen; sie verbinden sich nicht gut.
Die „Strukturierte“ Methode (Diskriminativ): Diese verwendet ein kleineres, spezialisiertes Gehirn (ModernBERT), das speziell für die Klassifizierung gebaut wurde.
- Ergebnis: Es funktioniert gut, ist aber nicht so leistungsstark wie der große Motor.
Die „Hybrid“-Methode (Der Gewinner): Diese nimmt den leistungsstarken großen Motor (Gemma-4), fragt ihn aber nicht, die Antwort zu schreiben. Stattdessen nutzt sie den Motor nur, um die Geschichte zu verstehen, und gibt dieses Verständnis dann an einen spezialisierten „strukturierten Kopf“ weiter, der den Gated Switch nutzt, um zu entscheiden, wie sehr er auf den Richter hört.
- Ergebnis: Diese Methode gewann. Sie erreichte die höchste Genauigkeit (65,21 % auf einer schwierigen Skala) und nutzte dabei 10-mal weniger trainierbare Parameter als die „Prompt“-Methode.

Wichtige Erkenntnisse

Struktur schlägt Größe: Man braucht kein massives, teures Modell, das versucht, alles gleichzeitig zu machen. Eine kluge Struktur, die die „Fakten“ von der „Einflussnahme des Richters“ trennt, funktioniert besser, als einfach nur mehr Daten in ein riesiges Modell zu füttern.
Kontext ist entscheidend: Die KI lernte, dass bei einigen Fällen (technische Fehler) der Richter keine Rolle spielt. Bei anderen (komplexe Streitigkeiten) ist der Stil des Richters ein entscheidender Hinweis. Der „Gated Switch“ ermöglicht es der KI zu wissen, wann sie auf den Richter schauen muss und wann sie ihn ignorieren sollte.
Erklärbarkeit: Da die KI einen spezifischen „Gate“ für den Richter hat, können wir tatsächlich sehen, wann sie sich entschieden hat, auf den Richter zu hören. Dies macht die KI transparent. Wir können das System prüfen, um zu sehen, ob es fair handelt oder ob es zu sehr auf die Eigenheiten eines bestimmten Richters vertraut.

Das Fazit

Das Paper beweist, dass man, um juristische Ergebnisse präzise vorherzusagen, der KI nicht einfach nur eine Geschichte und einen Namen füttern kann. Man muss ihr beibringen, wie sie diesen Namen verwendet. Durch den Bau eines Systems, das dynamisch entscheidet, wann die Identität des Richters relevant ist, haben die Forscher ein Modell geschaffen, das genauer, effizienter und leichter zu verstehen ist als bisherige Methoden.

Technisches Resümee: Hin zu erklärbarer adjudikativer Varianz

Problemstellung

Systeme zur Vorhersage rechtlicher Ergebnisse stehen vor der grundlegenden Herausforderung, objektive Fallfakten von dem adjudikativen Kontext zu entkoppeln. Während auf Sachgrund basierende Urteile auf materiellen Beweisen beruhen, hängen technische Verfügungen oft von richterlichem Ermessen ab. Bestehende Ansätze, insbesondere Standardmodelle zur Textklassifizierung und generative Large Language Models (LLMs), behandeln die richterliche Identität oft als statisches Merkmal oder versäumen es, die unterschiedlichen funktionalen Pfade rechtlicher Entscheidungen (merit-basiert vs. nicht-merit-basiert) explizit zu modellieren. Darüber hinaus haben aktuelle Methoden Schwierigkeiten, das nuancierte Zusammenspiel zwischen Verfahrensregeln und Tatsachenfeststellung in spezifischen Gerichtsbarkeften wie dem britischen Arbeitsgericht (UK Employment Tribunal, UKET) zu erfassen, wo Ergebnisse nicht monolithisch sind und häufig eher von administrativer Diskretion als von materiellen Rechtsfragen abhängen.

Methodik

Die Autoren schlagen eine Judge-Aware Gated Multi-Task Learning (MTL)-Architektur vor, die darauf ausgelegt ist, die Unterscheidung zwischen merit-basierten und nicht-merit-basierten Entscheidungspfaden explizit zu modellieren. Die Methodik gliedert sich in drei Kernkomponenten:

1. Feingranulare rechtliche Taxonomie (DCO)

Um den Encoder zu überwachen und eine strukturelle Regularisierung zu erzwingen, führen die Autoren eine Detailed Case Outcome (DCO)-Taxonomie ein, die aus 11 feingranularen Kategorien besteht. Dieses Schema unterscheidet zwischen:

Merit-Based Outcomes: Entscheidungen, die Fallfakten und rechtliche Merkmale bewerten (z. B. materieller Sieg/Niederlage, Versäumnisurteil).
Non-Merit-Based Disposals: Entscheidungen, die Fälle aus technischen Gründen beenden, ohne die zugrunde liegenden Fakten zu prüfen (z. B. Abweisung/Strike Out, Verspätung/Out of Time).
Mixed Outcomes: Fälle, die Kombinationen aus materiellen Feststellungen und technischen Verfügungen beinhalten.
Diese Labels dienen als Hilfssupervisionstargets und semantische Prototypen für den Attention-Mechanismus und fungieren als „rechtlicher Lehrplan“, um den gemeinsamen Encoder zu regularisieren.

2. Judge-Aware Gated Fusion

Anstatt Judge-Embeddings naiv zu konkateneren, verwendet die Architektur einen Gated Fusion Mechanismus. Dieses Modul fungiert als dynamischer Zuverlässigkeitsschalter:

Es lernt eine skalare Gate-Aktivierung $g_k \in (0, 1)$ für jedes Ergebnis-Label $k$ .
Das Gate bestimmt die Abhängigkeit vom gelernten Judge-Embedding ( $v_j$ ) basierend auf dem textuellen Merkmal ( $c_k$ ).
Der Mechanismus „konsultiert“ die richterliche Identität selektiv, wenn die textuelle Evidenz mehrdeutig oder diskretionär ist (z. B. komplexe merit-basierte Entscheidungen), während er sie bei eindeutigen technischen Verfügungen (z. B. Strike Outs) unterdrückt.
Dieses Design ermöglicht es dem Modell, die aussage-spezifische Abhängigkeit vom richterlichen Kontext zu lernen, was ein interpretierbares Signal darüber liefert, wann die adjudikative Varianz die Vorhersage treibt.

3. Architektonische Vergleiche (Die „Tracks“)

Die Arbeit führt einen kontrollierten Vergleich über drei architektonische Regime unter Verwendung des Gemma-4 26B-A4B Backbones und eines ModernBERT Baselines durch:

D-Track (Diskriminativ): Eine ModernBERT-basierte Architektur mit LWAN (Label-Wise Attention Network), MTL und Gated Fusion.
G-Track (Generatives SFT): Ein generativer Baseline, bei dem die richterliche Identität und die DCO-Supervision als Prompt-Tokens und Output-Targets via Supervised Fine-Tuning (SFT) mit LoRA injiziert werden.
B-Track (Hybrid): Ein hybrider Ansatz, der den Gemma-4 Encoder nutzt, aber den strukturierten diskriminativen Head (LWAN + Gated Fusion + MTL) beibehält. Dies isoliert die Conditioning-Schnittstelle als die Variable und testet, ob eine strukturierte Komposition eine prompt-basierte Komposition übertrifft.

Kernergebnisse

Evaluierungen an 13.937 Entscheidungen des UK Employment Tribunal liefern folgende Erkenntnisse:

Performance: Die hybride Architektur (B2, LoRA-adaptierter Gemma-4 Encoder + strukturierter Head) erreicht einen neuen State-of-the-Art Macro-F1 von 65,21. Dies entspricht einer Steigerung von +5,1 Punkten gegenüber der stärksten generativen SFT-Variante (G4).
Kompositionseffizienz: Die Ergebnisse zeigen, dass die Komposition auf Prompt-Ebene von richterlicher Identität und feingranularer Supervision sub-additiv ist (die Kombination von Signalen im G-Track liefert abnehmende Erträge). Im Gegensatz dazu führt das Routing derselben Signale durch differenzierbare architektonische Komponenten (B-Track) zu einer additiven Komposition, was die Performance signifikant steigert.
Parametereffizienz: Das hybride B2-Modell erreicht eine überlegene Genauigkeit bei etwa einem Ordnungsfaktor weniger Parametern als die generativen SFT-Baselines.
Klassenspezifische Gewinne: Die Verbesserungen konzentrieren sich auf die ambivalentesten und seltensten Ergebnisklassen (Partly Wins und Other). Beispielsweise verbessert B2 den F1-Score für „Other“ von 0,273 (G4) auf 0,411.
Interpretierbarkeit: Die gelernten Judge-Embeddings und Gate-Aktivierungen ermöglichen die Lokalisierung von Fällen, in denen der adjudikative Kontext die Vorhersage steuert. Kontrafaktische Judge-Swap-Interventionen zeigen, dass B2 aktiver auf die richterliche Identität konditioniert (höhere KL-Divergenz) als generative Modelle, insbesondere bei diskretionären Entscheidungen.
Kalibrierung: Die strukturierte Architektur liefert einen besseren Expected Calibration Error (ECE) im Vergleich zu generativen Baselines, was auf zuverlässigere Wahrscheinlichkeitsschätzungen hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, dass für die identitätskonditionierte Klassifizierung rechtlicher Ergebnisse die Wahl der Conditioning-Schnittstelle über die Skalierung dominiert. Speziell:

Strukturiert vs. Prompt-basiert: Differenzierbare strukturierte Komposition (Lernen von Judge-Embeddings und deren Fusion via Gates) liefert genauere und parametereffizientere Modelle als prompt-basierte Komposition, selbst wenn letztere ein wesentlich größeres Backbone nutzt.
Entkopplung: Die vorgeschlagene Architektur entkoppelt erfolgreich objektive Fallfakte von richterlicher Diskretion und bietet einen klaren Audit-Pfad für die Erklärbarkeit.
Design-Heuristik: Die Arbeit schlägt eine breitere Design-Heuristik für das parametereffiziente Fine-Tuning vor: Variablen, die einer strengen Kontrolle oder Prüfung bedürfen (wie die richterliche Identität), sollten als lernbare Parameter modelliert werden, die dem Gradienten ausgesetzt sind und via strukturierter Attention fusioniert werden, anstatt sie als Prompt-Tokens in die Input-Distribution zu absorbieren.
Jurisdiktionale Spezifität: Die Autoren merken an, dass ihre Ergebnisse auf das UKET zugeschnitten sind, wo richterliche Identitäten erhalten bleiben und prozedurale Verfügungen häufig sind, aber das Prinzip der „gradient-routed remedies“ für kompositorische Engpässe auf andere Domänen mit identitätskonditionierter hierarchischer Klassifizierung übertragbar sein könnte.

Die Autoren wahren eine bescheidene Haltung und räumen Einschränkungen ein, wie die Abhängigkeit von LLM-gestützter Taxonomie-Extraktion (was einen „Silver-Standard“-Rauschfaktor einführt), die Nutzung finaler schriftlicher Urteile statt Rohdaten (potenzielle Post-hoc-Rationalisierung) und die Evaluierung auf einem einzelnen Datensatz und einer LLM-Familie. Sie betonen, dass ihr Ziel eine diagnostische Analyse systemischer Fairness ist und nicht die Schaffung von Werkzeugen für die angewandte Prozessstrategie.