💬 NLP

LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation

Dieser Beitrag stellt LP-Eval vor, eine von Jurist:innen und Forschenden gemeinsam entwickelte Rubrik und ein Datensatz zur Bewertung der Qualität von von großen Sprachmodellen generierten Rechtsaussagen aus Entscheidungen des Europäischen Gerichtshofs, wobei sich zeigt, dass die Modelle zwar im Allgemeinen hochwertige Ergebnisse liefern, ihre Leistung jedoch vom Alter des Falls abhängt und dass rubrikgesteuerte LLM-Bewerter, obwohl sie besser sind als eine direkte Bewertung, dennoch die feinkörnige Sensitivität menschlicher Expert:innen vermissen lassen.

Ursprüngliche Autoren: Shanshan Xu, Johan Lindholm, Amogh Raina, Henrik Palmer Olsen, Daniel Hershcovich

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shanshan Xu, Johan Lindholm, Amogh Raina, Henrik Palmer Olsen, Daniel Hershcovich

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Anwalt, der versucht, einem Mandanten eine komplexe Gerichtsentscheidung zu erklären. Sie möchten ihm nicht das gesamte 50-seitige Dokument vorlesen; Sie möchten es auf einen klaren, kraftvollen Satz reduzieren, der die „Spielregeln" erfasst. In der juristischen Welt wird dieser zusammenfassende Satz als Rechtssatz (Legal Proposition) bezeichnet.

Dieser Aufsatz handelt davon, Computern (speziell Large Language Models, oder „LLMs") beizubringen, diese zusammenfassenden Sätze automatisch zu verfassen, und anschließend herauszufinden, wie man sie fair bewertet.

Hier ist die Aufschlüsselung der Forschung, einfach erklärt:

1. Das Problem: Der „Goldstandard" ist schwer zu finden

Bei vielen Computeraufgaben kann man leicht prüfen, ob eine Antwort richtig oder falsch ist (wie bei einer Matheaufgabe). Aber im Recht gibt es selten nur eine „korrekte" Art, eine Regel zusammenzufassen. Man könnte sagen: „Das Gesetz besagt X" oder „Unter Bedingung Y gilt X". Beides könnte richtig sein, klingt aber unterschiedlich.

Aus diesem Grund funktionieren alte Computerbewertungstools (die nur zählen, wie viele Wörter übereinstimmen) nicht. Sie können nicht erkennen, ob ein Satz wie das Gesetz klingt, aber tatsächlich etwas völlig anderes bedeutet. Außerdem „halluzinieren" Computer manchmal – sie erfinden Regeln, die es nicht gibt.

2. Die Lösung: Ein „juristischer Zeugnis" (Die Bewertungsmatrix)

Um dies zu beheben, arbeiteten die Forscher mit echten Rechtsprofessoren zusammen, um eine Bewertungsmatrix (eine Bewertungskontrolleliste) namens LP-Eval zu erstellen. Denken Sie daran wie an ein Schulzeugnis für einen Schüleraufsatz, aber für juristische Regeln.

Anstatt eine einzelne Note wie „B+" zu vergeben, prüft die Matrix zwei Hauptaspekte:

Das Skelett (Formale Gültigkeit): Hat der Satz die drei notwendigen Knochen?
- Haltung: Nimmt er eine Position ein?
- Objekt: Geht es um eine Rechtsregel (nicht nur um eine Tatsache)?
- Spezifikation: Ist er spezifisch genug?
- Fehlt ein Knochen, ist er „ungültig".
Das Fleisch (Qualitätsdimensionen): Wenn das Skelett gut ist, wie gut ist es geschrieben?
- Knappheit: Ist er kurz und bündig oder weitschweifig?
- Treue: Hält er sich an den Originaltext oder hat er Dinge erfunden?
- Allgemeingültigkeit: Ist es eine breite Regel oder gilt er nur für ein winziges Detail?

3. Das Experiment: Den Computer unterrichten

Die Forscher nahmen 100 Absätze aus echten Gerichtsentscheidungen der Europäischen Union und baten drei verschiedene KI-Modelle, Rechtssätze dafür zu verfassen. Anschließend ließen sie zwei menschliche Rechtsexperten diese KI-Ausgaben mit der neuen „Zeugnis"-Matrix bewerten.

Was sie herausfanden:

Die KI ist in den Grundlagen ziemlich gut: Die meisten von der KI generierten Sätze waren „gültig" (sie hatten die richtigen Knochen).
Alte Fälle vs. Neue Fälle: Die KI leistete bei der Zusammenfassung alter, berühmter Fälle (diejenigen, die jeder kennt und seit Jahren diskutiert) deutlich besser als bei brandneuen, aktuellen Fällen. Es ist wie bei einem Schüler, der eine Prüfung über eine klassische Geschichte, die er hundertmal gelesen hat, mit Bestnoten besteht, aber mit einer Geschichte, die gestern veröffentlicht wurde, Schwierigkeiten hat.
Die KI als Bewerter: Die Forscher baten die KI auch, die Arbeit der anderen KI zu bewerten.
- Gute Nachricht: Wenn die KI die detaillierte „Zeugnis"-Matrix (die Bewertungsmatrix) verwendete, stimmte sie viel häufiger mit den menschlichen Experten überein, als wenn sie einfach versuchte, eine einzige Gesamtnote zu vergeben.
- Schlechte Nachricht: Selbst mit der Matrix war die KI „tonblind". Sie konnte die subtilen Unterschiede zwischen einer „guten" Zusammenfassung eines alten Falls und einer „guten" Zusammenfassung eines neuen Falls nicht erkennen. Die menschlichen Experten konnten den Unterschied spüren; die KI sah sie nur als ungefähr gleich an.

4. Der Datensatz

Das Team führte nicht nur das Experiment durch; sie veröffentlichten die „Hausaufgaben" der Öffentlichkeit. Sie erstellten einen Datensatz, der Folgendes enthält:

Die ursprünglichen Gerichtsabsätze.
Die Versuche der KI, diese zusammenzufassen.
Die detaillierten Bewertungen und Notizen der menschlichen Experten.

Das Fazit

Dieser Aufsatz zeigt, dass Computer gut darin werden, juristische Zusammenfassungen zu verfassen, insbesondere für bekannte Gesetze. Dennoch haben sie immer noch Schwierigkeiten mit den Nuancen neuer, komplexer Fälle. Darüber hinaus: Wenn Sie einen Computer juristische Arbeiten bewerten lassen wollen, können Sie ihn nicht einfach fragen: „Ist das gut?" Sie müssen ihm eine detaillierte Checkliste (eine Matrix) zum Befolgen geben, sonst wird er die wichtigen Details übersehen, die menschliche Experten erkennen.

Kurz gesagt: Computer können die juristischen Regeln schreiben, und sie können sie bewerten, wenn sie eine strenge Checkliste erhalten, aber ihnen fehlt immer noch die „juristische Intuition", um den Unterschied zwischen einem klassischen Fall und einem frischen Fall zu erkennen.

Technische Zusammenfassung: LP-Eval: Rubrik und Datensatz zur Messung der Qualität der Generierung rechtlicher Propositionen

Problemstellung

Die Generierung rechtlicher Propositionen – die Aufgabe, normative Aussagen (Regeln, Prinzipien, Bedingungen und Konsequenzen) aus Rechtstexten zu extrahieren – ist ein grundlegendes Element der Rechtsargumentation und der dogmatischen Rechtswissenschaft. Trotz ihrer Zentralität für die Rechtspraxis und die Organisation rechtlichen Wissens bleibt diese Aufgabe im Bereich des Natural Language Processing für Recht (Legal NLP) unzureichend untersucht. Die bestehende Forschung konzentrierte sich weitgehend auf die Präzedenzfallretrieval, die Vorhersage von Urteilen oder die Zusammenfassung von Fällen und behandelte rechtliche Normen oft implizit statt explizit.

Eine wesentliche Hürde für Fortschritte in diesem Bereich ist das Fehlen robuster Evaluierungsmethodologien. Die Generierung rechtlicher Propositionen ist eine offene Aufgabe, bei der mehrere gültige Ausgaben existieren können, und geringfügige Formulierungsunterschiede die rechtliche Bedeutung verändern können. Folglich sind Standard-N-Gramm-Metriken wie BLEU und ROUGE ungeeignet, da sie oberflächliche Übereinstimmungen messen statt rechtliche Treue. Darüber hinaus sind zwar Large Language Models (LLMs) als Evaluatoren („LLM-as-a-judge") vielversprechend, aber anfällig für Halluzinationen und verfügen oft nicht über die Nuancierung, die erforderlich ist, um ohne strukturierte Anleitung zwischen hochwertigen und minderwertigen rechtlichen Abstraktionen zu unterscheiden.

Methodik

Die LP-Eval-Rubrik

Um die Evaluierungslücke zu schließen, stellen die Autoren LP-Eval vor, eine dreistufige Evaluierungsrubrik, die gemeinsam mit Rechtsexperten entwickelt wurde. Die Rubrik zerlegt die Qualität einer generierten rechtlichen Proposition (LP) in zwei Hauptkategorien:

Formale Gültigkeit (Erforderliche Komponenten): Eine LP gilt nur dann als gültig, wenn sie drei spezifische strukturelle Elemente enthält:
- Stellungnahme: Die normative Position (z. B. „verpflichtet zu einer Pflicht", „verbietet").
- Objekt: Die regulierte Entität oder das regulierte Recht.
- Spezifikation: Die Bedingungen, der Anwendungsbereich oder die Konsequenzen der Regel.
- Hinweis: Fehlt eine Komponente, wird die Proposition als UNGÜLTIG gekennzeichnet.
Qualitätsdimensionen (Bewertung): Gültige Propositionen werden auf einer 1–3-Likert-Skala über fünf Dimensionen bewertet:
- Quellenunabhängigkeit: Der Grad, in dem die Proposition von spezifischen Fallfakten abstrahiert ist.
- Faktenunabhängigkeit: Ähnlich wie bei der Quellenunabhängigkeit, mit Fokus auf die Entfernung faktischer Spezifika.
- Knappheit: Kürze und das Fehlen von Redundanzen.
- Allgemeingültigkeit: Die Anwendbarkeit der Regel über den unmittelbaren Fall hinaus.
- Treue: Die Übereinstimmung mit dem autoritativen Quelltext.

Datensatzkonstruktion

Die Autoren veröffentlichten einen Datensatz, der 100 von LLMs generierte rechtliche Propositionen umfasst, die aus 50 Absätzen abgeleitet wurden, die aus 10 Entscheidungen des Gerichtshofs der Europäischen Union (EuGH) entnommen wurden.

Stichprobenstrategie: Um das Auswendiglernen von Trainingsdaten zu testen, enthält der Datensatz eine Mischung aus gut etablierten (hoch zitierten, älteren) Fällen und aktuellen Fällen.
Generierung: Drei Modelle wurden zur Generierung von Propositionen verwendet: GPT-OSS (120B Parameter), OLMo-3-7B-Instruct und Saul-7B-Instruct (rechtsspezialisiert).
Annotation: Zwei Rechtsexperten (ein Doktorand und ein Jurastudent im letzten Studienjahr) annotierten die Ausgaben von GPT-OSS und OLMo unter Verwendung der LP-Eval-Rubrik. Die Übereinstimmung zwischen den Annotatoren war hoch (Gwets AC1 = 0,96), was die Klarheit der Rubrik validierte.

Experimentelles Design

Die Studie untersucht zwei Aufgaben:

LLM als Generator: Bewertung der Qualität der von LLMs generierten Propositionen im Vergleich zu Expertenannotationen.
LLM als Evaluierer: Bewertung, ob LLMs Expertenurteile replizieren können. Dies wurde in zwei Modi getestet:
- Rubrik-gesteuert: Der LLM folgt dem schrittweisen LP-Eval-Protokoll (Prüfung der Komponenten, gefolgt von der Bewertung der Dimensionen).
- Direkte Bewertung: Der LLM liefert nur eine Gesamtbewertung ohne Zwischenschritte.

Wichtige Ergebnisse

1. Generierungsqualität

Formale Gültigkeit: LLMs zeigten starke Fähigkeiten bei der Generierung strukturell gültiger Propositionen. 95 von 100 generierten LPs wurden als GÜLTIG bewertet. Der primäre Fehlermodus war das Auslassen der Komponente „Objekt" (eine normative Aussage), die sich auch als die für menschliche Annotatoren am schwierigsten zu vereinbarende Komponente erwies.
Qualitätsscores: Experten vergaben hohe Durchschnittswerte für Treue (2,95/3) und Faktenunabhängigkeit (2,96/3), was darauf hindeutet, dass die Modelle erfolgreich von spezifischen Fakten abstrahierten, während sie dem Text treu blieben. Quellenunabhängigkeit (2,31/3) und Knappheit (2,48/3) erhielten leicht niedrigere Werte, was auf gelegentliche Redundanzen oder explizite Quellenverweise hindeutet.
Effekt der Fallprominenz: Es wurde ein statistisch signifikanter Unterschied zwischen Propositionen gefunden, die von gut etablierten Fällen versus aktuellen Fällen abgeleitet wurden. Propositionen aus gut etablierten Fällen wurden bei Knappheit ( $p=0,02$ ), Quellenunabhängigkeit ( $p<10^{-5}$ ) und Gesamtqualität ( $p<0,001$ ) signifikant höher bewertet. Dies deutet darauf hin, dass LLMs bei Fällen mit etablierterem, möglicherweise besser auswendig gelerntem Rechtsdiskurs besser abschneiden.

2. Evaluierungsleistung

Rubrik-Ausrichtung: Bei Verwendung der LP-Eval-Rubrik erreichte GPT-OSS eine hohe Übereinstimmung mit menschlichen Experten (AC1 = 0,91–0,93), vergleichbar mit der Übereinstimmung zwischen Experten (0,94).
Bedeutung der Struktur: Das Entfernen der Rubrik-Schritte und die Aufforderung zu einer direkten Gesamtbewertung reduzierte die Übereinstimmung auf 0,85, was zeigt, dass strukturierte Anleitung für LLM-Evaluierer entscheidend ist.
Grenzen der Sensitivität: Während rubrik-gesteuerte LLMs bei den Gesamtwerten eine gute Übereinstimmung mit Experten zeigten, gelang es ihnen nicht, die statistisch signifikanten Qualitätsunterschiede zwischen gut etablierten und aktuellen Fällen zu erkennen, die von menschlichen Experten identifiziert wurden. Dies zeigt, dass LLMs zwar Expertenbewertungen imitieren können, aber nicht über die Sensitivität verfügen, feinere qualitative Unterschiede im Zusammenhang mit der Fallprominenz zu erfassen, die menschliche Experten wahrnehmen.

Bedeutung und Beiträge

Die Arbeit leistet drei wesentliche Beiträge zum Bereich Legal NLP:

LP-Eval-Rubrik: Sie stellt das erste strukturierte, von Experten entworfene Evaluierungsframework speziell für die Generierung rechtlicher Propositionen vor und geht über oberflächliche Metriken hinaus, um formale Gültigkeit und substanzielle Qualitätsdimensionen zu bewerten.
LP-Eval-Datensatz: Sie veröffentlicht einen kuratierten Datensatz von 100 von Experten annotierten rechtlichen Propositionen aus EuGH-Entscheidungen und bietet einen Benchmark für zukünftige Forschung in der Rechtsargumentation und -generierung.
Empirische Erkenntnisse: Die Studie liefert den ersten systematischen Beleg dafür, dass:
- LLMs hochwertige, formal gültige rechtliche Propositionen generieren können.
- Die Qualität der Generierung mit der Prominenz und dem Alter des Quellfalls korreliert, wahrscheinlich aufgrund von Trainingseffekten.
- Rubrik-gesteuerte LLM-Evaluierung eine viable Alternative zur menschlichen Bewertung für die allgemeine Ausrichtung darstellt, derzeit jedoch nicht über die Sensitivität verfügt, um nuancierte Variationen in der rechtlichen Abstraktion zu erkennen, die menschliche Experten wahrnehmen.

Die Autoren schließen, dass LLMs zwar vielversprechend für die Automatisierung der Generierung und Evaluierung rechtlicher Propositionen sind, aktuelle Modelle jedoch nicht empfindlich genug für die subtilen, hochriskanten Unterscheidungen sind, die der Rechtsargumentation inhärent sind, was eine fortgesetzte Abhängigkeit von menschlicher Expertise für eine feingranulare Bewertung notwendig macht.