Validate Your Authority: Benchmarking LLMs on Multi-Label Precedent Treatment Classification

Technisches Fazit: Validierung der Autorität bei der Klassifizierung von Behandlungsarten rechtlicher Präzedenzfälle

Problemstellung
In Common-Law-Rechtsordnungen verlangt die Doktrin des stare decisis von Rechtspraktikern, zu bestimmen, ob eine gerichtliche Entscheidung noch „gültiges Recht" darstellt oder ob ihre Autorität durch nachfolgende Fälle geschwächt oder aufgehoben wurde. Fälle können auf verschiedene nuancierte Weise „negativ behandelt" werden, etwa durch Aufhebung, Kritik, Abgrenzung oder Infragestellung. Eine Fehlklassifizierung dieser Behandlungsarten birgt erhebliche Risiken und kann zu ungünstigen Urteilen sowie beruflichen Konsequenzen führen. Während kommerzielle Zitierdienste (z. B. Shepard's, KeyCite) menschliche Redakteure zur Analyse dieser Behandlungen einsetzen, haben dokumentierte menschliche Fehler das Interesse an automatisierten Lösungen befeuert. Vorangegangene Forschung zeigt jedoch, dass die Klassifizierung von Zitierbehandlungen für maschinelle Lernmodelle intrinsisch schwierig ist, insbesondere aufgrund der semantischen Feinheiten rechtlicher Argumentation und des Mangels an hochwertigen, von Experten annotierten Daten. Dieser Beitrag adressiert die zentrale Frage: Wie genau können zeitgenössische Large Language Models (LLMs) die komplexe rechtliche Argumentation replizieren, die erforderlich ist, um die verschiedenen Behandlungsarten eines gerichtlichen Präzedenzfalls in einem nachfolgenden Fall zu klassifizieren?

Methodik
Die Autoren führten ein systematisches Benchmarking moderner LLMs auf einem neuen, von Experten annotierten Datensatz durch, der von Hellyer (2018) abgeleitet ist und ursprünglich kommerzielle Zitierdienste evaluierte.

• Datensatz-Kuration: Die Autoren digitalisierten und strukturierten ein Korpus von 329 zitierenden Beziehungen, filterten mehrdeutige Fälle heraus, um einen hochkonfidenzstarken Satz zu erstellen. Sie holten Volltexturteile für 239 zitierende Fälle über die CourtListener-API ab, um den Modellen den Kontext des vollständigen Dokuments zu bieten, anstatt isolierter Textausschnitte.
• Aufbau der Ground Truth: Die Ground Truth wurde mittels einer prioritätsbasierten Logik etabliert. Explizite Korrekturen des ursprünglichen Annotators wurden priorisiert. Für Einträge ohne explizite Korrekturen wurden als „akzeptabel" bewertete Labels übernommen. Entscheidend ist, dass der Datensatz multi-label ist und anerkennt, dass mehrere unterschiedliche Behandlungsarten (z. B. „Kritisiert von" und „In Frage gestellt von") gleichzeitig für eine einzelne Beziehung gültig sein können.
• Klassifikationsschemata: Die Studie nutzt ein zweistufiges Schema:
  1. Feinkörnig: 16 distincte Kategorien (z. B. Aufgehoben, Abgegrenzt durch, Umgekehrt durch).
  2. Hochlevel: 5 konzeptionell distincte Gruppen (z. B. UNGÜLTIG, KRITISIERT ODER IN FRAGE GESTELLT, BESCHRÄNKT ODER ABGEGRENZT), die entwickelt wurden, um die extreme semantische Überlappung feinkörniger Labels zu mildern.
• Experimentelles Setup: Die Studie evaluierte vier Modelle: Googles Gemini 2.5 Pro, Gemini 2.5 Flash, OpenAIs GPT-5-mini und das Open-Source-Modell Qwen3 (30B). Die Experimente wurden mit Zero-Shot- und Few-Shot-Prompting-Strategien durchgeführt. Den Modellen wurden die Zitierdaten des Ausgangsfalls sowie der Volltext des zitierenden Falls bereitgestellt, speziell die Abschnitte, die den zitierten Fall analysieren.
• Evaluationsmetriken: Neben der standardmäßigen instanzbasierten Genauigkeit führten die Autoren den Average Severity Error (durchschnittlicher Schwerefehler) und den Median Severity Error (medianer Schwerefehler) ein. Diese Metriken ordnen Labels einer Schwere-Skala zu (1 für Neutral bis 5 für Ungültig), um die praktische Auswirkung von Fehlklassifizierungen zu quantifizieren und zwischen geringfügigen Fehlern (Verwechseln zweier negativer Labels) und kritischen Fehlern (Verwechseln einer negativen Behandlung mit einer neutralen) zu unterscheiden.

Hauptergebnisse
Die Experimente zeigten eine Leistungsspalte zwischen den Modellen, abhängig von der Komplexität des Schemas:

• Hochlevel-Schema: Gemini 2.5 Flash erreichte die höchste Genauigkeit (79,1 % im Zero-Shot-Modus). Es performte außergewöhnlich gut beim häufigsten Label LIMITED OR DISTINGUISHED (Präzision: 0,947), hatte jedoch Schwierigkeiten mit unterrepräsentierten Klassen wie NEUTRAL CITATION (F1: 0,400).
• Feinkörniges Schema: GPT-5-mini war der Top-Performer (67,7 % im Zero-Shot-Modus), obwohl die Leistung bei seltenen Labels signifikant abfiel. Sieben der fünfzehn feinkörnigen Labels führten zu null erfolgreichen Vorhersagen (F1: 0,000), darunter rechtlich bedeutsame Behandlungsarten wie Reversed by (Umgekehrt durch) und Questioned by (In Frage gestellt durch).
• Schwereanalyse: In Bezug auf den Average Severity Error führte erneut Gemini 2.5 Flash mit den niedrigsten Fehlerwerten (0,3933 für Hochlevel, 0,3755 für feinkörnig). Der Median Severity Error für Top-Modelle betrug 0,0, was darauf hindeutet, dass bei über der Hälfte der Vorhersagen die Modelle das perfekt korrekte Label lieferten.
• Qualitative Befunde: Die Fehleranalyse ergab, dass Modelle oft mit dem „Ziel gerichtlicher Maßnahmen" Schwierigkeiten haben (Fehlzuschreibung, ob ein Gericht das Argument einer Partei oder den Präzedenzfall selbst korrigiert) und mit inhärenter Mehrdeutigkeit konfrontiert sind, wo distincte Labels (z. B. Kritisiert vs. Nicht befolgt) semantisch überlappend und kontextabhängig sind.

Hauptbeiträge

1. Neuer Datensatz: Der Beitrag stellt einen öffentlich verfügbaren, von Experten annotierten Datensatz von 239 realen Rechtszitaten mit Volltextkontext und multi-label Ground Truth vor und adressiert damit den Mangel an hochwertigen Daten für diese spezifische Aufgabe.
2. Robustes Evaluierungsframework: Die Autoren schlagen die Metrik Average Severity Error vor und argumentieren, dass die Standardgenauigkeit für rechtliche Aufgaben unzureichend ist, bei denen die Kosten einer Fehlklassifizierung je nach Schwere des Fehlers drastisch variieren.
3. Systematisches Benchmark: Diese Arbeit etabliert eine entscheidende Baseline für die Leistung moderner LLMs bei der Klassifizierung negativer Präzedenzfallbehandlungen und zeigt, dass proprietäre Modelle zwar erhebliches Potenzial aufweisen, aber durch Klassenungleichgewicht und die intrinsische Komplexität rechtlicher Semantik eingeschränkt bleiben.

Bedeutung und Behauptungen
Der Beitrag beansprucht, die erste akademische Studie zu sein, die moderne LLMs systematisch an der feinkörnigen, multi-label Klassifizierung negativer Zitierbehandlungen benchmarkt. Die Autoren behaupten, ihre Arbeit liefere eine notwendige Baseline für eine „kritische, aber nuancierte" NLP-Aufgabe, bei der Fehlklassifizierungen ein hohes Risiko bergen. Sie kommen zu dem Schluss, dass zwar führende proprietäre Modelle das Potenzial haben, diesen Aspekt der Rechtsrecherche zu automatisieren, die aktuelle Leistung jedoch durch Datenknappheit und die semantische Komplexität rechtlicher Argumentation begrenzt ist. Die Studie betont, dass Standardgenauigkeitsmetriken für diesen Bereich unangemessen sind und dass die vorgeschlagene schwerebasierte Evaluierung eine realistischere Einschätzung der Eignung von Modellen für hochriskante rechtliche Anwendungen bietet. Die Autoren bleiben bescheiden bezüglich der definitiven Natur der Ergebnisse und weisen darauf hin, dass die inhärente Subjektivität der Rechtsauslegung eine Obergrenze für die erreichbare Genauigkeit nahelegt und die Ergebnisse als Erkundung aktueller Fähigkeiten und nicht als endgültiges Urteil über rechtliche Argumentation betrachtet werden sollten.