PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken zu suchen, suchen Sie nach den spezifischen Gesetzen, die auf eine Geschichte Anwendung finden. In der Welt des Rechts, insbesondere in Orten wie Indien, ist jedes Verbrechen oder jeder Streitfall an einen spezifischen Satz geschriebener Regeln, sogenannte „Statuten“, gebunden. Betrachten Sie diese Statuten als das Regelwerk für ein riesiges, komplexes Spiel. Wenn jemand gegen eine Regel verstößt, muss man die exakte Seite im Regelwerk finden, die seinen Fehler beschreibt. Dies wird als „Statute Prediction“ bezeichnet. Jahrelang wurden Computer immer besser darin, diese Geschichten zu lesen und die richtige Seite im Regelwerk zu erraten, ähnlich wie ein superschneller Bibliothekar. Aber es gibt einen Haken: Nur die richtige Seite zu erraten, reicht nicht aus. In einem echten Gerichtssaal muss ein Richter oder Anwalt wissen, warum diese Regel anwendbar ist. Sie benötigen die Begründung, das „Weil“, nicht nur das „Was“. Es ist wie ein GPS, das Ihnen sagt, dass Sie links abbiegen sollen, aber sich weigert zu erklären, dass sich dort ein riesiges Schlagloch befindet. Dieses Paper taucht in diesen fehlenden Teil ein und stellt die Frage: Können wir Computer nicht nur lehren, das Gesetz zu erraten, sondern auch ihre Logik so zu erklären, dass sie für Menschen Sinn ergibt?

Die Forscher hinter dieser Studie, angeführt von einem Team aus indischen Universitäten, erkannten, dass Computer zwar gut darin wurden, zu erraten, waren aber schrecklich darin, zu erklären, warum sie das Erraten taten. Um dies zu beheben, entwickelten sie etwas namens PROSLEX. Stellen Sie sich PROSLEX als ein massives, superorganisiertes Trainingslager für Computergehirne vor. Sie nahmen 1.623 echte Rechtsfälle vom Obersten Gerichtshof Indiens und ließen echte Rechtsexperten (die menschlichen Coaches) durch diese Fälle gehen. Diese Experten beschrifteten die Fälle nicht nur; sie hoben die exakten Sätze in der Geschichte hervor, die bewiesen, welche Regel anwendbar war, und schrieben die Begründung dahinter auf. Insgesamt erstellten sie 7.450 detaillierte Erklärungen. Es ist, als würde ein Spitzenkoch nicht nur einen fertigen Kuchen zeigen, sondern jeden einzelnen Schritt des Rezepts annotieren und erklären, warum man ihn bei genau 350 Grad backen muss.

Mit diesem neuen „Trainingslager“ bereit, stellten das Team mehrere verschiedene Arten von Computergehirnen auf die Probe. Sie baten diese Computer, eine juristische Geschichte zu lesen und zwei Dinge zu tun: das korrekte Gesetz zu erraten und eine Erklärung für ihr Erraten zu schreiben. Sie probierten verschiedene Lehrmethoden aus, wie zum Beispiel das Zeigen von ein paar Beispielen zuerst (Few-Shot), das Auffordern, Schritt für Schritt zu denken (Chain-of-Thought), oder sogar das Auffordern, mehrere Pfade der Argumentation zu erkunden, wie ein sich verzweigender Baum (Tree-of-Thoughts).

Hier ist, was sie fanden. Erstens waren die Computer, die speziell auf juristischen Texten trainiert wurden (wie InLegalBERT), am besten darin, einfach nur das richtige Gesetz zu erraten, wobei sie es etwa 82 % der Zeit richtig machten. Doch wenn es darum ging, die Erklärung zu schreiben, begannen die großen, allgemeinen KI-Modelle (wie GPT-4) zu glänzen. Wenn diese Modelle angewiesen wurden, Schritt für Schritt zu denken, wurden sie viel besser darin, das Gesetz vorherzusagen und einen Grund zu formulieren, der wie ein echter Anwalt klang. Tatsächlich war GPT-4 der leistungsstärkste Akteur und erzielte die höchsten Punktzahlen bei Expertenbewertungen für seine Erklärungen.

Das Paper fand jedoch auch knifflige Stellen. Wenn die Computer versuchten, die „Tree-of-Thoughts“-Methode (das Ausbreiten in viele verschiedene Ideen) anzuwenden, wurden sie tatsächlich schlechter darin, das richtige Gesetz zu erraten. Es scheint, als ob der Versuch, zu viele Pfade gleichzeitig zu erkunden, sie verwirrte. Außerdem entdeckten die Forscher ein hinterlistiges Problem: Manchmal erriet ein Computer das korrekte Gesetz, lieferte aber eine völlig falsche Begründung dafür. Es ist, als würde ein Schüler in einer Mathearbeit das richtige Ergebnis liefern, aber den falschen Rechenweg zeigen. Das Paper zeigte, dass selbst wenn der Computer das „Statut“ richtig traf, seine Argumentation daneben liegen konnte, was verdeutlicht, dass wir das Ergebnis eines Computers nicht einfach ohne Überprüfung seiner Logik vertrauen können.

Letztendlich schlagen die Autoren vor, dass wir zwar näher kommen, aber noch nicht am Ziel sind. Die besten Ergebnisse wurden erzielt, indem man die Geschwindigkeit des Computers mit menschlichen Argumentationsschritten kombinierte, aber das System benötigt immer noch einen menschlichen Experten, um die Arbeit zu überprüfen. Das Paper behauptet nicht, das Rätsel der juristischen KI für immer gelöst zu haben; statstattdessen bietet es eine neue, hochwertige Karte (den PROSLEX-Datensatz), die andere Forscher nutzen können, um bessere, erklärbare juristische Werkzeuge zu bauen. Es ist ein bedeutender Schritt nach vorn und beweist, dass Computer, wenn wir ihnen die richtige Art von Trainingsdaten geben – komplett mit menschlichen Erklärungen –, beginnen können, nicht nur die Regeln des Spiels zu verstehen, sondern auch den Geist dahinter.