AIL: Integrating LLM Capacity Awareness, Legal Intuition, and Lexis Understanding into Legal Information Extraction

In der Welt des Rechts ist ein Gerichtsurteil mehr als nur eine endgültige Entscheidung; es ist eine komplexe Geschichte aus Fakten, Argumenten und Begründungen, die erklärt, warum ein bestimmtes Ergebnis erreicht wurde. Seit Jahrzehnten haben Computer Schwierigkeiten, diese Dokumente zu lesen, da sie sich oft in der dichten, spezialisierten Sprache verlieren, die Anwälte und Richter verwenden. Während künstliche Intelligenz sehr gut darin geworden ist, gewöhnliche Texte zu lesen, stellt das juristische Schreiben eine einzigartige Herausforderung dar. Es stützt sich auf jahrhundertelange Tradition, spezifische Begriffe, die in einem Gerichtssaal etwas anderes bedeuten können als im täglichen Sprachgebrauch, und eine Logik, die sich von Fall zu Fall verschiebt. Um nützliche Werkzeuge zu bauen, die Anwälten helfen können, Präzedenzfälle zu suchen oder Ergebnisse vorherzusagen, müssen Forscher diese unstrukturierten Geschichten in organisierte, maschinenlesbare Daten umwandeln. Die Frage war stets, wie man dies tun kann, ohne die Nuancen zu verlieren, die das Wesen des Rechts ausmachen.

Ein Team von Forschern hat dieses Problem angegangen, indem es einen neuen Weg zur Arbeit mit künstlicher Intelligenz entwickelte – einen Weg, bei dem menschliche Rechtsexperten nicht bloß als Aufseher, sondern als essenzielle Partner im Prozess betrachtet werden. Anstatt zu versuchen, einen Computer alles allein machen zu lassen, schufen sie ein System, in dem menschliche Intuition und tiefes Wissen über die juristische Sprache die Maschine bei jedem Schritt leiten. Sie testeten diesen Ansatz an den Gerichtsurteilen von Macau, einer Region mit einem einzigartigen Rechtssystem, das chinesische und portugiesische Traditionen vermischt und dadurch Dokumente hervorbringt, die notorisch schwierig zu verarbeiten sind. Das Ergebnis ist eine hochpräzise Methode, um unordentliche Gerichtsakten in saubere, strukturierte Informationen zu verwandeln, was beweist, dass der beste Weg, einen Computer über das Recht zu lehren, darin besteht, ihn von einem menschlichen Anwalt den Weg zeigen zu lassen.

Die Forscher begannen mit der Erkenntnis einer grundlegenden Einschränkung der derzeitigen künstlichen Intelligenz. Während große Sprachmodelle riesige Textmengen lesen können, übersehen sie oft die subtilen, verborgenen Bedeutungen, die ein menschlicher Jurist sofort erfassen würde. Ein Computer erkennt vielleicht eine Liste von Fakten, aber er hat Schwierigkeiten zu verstehen, welche Fakten tatsächlich für das Urteil entscheidend sind oder wie die Argumentation eines Richters mit einem spezifischen Gesetz verknüpft ist. Das Team argumentierte, dass der Versuch, den gesamten Extraktionsprozess zu automatisieren und die Maschine raten zu lassen, was sie aus einem Dokument herausziehen soll, zu Fehlern führt. Stattdessen schlugen sie ein Framework namens AIL vor, was für „Awareness of LLM capacity, Legal intuition, and Legal lexis understanding“ steht (Bewusstsein für die Kapazität von LLMs, juristische Intuition und Verständnis der juristischen Lexik). Dieser Ansatz erkennt an, dass Computer Grenzen haben, dass menschliche Erfahrung nötig ist, um das Wichtige zu erkennen, und dass der spezialisierte Wortschatz des Rechts der Maschine klar erklärt werden muss.

Um diese Idee in die Praxis umzusetzen, konzentrierte sich das Team auf die Gerichtsurteile von Macau. Diese Dokumente sind ein perfekter Testfall, da sie lang sind, oft kein Standardformat aufweisen und eine Mischung aus Sprachen und juristischen Konzepten nutzen, die für die Region einzigartig sind. Einige Urteile umfassen über tausend Seiten, und der Schreibstil kann von Richter zu Richter stark variieren. Die Forscher sammelten tausende dieser öffentlichen Dokumente und setzten sich zum Ziel, ein System zu entwickeln, das sie lesen und spezifische Details extrahieren kann, wie etwa das Datum des Falls, die Anklagepunkte, die Argumente beider Seiten und das endgültige Urteil. Sie fütterten die Dokumente nicht einfach in einen Computer und hofften auf das Beste. Stattdessen entwarfen sie einen schrittweisen Arbeitsablauf, bei dem menschliche Experten und der Computer in einem Zyklus aus Testen und Verfeinern zusammenarbeiteten.

In der ersten Phase definierten die menschlichen Experten, welche Informationen extrahiert werden mussten, und erstellten eine Liste von fünfzehn spezifischen Feldern, die für jeden Fall auszufüllen waren. Sie verfassten anschließend Anweisungen, sogenannte „Prompts“, um dem Computer zu sagen, wie er diese Informationen finden kann. Da sie jedoch wussten, dass der Computer Fehler machen würde, bauten sie einen strengen Prüfprozess ein. Eine Gruppe von Rechtsexperten, darunter Richter und Staatsanwälte, überprüfte die ersten Versuche des Computers. Sie suchten nach Fehlern, wie etwa fehlenden Details, erfundenen Fakten oder Informationen, die aus dem falschen Teil des Textes entnommen wurden. Wenn der Computer scheiterte, gaben die Menschen nicht einfach dem Computer die Schuld; sie passten die Anweisungen an. Sie erklärten die verwirrenden juristischen Begriffe klarer, gaben dem Computer Beispiele dafür, wonach er suchen sollte, und sagten ihm genau, wo im Dokument er suchen musste. Dieser Zyklus aus Testen, Fehlersuche und der Verfeinerung der Anweisungen wiederholte sich immer wieder, bis sich die Leistung des Computers dramatisch verbesserte.

Die Ergebnisse dieser Zusammenarbeit waren beeindruckend. Nach der Verfeinerung des Systems durch diesen von Menschen geführten Prozess erreichten die Forscher eine Gesamtgenauigkeit von 98,6 Prozent bei der Extraktion von Informationen aus den Macau-Urteilen. Das bedeutet, dass der Computer in fast jedem einzelnen Fall die Schlüsseldetails korrekt identifizierte, nach denen die Menschen suchten. Selbst bei den schwierigsten Feldern, wie der Identifizierung spezifischer prozessualer Maßnahmen während eines Prozesses oder der Zusammenfassung der komplexen Sachverhalte eines Falles, lag die Genauigkeit stabil über 90 Prozent. Das Team stellte zudem fest, dass die erstellten strukturierten Daten sofort nutzbar waren. Sie verwendeten den neuen Datensatz, um andere Modelle der künstlichen Intelligenz zu trainieren, um die Ausgänge zukünftiger Fälle vorherzusagen und die Art des Rechtsstreits zu klassifizieren. Diese nachgelagerten Aufgaben zeigten, dass die extrahierten Informationen nicht nur präzise, sondern auch reichhaltig genug waren, um fortgeschrittene juristische Analysen zu unterstützen.

Die Studie zeigte auch, dass spezialisierte juristische Modelle, die oft mit Daten aus dem chinesischen Festland trainiert wurden, bei der Anwendung auf das einzigartige Rechtssystem von Macau weniger gut abschnitten als allgemeine Modelle. Dies deutet darauf hin, dass ein Modell, das für eine bestimmte Rechtskultur trainiert wurde, nicht automatisch eine andere versteht, selbst wenn sie dieselbe Sprache teilen. Der Erfolg des Projekts beruhte auf den menschlichen Experten, die die spezifischen Eigenheiten der Gesetze von Macau verstanden und dem Computer beibrachten, wie er sich darin zurechtfindet. Durch die Kombination der Geschwindigkeit und der Fähigkeit des Computers, große Textmengen zu verarbeiten, mit dem tiefen Verständnis der menschlichen Experten für juristische Logik und Sprache, schufen die Forscher ein System, das sowohl effizient als auch zuverlässig ist.

Diese Arbeit weist einen neuen Weg für die Rechtstechnologie auf. Sie legt nahe, dass die Zukunft der juristischen künstlichen Intelligenz nicht darin liegt, zu versuchen, eine Maschine zu bauen, die allein alles weiß, sondern in der Schaffung von Systemen, in denen Menschen und Maschinen zusammenarbeiten. Der Mensch liefert die Intuition und das spezialisierte Wissen, während die Maschine die Schwerstarbeit des Lesens und Organisierens der Daten übernimmt. Durch das Befolgen dieses kollaborativen Ansatzes können Forscher hochwertige Datensätze für jedes Rechtssystem erstellen, egal wie komplex oder einzigartig es sein mag. Die Studie zeigt, dass wir, wenn wir die Grenzen der künstlichen Intelligenz respektieren und menschliche Expertise in den Prozess einbinden, die riesigen, ungenutzten Informationen freisetzen können, die in Gerichtsurteilen verborgen liegen, und das Recht für alle zugänglicher und verständlicher machen können.