ANNOTARES: A Dataset for Extracting Logical Structures from German Statutory Texts
Dieses Paper stellt ANNOTARES vor, einen neuartigen deutschen Datensatz für Gesetzestexte mit Spannen-Annotationen zur Identifizierung von rechtlichen Bedingungen und Folgen, und zeigt auf, dass Transformer-basierte Modelle andere Ansätze bei der Extraktion dieser logischen Strukturen übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Computer vor, die versucht, die menschliche Sprache zu verstehen. Lange Zeit war dies so, als würde man einem Roboter beibringen, ein Geschichtenbuch zu lesen, indem man lediglich zählt, wie oft das Wort „Hund“ vorkommt. Aber echte Sprache ist chaotisch; sie ist voller verborgener Regeln, kniffliger Sätze und Logik, die nicht einfach nur an der Oberfläche liegt. Dieses Feld, genannt Natural Language Processing (NLP), ist der Ort, an dem Wissenschaftler Computer lehren, wirklich zu begreifen, was wir meinen, und nicht nur, was wir sagen. Vor kurzem ist ein spezieller Zweig dieses Feldes entstanden: LegalNLP. Betrachten Sie dies als einen Übersetzer, der versucht, uralte, superkomplexe Gesetzesschriften in etwas zu verwandeln, das ein Computer tatsächlich nutzen kann, um Probleme zu lösen. Warum kümmert das überhaupt jemanden? Weil Gesetze das Regelwerk dafür sind, wie die Gesellschaft funktioniert, aber sie sind in einem dichten, verschachtelten Stil geschrieben, den selbst Menschen schwer analysieren können. Wenn wir Computer lehren können, die „Wenn dies passiert“-Teile und die „Dann passiert dies“-Teile in einem Gesetz zu erkennen, könnten wir Werkzeuge bauen, die Menschen helfen, ihre Rechte zu verstehen, Anwälten helfen, schneller zu arbeiten oder sogar es ermöglichen, dass Computer prüfen, ob eine neue Regel sinnvoll ist, bevor sie verabschiedet wird.
Hier kommt ein Team von Forschern der Hochschule für angewandte Wissenschaften Karlsruhe ins Spiel, das beschlossen hat, ein sehr spezifisches, kniffliges Rätsel im deutschen Recht anzugehen. Sie nennen ihr Projekt ANNOTARES. Um zu verstehen, was sie getan haben, stellen Sie sich ein deutsches Gesetz wie einen riesigen, verhedderten Wollknäuel vor. In diesem Wollknäuel befinden sich zwei verschiedene Arten von Fäden: der Tatbestand (die „Bedingung“ oder der „Wenn“-Teil) und die Rechtsfolge (die „Konsequenz“ oder der „Dann“-Teil). Nehmen wir zum Beispiel den Satz: „Wenn Sie hier ohne Genehmigung parken, erhalten Sie ein Bußgeld.“ Das „Wenn Sie hier ohne Genehmigung parken“ ist die Bedingung, und „erhalten Sie ein Bußgeld“ ist die Konsequenz. Die Herausforderung besteht darin, dass deutsche Gesetzestexte berühmt dafür sind, unglaublich komplex zu sein, mit Sätzen, die sich winden und drehen, wobei das „Dann“ manchmal vor dem „Wenn“ steht oder die Regeln in Schichten anderer Wörter versteckt sind.
Die Forscher erstellten einen brandneuen Datensatz, der im Grunde eine riesige Sammlung von deutschen Gesetzessätzen ist, die sorgfältig von Menschen etikettiert wurden. Sie nahmen über 400 Sätze aus einem Datenschutzgesetz und fügten jeweils 50 Sätze aus einem Bildungsgesetz und einer Bauordnung hinzu. Sie verbrachten Zeit damit, jedes einzelne Wort in diesen Sätzen zu markieren, um zu sagen: „Dieses Wort ist Teil der Bedingung“, „Dieses Wort ist Teil der Konsequenz“ oder „Dieses Wort ist nur Hintergrundrauschen“. Sie ließen sogar sechs verschiedene Personen dieselben Sätze etikettieren, um sicherzustellen, dass sie alle auf demselben Stand waren, und die Übereinstimmung zwischen ihnen war sehr hoch, wie eine Gruppe von Freunden, die sich alle einig über das Ende eines Films ist.
Sobald sie diesen „Goldstandard“-Datensatz hatten, behandelten sie ihn wie ein Trainingsgymnasium für verschiedene Arten von Computergehirnen. Sie testeten sechs verschiedene Ansätze, die von einfachen, regelbefolgenden Robotern (wie einem Rezept, das sagt: „Wenn du das Wort ‚wenn‘ siehst, markiere es“) bis hin zu komplexen, modernen KI-Modellen auf Basis von Transformern (die wie superintelligente Leser sind, die fast das gesamte Internet gelesen haben) reichten. Sie wollten sehen, welcher Computer das Wollknädel am besten entwirren und das „Wenn“ vom „Dann“ trennen konnte.
Die Ergebnisse waren eine Mischung aus Überraschungen und Bestätigungen. Die einfachen, regelbefolgenden Roboter machten einen schrecklichen Job, verirrten sich in den komplexen Sätzen und gaben meistens einfach an, dass alles „Hintergrundrauschen“ sei. Die älteren, einfacheren KI-Modelle (wie BiLSTMs) hatten ebenfalls Schwierigkeiten und scheiterten oft daran, die Grenzen der rechtlichen Regeln korrekt zu finden. Die modernen Transformer-Modelle hingegen, insbesondere eines namens mBERT, spielten die Champions. Sie waren in der Lage, die komplexe Struktur der Rechtssprache zu verstehen und die Bedingungen und Konsequenzen meist korrekt zu identifizieren. Interessanterweise waren auch die neuesten, massiven KI-Modelle (Large Language Models oder LLMs) sehr gut, hatten aber eine kuriose Eigenart: Während sie nicht perfekt darin waren, jedes einzelne Wort korrekt zu etikettieren, waren sie überraschend gut darin, die exakten Start- und Endpunkte der rechtlichen Regeln zu finden, selbst wenn sie ein Wort hier oder da übersahen.
Eines der wichtigsten Ergebnisse der Arbeit war, dass diese Computergehirne wirklich Hilfe bei der „Grammatik“ des Satzes benötigten. Als die Forscher den Modellen zusätzliche Hinweise über die Satzstruktur gaben (wie zum Beispiel zu wissen, welches Wort das Subjekt und welches das Verb ist), verbesserten sich die Modelle erheblich. Es ist, als würde man einem Detektiv eine Karte des Tatorts geben; ohne die Karte errät er vielleicht den richtigen Verdächtigen, aber mit der Karte kann er genau bestimmen, wo das Verbrechen geschah. Die Arbeit legt nahe, dass diese modernen KI-Modelle zwar leistungsstark sind, aber dennoch auf das Verständnis der spezifischen grammatikalischen Strukturen der Rechtssprache angewiesen sind, um ihre beste Arbeit zu leisten.
Am Ende haben die Autoren nicht nur einen Datensatz erstellt, sondern einen Benchmark. Sie haben gezeigt, dass die Extraktion logischer Strukturen aus Gesetzen zwar schwierig ist, moderne KI aber endlich dazu in der Lage ist, sofern sie über die richtigen Daten und ein wenig Hilfe mit der Grammatik verfügt. Sie haben ihren Datensatz der Öffentlichkeit zugänglich gemacht, in der Hoffnung, dass er anderen Forschern helfen wird, noch bessere Werkzeuge für die automatisierte rechtliche Argumentation zu entwickeln. Sie haben nicht behauptet, das gesamte Geheimnis des Rechts gelöst zu haben, aber sie haben bewiesen, dass wir nun Computer lehren können, das „Wenn“ und das „Dann“ in deutschen Gesetzen mit einem hohen Grad an Genauigkeit zu erkennen, was die Tür für eine Zukunft öffnet, in der Rechtstechnologie weniger wie Magie und mehr wie ein zuverlässiger Assistent ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.