NormDef-FR: an annotated corpus of normative definitions for the automatic processing of French legal codes

Das Recht wird oft als eine riesige Bibliothek von Regeln vorgestellt, doch für einen Computer ist es ein chaotisches Meer aus Text. In Frankreich basiert das Rechtssystem auf Kodizes – massiven Gesetzessammlungen, in denen jedes Wort ein spezifisches Gewicht trägt. Innerhalb dieser tausenden Seiten halten Gesetzgeber häufig inne, um ihre eigenen Begriffe zu definieren. Sie schreiben vielleicht: „Unter personenbezogenen Daten verstehen wir alle Informationen, die sich auf eine identifizierte Person beziehen“, oder „Für den Zweck dieses Artikels umfasst ein Fahrzeug auch ein Fahrrad“. Dies sind nicht nur hilfreiche Erklärungen; sie sind der rechtliche Motor, der bestimmt, wie Rechte und Pflichten funktionieren. Ohsten diese präzisen Definitionen fehlen, kann der Rest des Gesetzes nicht korrekt funktionieren. Das Auffinden dieser Definitionen ist jedoch schwierig, da sie über mehr als 161.000 aktive Artikel verstreut sind, eingebettet in verschiedene Kodizes, die von Gesundheit bis hin zur Besteuerung reichen, ohne dass eine organisierte Karte zu einer Suche führt.

Dieser Mangel an Struktur schafft ein erhebliches Problem für die Technologie. Wenn ein Anwalt oder ein digitales System genau wissen möchte, was ein bestimmter Begriff im Auge des Gesetzes bedeutet, muss er oft unzählige Seiten manuell durchlesen, ohne die Garantie, dass er jede Instanz gefunden hat. Die natürliche Sprachverarbeitung (Natural Language Processing), das Teilgebiet der Informatik, das Maschinen lehrt, die menschliche Sprache zu verstehen, hat große Fortschritte bei der Analyse juristischer Texte gemacht, ist aber an dieser spezifischen Aufgabe gescheitert. Die meisten existierenden Werkzeuge sind für das Englische oder für allgemeine Definitionen konzipiert, wie man sie in Wörterbüchern findet, nicht für die strengen, bindenden Definitionen, die in der französischen Gesetzgebung vorkommen. Um diese Lücke zu schließen, haben Forscher eine neue Ressource namens NormDef-FR geschaffen, eine sorgfältig kuratierte Sammlung dieser rechtlichen Definitionen, die darauf ausgelegt ist, Computern beizubringen, wie sie diese automatisch finden und verstehen können.

Die Forscher, die an der Abdelmalek Essaadi Universität in Marokko arbeiten, gingen das Problem an, indem sie eine Brücke zwischen menschlicher Expertise und maschineller Automatisierung bauten. Sie begannen damit, die aktuellen, aktiven Gesetze aus der offiziellen französischen Rechtsdatenbank zu sammeln. Anstatt zu versuchen, einem Computer beizubringen, die gesamte Bibliothek auf einmal zu lesen, verwendeten sie zuerst einfache, regelbasierte Muster, um wahrscheinliche Kandidaten aufzuspüren. Sie suchten nach spezifischen Phrasen, die das französische Recht verwendet, um Definitionen einzuführen, wie etwa „ist definiert als“ oder „wird betrachtet als“, oder nach der Verwendung eines Doppelpunkts, um einen Begriff von seiner Bedeutung zu trennen. Diese erste Durchmusterung generierte eine Liste potenzieller Definitionen, war aber weit davon entfernt, perfekt zu sein. Viele dieser Kandidaten waren Fehlalarme, die Sätze erfassten, die wie Definitionen aussah, aber tatsächlich etwas anderes waren, wie etwa eine Liste einzureichender Dokumente oder eine Beschreibung einer rechtlichen Folge.

Um diese grobe Liste in ein zuverlässiges Trainingswerkzeug zu verwandeln, holte das Team menschliche Experten hinzu. Sie überprüften manuell tausende dieser Kandidaten und entschieden, welche davon echte, nutzbare rechtliche Definitionen waren und welche verworfen werden sollten. Sie korrigierten auch die Grenzen des Textes und stellten sicher, dass der definierte „Begriff“ und die „Definition“ selbst exakt ausgeschnitten wurden. Dieser Prozess war akribisch. Die Forscher ließen zwei unabhängige Experten eine Stichprobe der Daten labeln, um sicherzustellen, dass sie sich darüber einig waren, was als Definition zählt. Das Ergebnis war ein hohes Maß an Übereinstimmung, das bestätigte, dass die Regeln zur Identifizierung dieser Definitionen klar und konsistent waren. Das Endprodukt, Version 1.0.0 von NormDef-FR, enthält 693 verifizierte Definitionen, die aus 363 verschiedenen Artikeln aus 50 unterschiedlichen Gesetzestexten extrahiert wurden. Jeder Eintrag verknüpft den definierten Begriff mit seiner Bedeutung, enthält Metadaten über seine Herkunft und vermerkt den spezifischen Typ der Definition.

Mit dieser Goldstandard-Sammlung in der Hand testeten die Forscher, wie gut Computer daraus lernen konnten. Sie setzten drei verschiedene Herausforderungen ein, um zu sehen, wo die Maschinen Erfolg hatten und wo sie stolperten. Die erste Aufgabe war die einfache Extraktion: Konnte ein System die Definition erkennen und den Begriff sowie die Bedeutung herausziehen? Die zweite Aufgabe war breiter gefasst: Konnte ein System einen gesamten Artikel analysieren und entscheiden, ob dieser überhaupt eine Definition enthielt? Die dritte Aufgabe war die schwierigste: Konnte ein System eine von einem Computer generierte Kandidatendefinition nehmen und entscheiden, ob sie gut genug war, um behalten zu werden, oder ob es sich um einen Fehler handelte, der verworfen werden sollte?

Die Ergebnisse zeigten eine klare Hierarchie der Schwierigkeit. Die Maschinen waren überraschend gut in der zweiten Aufgabe. Wenn sie gefragt wurden, welche Artikel Definitionen enthielten, arbeiteten die Modelle mit nahezu perfekter Genauigkeit, insbesondere wenn sie auf einem Satz von „echten Negativen“ trainiert wurden – Artikeln, die manuell überprüft worden waren, um sicherzustellen, dass sie keinerlei Definitionen enthielten. Dieser Befund war entscheidend, da er zeigte, dass die frühere Methode, einfach anzunehmen, dass jeder Artikel, der nicht in der Definitionsliste stand, ein „Negativ“ sei, fehlerhaft war; viele dieser Artikel enthielten tatsächlich versteckte Definitionen. Soblich die Forscher die negativen Beispiele bereinigten, konnten die Computer problemlos zwischen einem definitionsreichen Artikel und einem regulären Artikel unterscheiden.

Die dritte Aufgabe erwies sich jedoch als der eigentliche Engpass. Wenn die Computer spezifische Begriff-Definition-Paare validieren mussten, sank ihre Leistung signifikant. Während sie problemlos den allgemeinen Bereich lokalisieren konnten, in dem eine Definition liegen könnte, hatten sie Schwierigkeiten festzustellen, ob das spezifische Paar, das sie extrahiert hatten, rechtlich gültig war. Sie verwechselten oft eine Liste von Anforderungen oder eine Verfahrensanweisung mit einer Definition. Die besten Modelle schafften es, etwa 71 Prozent dieser schwierigen Entscheidungen richtig zu treffen, was weit entfernt von den nahezu perfekten Werten der Artikelerkennung war. Dies deutet darauf an, dass Computer zwar das richtige Viertel finden können, aber dennoch menschliche Hilfe benötigen, um das exakte Haus zu verifizieren.

Die Studie hob auch eine überraschende Einschränkung fortgeschrittener künstlicher Intelligenz in diesem speziellen Kontext hervor. Die Forscher testeten ein hochentwickeltes Sprachmodell, ähnlich denen, die für allgemeine Konversationen genutzt werden, gegen eine einfachere, traditionellere Methode, die auf Wortmustern basiert. Für die schwierige Aufgabe der Validierung von Kandidaten war das komplexe Modell dem einfacheren Modell nicht überlegen. Tatsächlich war die einfachere Methode stabiler und zuverlässiger. Dies deutet darauf hin, dass für hochspezialisierte juristische Texte, in denen die Regeln starr und die Muster spezifisch sind, ein geradliniger Ansatz, der sich auf klare linguistische Marker stützt, effektiver sein kann als ein komplexes System, das versucht, den Text im allgemeinen Sinne zu „verstehen“.

Die Erstellung von NormDef-FR ist mehr als nur ein Datensatz; es ist ein Beweis dafür, wie man zuverlässige Ressourcen für die Rechtstechnologie aufbaut. Die Forscher zeigten, dass es nicht ausreicht, lediglich die Abwesenheit von Daten anzunehmen; man muss aktiv verifizieren, was nicht vorhanden ist. Durch die manuelle Überprüfung der negativen Beispiele verhinderten sie, dass das System falsche Lektionen lernte. Dieser Ansatz stellt sicher, dass die Ressource robust und vertrauenswürdig für zukünftige Entwickler ist. Der Datensatz ist nun öffentlich zugänglich, inklusive Dokumentation und Skripten, die es anderen ermöglichen, die Arbeit zu reproduzieren. Er dient als Fundament für den Aufbau besserer Werkzeuge für die Rechtsforschung und hilft dabei, die mühsame Arbeit der Definitionssuche zu automatisieren, damit Anwälte und Systeme sich auf die Interpretation des Rechts konzentrieren können, anstatt nach dessen Bedeutung zu suchen. Obwohl die Arbeit noch nicht abgeschlossen ist – zukünftige Versionen müssen mehr Arten von Gesetzen abdecken und verfolgen, wie sich Definitionen im Laufe der Zeit ändern – bietet sie einen soliden Ausgangspunkt, um Klarheit in die komplexe Welt der französischen Gesetzestexte zu bringen.