SinhaLegal: A Benchmark Corpus for Information Extraction and Analysis in Sinhala Legislative Texts

Die Studie stellt SinhaLegal vor, ein umfassendes Korpus aus etwa 2 Millionen Wörtern in 1.206 singhalesischen Gesetzestexten, das durch OCR und manuelle Aufbereitung erstellt wurde und als wichtige Ressource für NLP-Aufgaben wie Informationsextraktion und Analyse im singhalesischen Rechtsbereich dient.

Das Wesentliche

Stellen Sie sich vor, das Gesetzgebungs-System Sri Lankas ist eine riesige, alte Bibliothek. In dieser Bibliothek liegen Millionen von Seiten voller Gesetze, Verordnungen und Entwürfe – alles auf Singhalesisch geschrieben. Das Problem? Diese Bücher sind nicht einfach nur Bücher; sie sind oft verstaubt, die Tinte ist manchmal unscharf, und viele Seiten sind in einem Format, das für Computer schwer zu lesen ist (wie gescannte Bilder).

Die Forscher Minduli Lasandia und Nevidu Jayatilleke haben sich nun eine sehr wichtige Aufgabe gestellt: Sie wollten diese Bibliothek so aufbereiten, dass moderne Computer-KI sie endlich verstehen und nutzen kann. Ihr Ergebnis nennen sie SINHALEGAL.

Hier ist eine einfache Erklärung, was sie getan haben und warum das so wichtig ist, mit ein paar bildhaften Vergleichen:

1. Das Sammeln: Der große Rausch

Stellen Sie sich vor, Sie sammeln alte Zeitungen aus den letzten 40 Jahren. Die Forscher haben über 1.200 dieser "Gesetzes-Bücher" (sogenannte Acts und Bills) aus den Jahren 1981 bis 2014 gesammelt.

• Das Problem: Viele dieser Dokumente waren nur als Bilder (PDFs) vorhanden. Ein Computer kann ein Bild nicht lesen, er sieht nur Pixel.
• Die Lösung: Sie haben einen sehr starken "digitalen Scanner" (Google Document AI) eingesetzt. Man kann sich das vorstellen wie einen super-schnellen Roboter, der über die Seiten fährt und versucht, jeden Buchstaben zu erkennen.

2. Die Reinigung: Der große Hausputz

Nachdem der Roboter die Texte eingelesen hatte, war das Ergebnis noch nicht perfekt. Es war wie ein Haus, das gerade renoviert wurde, aber voller Bauschutt lag.

• Der Bauschutt: Der Scanner hatte manchmal Fehler gemacht (z. B. "a" statt "ä" gelesen), Seitenzahlen mitten in Sätzen eingefügt oder Wasserzeichen (Stempel) mit eingelesen.
• Der Putz: Da die Forscher Muttersprachler sind, haben sie den Text manuell "geputzt". Sie haben die Seitenzahlen entfernt, die Sätze wieder in den richtigen Fluss gebracht und die Stempel weggeklickt.
• Das Filtern: Nicht jedes Dokument war gut genug. Manche waren so unübersichtlich (mit vielen Tabellen und Spalten), dass der Scanner sie nicht lesen konnte. Diese wurden aussortiert, damit nur die "sauberen" und gut lesbaren Dokumente übrig blieben.

3. Das Ergebnis: Ein neuer Schatz

Am Ende haben sie einen riesigen Datenschatz namens SINHALEGAL geschaffen.

• Was ist drin? Etwa 2 Millionen Wörter aus 1.206 Gesetzen.
• Warum ist das toll? Bisher gab es für die singhalesische Sprache kaum spezielle Daten für Computer, die Gesetze verstehen sollen. Es war wie ein leeres Regal in einer Bibliothek. Jetzt ist dieses Regal vollgepackt mit hochwertigen, sauberen Daten.

4. Der Test: Wie gut versteht die KI das?

Die Forscher haben verschiedene KI-Modelle (die "Gehirne" der Computer) getestet, um zu sehen, wie gut sie diese Gesetze verstehen.

• Der Vergleich: Sie haben die KI mit allgemeinen singhalesischen Texten (wie Nachrichten oder Geschichten) verglichen und dann mit den Gesetzen.
• Die Überraschung: Die KI hatte es mit den Gesetzen sogar leichter! Warum? Weil Gesetze sehr formelhaft sind. Sie wiederholen sich oft (z. B. "dieses Gesetz gilt für..."). Das ist wie ein Lied mit einem sehr einfachen, sich wiederholenden Refrain – es ist für die KI einfacher zu erraten, was als Nächstes kommt, als bei einem komplexen, freien Gedicht.

Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen wissen, was in einem bestimmten Gesetz steht, aber Sie können Singhalesisch nicht perfekt lesen oder haben keine Zeit, 100 Seiten zu durchsuchen.
Mit SINHALEGAL können zukünftige Computerprogramme:

• Gesetze automatisch zusammenfassen (wie ein sehr schneller Anwalt).
• Wichtige Informationen herausfischen (z. B. "Welche Strafen gibt es für X?").
• Analysieren, wie sich Gesetze über die Jahre verändert haben.

Zusammenfassend: Die Autoren haben aus einem Haufen unordentlicher, schwer lesbarer Papierdokumente eine saubere, digitale Bibliothek gebaut. Sie haben den "Bauschutt" entfernt und das Material so aufbereitet, dass die Computer-KI endlich lernen kann, die Gesetze Sri Lankas zu verstehen. Das schließt eine riesige Lücke, denn bisher war die singhalesische Rechtssprache für KI fast ein "geheimes Geheimsprache", die niemand entschlüsseln konnte.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „SINHALEGAL: A Benchmark Corpus for Information Extraction and Analysis in Sinhala Legislative Texts" auf Deutsch:

1. Problemstellung

Rechtliche Dokumente bilden das Rückgrat moderner Rechtssysteme und erfordern hohe Präzision, Konsistenz und eine klar definierte Struktur. Die Digitalisierung dieser Texte ist eine Grundvoraussetzung für den Aufbau zuverlässiger NLP-Systeme (Natural Language Processing) im Rechtsbereich.

• Datenmangel: Obwohl das Sinhala (die Hauptsprache Sri Lankas) von ca. 16 Millionen Menschen gesprochen wird, gilt es als „Low-Resource"-Sprache im NLP-Kontext. Es fehlte bisher an spezialisierten, maschinenlesbaren Datensätzen für den Rechtsbereich.
• Herausforderungen: Vorhandene rechtliche Texte liegen oft nur als gescannte PDFs vor, was Probleme bei der optischen Zeichenerkennung (OCR), Layout-Erhaltung und Rauschreduzierung aufwirft. Zudem unterscheiden sich juristische Texte stark von allgemeinen Texten durch komplexe Satzkonstruktionen und spezialisiertes Vokabular.
• Lücke: Bisherige NLP-Ressourcen für Sinhala beschränkten sich auf allgemeine Textsammlungen; es gab keine dedizierten Korpora für Gesetze (Acts) und Gesetzesentwürfe (Bills).

2. Methodik

Die Autoren entwickelten den SINHALEGAL-Datensatz durch einen systematischen Prozess, der Datenbeschaffung, OCR, Filterung und manuelle Nachbearbeitung umfasst.

• Datenerfassung (Data Acquisition):
  • Quelle: Ein öffentliches GitHub-Repository mit offiziellen sri-lankischen Regierungsdokumenten.
  • Auswahl: Es wurden 2.865 PDFs heruntergeladen (über 1.500 Acts und 1.300 Bills).
  • Ausschlusskriterien: Gazetten und Extraordinary Gazettes wurden aufgrund komplexer Mehrspalten-Layouts ausgeschlossen, die die OCR-Qualität beeinträchtigen.
• Textextraktion (OCR):
  • Tool: Google Document AI wurde verwendet (basierend auf einer vergleichenden Studie, die zeigte, dass es bei echten gescannten Sinhala-Dokumenten genauer ist als andere Engines wie Tesseract oder Surya).
  • Prozess: Da die API auf 15 Seiten pro Anfrage begrenzt ist, wurden längere Dokumente in Chunks zerlegt.
• Datenfilterung (Filtration):
  • Explorative Datenanalyse (EDA): Analyse der OCR-Konfidenz und Dokumentenlänge.
  • Zeitliche Einschränkung: Nur Acts (1981–2014) und Bills (2010–2014) wurden behalten.
  • Qualitätsfilter: Dokumente mit sichtbaren Druckfehlern (z. B. doppelte Seiten), extrem langen Dokumenten (>50 Seiten, oft mit Tabellen) und komplexen Layouts wurden entfernt.
  • Ergebnis: Von den ursprünglichen 2.865 Dokumenten blieben 1.206 hochwertige Dokumente übrig (1.065 Acts und 141 Bills).
• Nachbearbeitung (Post-Processing):
  • Manuelle Bereinigung durch muttersprachliche Sinhala-Sprecher.
  • Korrektur von OCR-Fehlern (falsche Buchstaben, getrennte Wörter).
  • Entfernung von Fußzeilen, Seitenzahlen, Wasserzeichen, Preisen und wiederholten Titeln.
  • Korrektur von Abständen und Entfernung unnötiger Sonderzeichen.
• Strukturierung: Der Datensatz ist hierarchisch nach Dokumenttyp und Jahr organisiert und enthält für jedes Dokument eine strukturierte Metadatendatei (JSON).

3. Wichtige Beiträge

• SINHALEGAL Korpus: Das erste umfassende, maschinenlesbare Korpus für sri-lankische Gesetzestexte mit ca. 2 Millionen Wörtern.
• Reproduzierbare Pipeline: Eine detaillierte Dokumentation des Prozesses von der PDF-Erfassung bis zum sauberen Text, einschließlich der Nutzung von Google Document AI und manueller Validierung.
• Metadaten: Jedes Dokument verfügt über Metadaten (OCR-Konfidenz, Seitenzahl, Chunk-Informationen), was die Nachvollziehbarkeit und Auditierbarkeit ermöglicht.
• Benchmark für NLP: Der Datensatz dient als Grundlage für Aufgaben wie Zusammenfassung (Summarisation), Informationsentnahme (Information Extraction) und Analyse im Sinhala-Rechtskontext.

4. Ergebnisse und Evaluation

Das Paper präsentiert eine umfassende Evaluation des Korpus:

• Statistiken:
  • Durchschnittlich 1.677 Token pro Dokument.
  • Gesamtumfang: ~12,8 Millionen Zeichen.
  • Lexikalische Vielfalt: Typ-Token-Ratio (TTR) von 0,73 (Acts) und 0,75 (Bills). Ein hoher Anteil an Hapax Legomena (Wörter, die nur einmal vorkommen) unterstreicht die Fachsprache.
• Wortfrequenz:
  • Die Top-100-Wörter decken fast 50 % des Textes ab, was auf die repetitive und formelhafte Natur juristischer Sprache hinweist (z. B. Konjunktionen wie „හෝ" (oder), „සහ" (und)).
• Named Entity Recognition (NER):
  • Eine regelbasierte NER-Pipeline extrahierte 28.937 Entitäten (Daten, Titel, Organisationen, Gesetze, Personen, Beträge).
  • Durchschnittlich 24 Entitäten pro Dokument.
• Topic Modeling (LDA):
  • Identifikation von 10 Themen, darunter Gesetze, Gerichte, Kommissionen, Wahlen, Renten und Geld.
• Sprachmodell-Evaluation (Perplexity):
  • Verschiedene LLMs (Llama-3.1, Mistral-7B, Falcon-7B, etc.) wurden auf SINHALEGAL und einem allgemeinen Sinhala-Datensatz (MADLAD CulturaX) getestet.
  • Ergebnis: Alle Modelle zeigten eine niedrigere Perplexität auf dem juristischen Korpus als auf dem allgemeinen Korpus. Dies deutet darauf hin, dass juristische Texte aufgrund ihrer repetitiven Strukturen und vorhersehbaren Muster für Modelle leichter zu modellieren sind, trotz der komplexen Terminologie.
• Genauigkeit:
  • Die Word Error Rate (WER) lag bei ca. 23–27 % und die Character Error Rate (CER) bei ca. 24 %, was die Notwendigkeit der manuellen Nachbearbeitung unterstreicht.

5. Bedeutung und Ausblick

• Schließung einer Lücke: SINHALEGAL füllt eine kritische Lücke in der NLP-Forschung für Sinhala, insbesondere im Rechtsbereich, und ermöglicht erstmals systematische diachrone Analysen (zeitliche Entwicklung) von Gesetzen.
• Ressource für die Community: Der Datensatz ist öffentlich verfügbar und bildet eine solide Basis für zukünftige Forschung zu juristischen KI-Systemen, automatischer Rechtsanalyse und Information Retrieval in Sri Lanka.
• Limitationen: Derzeit beschränkt sich der Datensatz auf Acts und Bills (keine Urteile oder Verordnungen), deckt nur die Zeit bis 2014 ab (obwohl die Quelle weiter reicht) und ist rein auf Sinhala beschränkt (keine englischen/tamilischen Versionen).
• Zukunft: Geplant ist die Erweiterung um weitere Dokumententypen, eine feinere Segmentierung in Abschnitte (Preamble, Klauseln) und die Einbeziehung längerer Dokumente (>50 Seiten).

Zusammenfassend stellt SINHALEGAL einen Meilenstein für die Digitalisierung und computergestützte Analyse des sri-lankischen Rechtssystems dar und bietet einen hochwertigen, strukturierten Datensatz für die Entwicklung spezialisierter NLP-Modelle.