SinhaLegal: A Benchmark Corpus for Information Extraction and Analysis in Sinhala Legislative Texts

Dit paper introduceert SinhaLegal, een uitgebreid corpus van ongeveer 2 miljoen woorden bestaande uit Sinhala-wetgevingsteksten dat is ontwikkeld om de kloof in wetenschappelijk onderzoek te dichten en diverse NLP-taken zoals informatievergaring en analyse te ondersteunen.

De kern

SINHALEGAL: Een digitale bibliotheek voor de Sri Lankaanse wetten

Stel je voor dat je een enorme, oude bibliotheek binnenstapt. Deze bibliotheek bevat alle wetten en wetsvoorstellen van Sri Lanka, maar ze zijn niet netjes op de planken geplaatst. Ze liggen in stapels, sommige zijn beschadigd, andere zijn in een taal die niemand meer begrijpt, en veel zijn zelfs in een taal geschreven die alleen op papier staat, niet op een computer.

De auteurs van dit paper, Minduli en Nevidu, hebben een project gestart om deze chaos op te lossen. Ze hebben SINHALEGAL gecreëerd: een super-georganiseerde, digitale verzameling van Sri Lankaanse wetten in de Sinhala-taal. Hier is hoe ze dat hebben gedaan, vertaald in alledaagse taal:

1. Het Verzamelen: De Digitale Schatgraven

Stel je voor dat je een schatgraver bent. De "schat" waren de officiële documenten van de Sri Lankaanse overheid, verspreid over decennia (van 1981 tot 2014).

• Het probleem: De meeste documenten waren gescande PDF-bestanden. Het waren eigenlijk foto's van papier, geen echte tekst. Een computer kon daar niets mee doen; het zag eruit als een muur van onleesbare pixels.
• De oplossing: Ze gebruikten een slimme "digitale scanner" genaamd Google Document AI. Dit is alsof je een robot hebt die met zijn ogen door de documenten kijkt en de letters op het papier omzet in tekst die een computer kan lezen.

2. De Schoonmaakbeurt: Van Rommel naar Opgeruimd

Na het scannen was het resultaat niet perfect. Het was alsof je een kamer hebt schoongemaakt, maar er nog steeds stof, oude krantenknipsels en losse sokken rond liggen.

• De rommel: De robot las soms verkeerde letters, hield pagina-nummers en stempels mee, en zette zinnen op de verkeerde plek.
• De poetsbeurt: De auteurs (die zelf Sinhala spreken) zijn handmatig gaan werken. Ze hebben:
  • De paginanummers en stempels verwijderd (alsof je de randjes van een foto wegsnijdt).
  • Verkeerde letters gecorrigeerd.
  • Dubbele titels verwijderd (want elke pagina had de titel erop staan, wat verwarrend was).
  • De tekst opgeschoond zodat hij vloeiend leest.

3. De Selectie: Alleen de Beste Koffiebonen

Niet alle documenten waren even goed. Sommige waren te lang, hadden te veel tabellen (wat voor de scanner een nachtmerrie is) of waren slecht gescand.

• Ze hebben een filter gebruikt: "Alles wat te rommelig is, gaat de prullenbak in."
• Het resultaat? Een verzameling van 1.206 hoogwaardige documenten (wetten en wetsvoorstellen) die perfect zijn om mee te werken.

4. Wat Kun Je Hiermee? (De Analyse)

Nu ze de "schone" bibliotheek hebben, hebben ze gekeken wat erin zit, alsof ze een bioloog is die een nieuw ecosysteem bestudeert:

• Woordenschat: Ze zagen dat wettelijke taal heel specifiek is. Het is als een dialect van juristen. Er zijn veel woorden die maar één keer voorkomen (zoals unieke namen van projecten), maar ook heel veel woorden die steeds terugkomen (zoals "en", "voor", "moet").
• Onderwerpen: Met een slimme computeranalyse (Topic Modelling) ontdekten ze dat de documenten draaien om thema's zoals "rechten", "parlement", "geld", "pensioenen" en "verkiezingen".
• Entiteiten: Ze hebben een systeem gebouwd dat automatisch belangrijke namen herkent: wie is de minister? Welke wet is het? Hoeveel geld is er? Wanneer is het?

5. De Test: Hoe Slim is de Computer?

Tot slot hebben ze getest hoe goed moderne AI-modellen (zoals de slimme chatbots van vandaag) deze wettelijke taal begrijpen.

• Ze hebben gekeken of de AI de tekst "voorspelt" (als je een zin begint, kan de AI het einde raden?).
• De verrassing: De AI deed het beter op deze wettelijke teksten dan op gewone Sinhala-teksten (zoals nieuws of verhalen).
• Waarom? Omdat wetten heel gestructureerd en repetitief zijn. Het is als een liedje met een vast refrein; het is makkelijker voor een computer om het refrein te raden dan een vrij droomverhaal. Dit betekent dat AI wettelijke teksten misschien makkelijker kan samenvatten of analyseren dan alledaagse taal.

Waarom is dit belangrijk?

Voorheen was het bijna onmogelijk om Sri Lankaanse wetten automatisch te analyseren. Er was geen "leesbaar" bestand.
Met SINHALEGAL hebben de auteurs een brug gebouwd. Ze hebben een brug van papier naar digitale intelligentie. Nu kunnen onderzoekers en ontwikkelaars:

• Samenvattingen maken van lange wetten.
• Zoeken naar specifieke regels in seconden.
• AI-systemen bouwen die helpen bij juridische beslissingen.

Kortom: Ze hebben een rommelige, oude kelder omgebouwd tot een stralende, digitale bibliotheek waar iedereen (en elke computer) de wetten van Sri Lanka eindelijk goed kan begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SINHALEGAL: A Benchmark Corpus for Information Extraction and Analysis in Sinhala Legislative Texts", geschreven in het Nederlands.

Titel: SINHALEGAL: Een Benchmark Corpus voor Informatie-extractie en Analyse in Sinhala Wetgevingsteksten

1. Het Probleem

Juridische documenten vormen de ruggengraat van moderne rechtssystemen, maar hun verwerking via Natural Language Processing (NLP) is complex vanwege hun hoge precisie, gestructureerde opbouw en gespecialiseerde vocabulaire. Hoewel er uitgebreide datasets bestaan voor talen zoals Engels, Chinees en Hindi, is er een aanzienlijk tekort aan hoogwaardige, digitale bronnen voor Sinhala, een taal die door ongeveer 16 miljoen mensen in Sri Lanka wordt gesproken maar wordt geclassificeerd als een "low-resource" taal.

Bestaande Sinhala-datasets zijn voornamelijk gericht op algemeen taalgebruik. Er ontbreekt een specifiek, gestructureerd corpus voor juridische teksten (zoals wetten en wetsvoorstellen), wat de ontwikkeling van gespecialiseerde juridische NLP-systemen voor deze taal belemmert. Bovendien zijn veel bestaande juridische documenten alleen beschikbaar als gescande PDF's, wat extra uitdagingen met zich meebrengt op het gebied van Optische Karakterherkenning (OCR), lay-outbehoud en ruisreductie.

2. Methodologie

De auteurs hebben een systematische workflow ontwikkeld om het SINHALEGAL corpus te creëren, bestaande uit de volgende fasen:

• Data-acquisitie: Documenten zijn verzameld uit een openbare GitHub-repository met Sri Lankaanse overheidsdocumenten. De focus lag op twee categorieën: Acts (Wetten) en Bills (Wetsvoorstellen). Documenten zoals Gazettes werden uitgesloten vanwege complexe meerkoloms lay-outs die de OCR-accuraatheid negatief beïnvloeden.
• Organisatie en Filtering:
  • De initiële verzameling bestond uit 2.865 PDF's.
  • Er werd gefilterd op publicatiejaar (Acts: 1981–2014; Bills: 2010–2014).
  • Documenten met zichtbare dubbelzijdige drukfouten (die OCR-fouten veroorzaakten) en documenten langer dan 50 pagina's (vanwege complexe tabellen en lay-outs) werden verwijderd.
  • Het resultaat was een geselecteerde set van 1.206 documenten (1.065 Acts en 141 Bills).
• Tekstextractie (OCR):
  • Google Document AI werd gebruikt voor de OCR-extractie, omdat dit in eerdere studies beter presteerde dan andere engines (zoals Surya) voor gescande Sinhala-documenten.
  • Documenten met meer dan 15 pagina's werden opgesplitst om de API-limieten te respecteren.
• Post-processing:
  • Handmatige correcties werden uitgevoerd door native Sinhala-sprekers om OCR-fouten op te lossen.
  • Correcties omvatten: Verwijdering van voettekst, paginanummers, zegels, prijzen en herhaalde titels; correctie van woordspelling en gebroken woorden; en het standaardiseren van spaties en alinea's.
• Metadata: Voor elk document werden gestructureerde metadata-bestanden gegenereerd met informatie over het documenttype, publicatiejaar, aantal pagina's, OCR-chunks en de algehele OCR-vertrouwensscore.

3. Belangrijkste Bijdragen

• Het SINHALEGAL Corpus: Het eerste grote, gestructureerde corpus van Sinhala-wetgevingsteksten, bestaande uit ongeveer 2 miljoen woorden.
• Data-pipeline: Een gedetailleerde beschrijving van een reproduceerbare pipeline voor het omzetten van gescande juridische PDF's naar schone, machine-leesbare tekst voor een low-resource taal.
• Benchmark Evaluaties: Het paper biedt uitgebreide statistieken en evaluaties, waaronder:
  • Lexicale diversiteit: Analyse van Type-Token Ratio (TTR) en hapax legomena.
  • Woordfrequentie: Inzicht in de herhalende, formele aard van juridisch Sinhala.
  • Named Entity Recognition (NER): Implementatie van een regelgebaseerde NER-pijplijn die zes entiteitstypen identificeert (Datum, Titel, Organisatie, Wet, Persoon, Bedrag).
  • Topic Modelling: Toepassing van Latent Dirichlet Allocation (LDA) om thematische structuren (zoals pensioenen, verkiezingen en instituties) te onthullen.
  • Perplexiteit-analyse: Evaluatie van hoe verschillende Large Language Models (LLM's) presteren op juridische versus algemene Sinhala-teksten.

4. Resultaten

• Corpus Statistieken: Het corpus bevat gemiddeld 1.677 woord-tokens per document (mediaan 1.213). De totale lexicongrootte bedraagt 39.169 unieke woordtypes.
• Lexicale Eigenschappen: De analyse toont aan dat juridische teksten sterk afhankelijk zijn van een kleine kern van hoge-frequentie woorden (bijv. voegwoorden en partikels), wat leidt tot een hoge coverage door de top 100 woorden (~46%). Dit bevestigt de formele en gestandaardiseerde aard van de taal.
• OCR Kwaliteit: De initiële OCR-vertrouwensscores waren hoog (gemiddeld >0,95), maar de post-processing was essentieel om structurele fouten (zoals verbroken alinea's en extra karakters) te elimineren.
• Entiteiten: Er werden in totaal 28.937 entiteiten geëxtraheerd, waarbij 'Datum' en 'Titel' de meest voorkomende categorieën waren.
• LLM Evaluatie:
  • Verschillende modellen (o.a. Llama-3.1, Mistral-7B, Falcon-7B) vertoonden lagere perplexiteitsscores op het SINHALEGAL-corpus dan op een algemeen Sinhala-corpus (MADLAD CulturaX).
  • Dit suggereert dat juridische teksten, ondanks hun complexiteit, voorspelbaarder zijn voor taalmodellen vanwege hun herhalende structuren en formele patronen.
  • Llama-3.1 en Falcon-7B presteerden het beste.

5. Betekenis en Toekomstperspectief

SINHALEGAL vult een kritieke lacune in de NLP-onderzoeksliteratuur voor het Sinhala-gebied. Het biedt een fundamentele bron voor het trainen en evalueren van modellen voor taken zoals:

• Juridische samenvatting (summarisation).
• Informatie-extractie en vraag-antwoord systemen.
• Diachrone analyse van wetgeving.

Het paper benadrukt dat, hoewel de dataset beperkt is tot Acts en Bills en geen expliciete sectie-indeling bevat, het een solide basis legt voor toekomstig werk. Toekomstige uitbreidingen kunnen andere documenttypes omvatten en verdere segmentatie van de tekst in hoofdstukken en artikelen. De dataset is beschikbaar gesteld via een openbare link om de groei van juridische AI in Sri Lanka en voor Sinhala-sprekende gemeenschappen wereldwijd te stimuleren.