HUKUKBERT: Domain-Specific Language Model for Turkish Law

Probleemstelling

Hoewel er aanzienlijke vooruitgang is geboekt in Natural Language Processing (NLP) voor het Engels (bijv. LEGAL-BERT), ontbreekt er een krachtig, domeinspecifiek taalmodel voor het Turkse recht. Bestaande algemene Turkse modellen (zoals BERTurk en TabiBERT) presteren suboptimaal op juridische taken vanwege drie fundamentele uitdagingen:

1. Lexicale en Semantische Divergentie: Juridische teksten bevatten archaïsche terminologie en specifieke jargon die vaak buiten het vocabulaire (OOV) van algemene modellen vallen. Bovendien ondergaan woorden een "semantische verschuiving"; een woord dat in het dagelijks leven één betekenis heeft, kan in een juridische context een zeer specifieke, technische betekenis hebben (bijv. het onderscheid tussen "miras" (erfenis) en "tereke" (boedel)).
2. Tokenisatie-fragmentatie: Algemene tokenizers splitsen complexe juridische samenstellingen vaak in onzinnige subwoorden. Bijvoorbeeld, de term "İçtihadı Birleştirme Kararı" wordt door algemene modellen opgesplitst in zeven fragmenten, wat de semantische coherentie verstoort en de effectieve contextvenster verkleint.
3. Syntactische Complexiteit: Turkse juridische documenten (zoals beslissingen van het Hooggerechtshof) bevatten extreem lange zinnen, geneste conditionele clausules en formele standaardzinnen die door modellen getraind op conversatietaal niet goed worden begrepen.

Methodologie

De auteurs introduceren HukukBERT, een domeinadaptief taalmodel dat is getraind met een hybride Domain-Adaptive Pre-Training (DAPT) methode. De kerncomponenten van de methodologie zijn:

• Corpus Collectie en Voorbereiding:

  • Er is een ruw corpus van ongeveer 27 GB (9 miljoen documenten) verzameld uit officiële bronnen zoals het Hooggerechtshof (Yargıtay), de Raad van State (Danıştay), wetgeving en academische literatuur.
  • Deduplicatie: Met behulp van MinHash LSH (Locality-Sensitive Hashing) zijn bijna 2 miljoen dubbele documenten verwijderd.
  • Balancering: Het corpus werd sterk gedomineerd door rechterlijke uitspraken. Om overfitting op deze syntactische patronen te voorkomen, werd het corpus gebalanceerd door uitspraken te verkleinen en academische teksten/wetgeving te vergroten. Het eindresultaat is een gezuiverd corpus van 18,93 GB met ongeveer 2,3 miljoen documenten.

• Domein-geoptimaliseerde Tokenisatie:

  • Er is een nieuwe 48K WordPiece-tokenizer getraind vanaf nul op het gebalanceerde juridische corpus.
  • Het initieel vocabulaire is "gezaaid" met termen uit het officiële juridische woordenboek van het Ministerie van Justitie.
  • Resultaat: Deze tokenizer reduceert de fragmentatie aanzienlijk tot gemiddeld 4,82 subwoorden per regel, vergeleken met 6,42 tot 7,38 bij algemene modellen.

• Hybride Masking Strategie:

  • In plaats van standaard Masked Language Modeling (MLM), wordt een hybride strategie gebruikt met een totale masking-kans van 0,25:
    • Whole Word Masking (20%): Alle subwoorden van een woord worden tegelijk gemaskeerd.
    • Token Span Masking (20%): Blokken van opeenvolgende tokens worden gemaskeerd.
    • Word Span Masking (30%): Blokken van opeenvolgende woorden worden gemaskeerd.
    • Keyword Masking (30%): Specifiek gericht op een lijst van 40.000+ juridische termen om de focus op kernconcepten te leggen.

• Training: Het model is getraind op NVIDIA H200 hardware gedurende 19 uur (2 epochs) met een leerstroom van 1e-5 en een batchgrootte van 960.

Belangrijkste Bijdragen

1. HukukBERT: Het eerste uitgebreide, domeinspecifieke taalmodel voor het Turks recht, gebaseerd op een schaal van 18 GB aan juridische data.
2. Aangepaste Tokenizer: Een 48K WordPiece-tokenizer die specifiek is ontworpen om de morfologische complexiteit van het Turks in juridische contexten te hanteren zonder semantische fragmentatie.
3. Hukuki Cloze Testi: Een nieuw, synthetisch benchmark van 750 vragen om de juridische redeneerkracht en semantische precisie van modellen te evalueren.
4. Open Source: Het vrijgeven van het model, de tokenizer en de benchmark om de Turkse LegalTech-ecosystemen te stimuleren.

Resultaten

HukukBERT presteert significant beter dan bestaande algemene en domeinspecifieke modellen:

• Intrinsieke Evaluatie (Legal Cloze Test):

  • HukukBERT bereikte een Top-1 nauwkeurigheid van 84,40%.
  • Dit is een verbetering van 8,93 procentpunten ten opzichte van de volgende beste domeinspecifieke model (BERTurk-Legal: 75,47%).
  • Algemene modellen zoals TabiBERT (getraind op 84 miljard tokens) scoorden slechts 68,13%, wat aantoont dat schaal van algemene data domeinspecifieke aanpassing niet kan vervangen.
  • Kwalitatief voorbeeld: Bij het voorspellen van juridische termen in erfrechtzaken voorspelde HukukBERT correct "tereke" (boedel), terwijl algemene modellen vaak "miras" (erfenis) voorspelden.

• Extrinsieke Evaluatie (Structuursegmentatie):

  • De taak was het segmenteren van ongestructureerde gerechtelijke beslissingen in 8 semantische delen (bijv. header, redenering, uitspraak).
  • HukukBERT bereikte een Document Pass Rate van 92,8%, wat een nieuwe state-of-the-art is.
  • Het presteerde beter dan BERTurk-128k (84,3%) en BERTurk-Legal (81,9%).
  • De grensnauwkeurigheid (boundary accuracy) was 99,0%.

Betekenis en Toekomstperspectief

Dit paper bewijst dat voor gespecialiseerde domeinen zoals het recht, het simpelweg vergroten van de dataset van algemene modellen niet voldoende is. Domeinadaptieve pre-training (DAPT) gecombineerd met een op maat gemaakte tokenizer is essentieel om semantische verschuivingen en morfologische complexiteit te overwinnen.

• Impact: HukukBERT legt de basis voor de volgende generatie Turkse LegalTech-toepassingen, waaronder automatische documentclassificatie, naam-entiteitherkenning (NER) en juridisch redeneren.
• Beperkingen: Het model is momenteel beperkt tot een contextvenster van 512 tokens (standaard BERT) en is een encoder-only model, wat betekent dat het geen generatieve taken (zoals het schrijven van contracten) kan uitvoeren.
• Toekomst: De auteurs plannen de architectuur te upgraden naar ModernBERT (voor grotere contextvensters tot 8192 tokens) en ColBERT voor betere zoekfunctionaliteit in lange documenten.

Samenvattend stelt HukukBERT een nieuwe standaard neer voor Turkse juridische NLP en maakt het de weg vrij voor geavanceerde, datagedreven juridische analyses in Turkije.