Technische Samenvatting: Mecellem Modellen

Probleemstelling

Large Language Models (LLM's) die voornamelijk zijn getraind op Engelstalige data, vertonen prestatievermindering in niet-Engelstalige talen en hoogst formele domeinen. Het Turkse juridische domein presenteert specifieke uitdagingen vanwege de morfologische rijkdom (agglutinerende structuur), complexe syntactische variaties, intensieve terminologie en strikte normatieve beperkingen. Bestaande benaderingen voor Turkse juridische NLP hebben grotendeels vertrouwd op traditionele machine learning, transformer-gebaseerde classificatie of parameter-efficiënte fine-tuning (PEFT) van kleine modellen. Deze methoden blijken echter vaak onvoldoend voor diepe domeinadaptatie, omdat ze er niet in slagen de genuanceerde linguïstische patronen en context-gevoelige redenering te vatten die vereist zijn voor effectieve juridische informatieverwerking en -generatie. Bovendien correleren standaard pre-training doelstellingen (bijv. Masked Language Modeling loss) niet altijd met de bruikbaarheid van downstream embeddings, met name voor morfologisch rijke talen.

Methodologie

Het artikel introduceert Mecellem, een framework voor het ontwikkelen van gespecialiseerde Turkse juridische taalmodellen via twee complementaire benaderingen:

1. Encoder Modellen: Van Scratch Pre-trained

De auteurs ontwikkelden bidirectionele encoder-modellen gebaseerd op de ModernBERT architectuur, die volledig vanaf nul (from scratch) zijn pre-trained op een gecureerdeerde Turkse-dominante corpus.

• Data: De corpus bestaat uit 112,7 miljard tokens, een combinatie van Turkse juridische teksten (Hoge Raad, Raad van State, academische scripties) met algemene webdata (FineWeb2, CulturaX). De data onderging rigoureuze preprocessing, inclus\nuit VLM-gebaseerde OCR-extractie (DotsOCR) voor gescande documenten, semantische deduplicatie (SemHash) en Turkse-specifieke kwaliteitsfiltering op basis van suffix-entropie en lemma-diversiteit.
• Architectuur: Er werden twee modelgroottes getraind: Base (155M parameters) en Large (403M parameters). Beiden maken gebruik van alternerende lokale en globale aandacht, RoPE positionele embeddings, en ondersteunen sequentielengtes tot 8.192 tokens.
• Trainingsstrategie:
  • Pre-training: Gebruikte Masked Language Modeling (MLM) met een 30% masking rate (80-10-10 strategie).
  • Checkpoint Selectie: In plaats van uitsluitend te vertrouwen op het minimaliseren van de MLM loss, implementeerden de auteurs een strategie die de downstream retrieval performance evalueert tijdens de training. Dit onthulde dat optimale checkpoints voor retrieval vaak optreden voordat de pre-training loss zijn minimum bereikt.
  • Post-training: De encoders werden omgezet in embedding-modellen via contrastieve leerprocessen op de MS MARCO-TR dataset. Technieken omvatten standaard InfoNCE, Qwen3-stijl InfoNCE, en GISTEmbed met gecachte guide-modellen (BGE-M3, EmbeddingGemma-300M) voor false-negative filtering.

2. Decoder Modellen: Continual Pre-training (CPT)

De auteurs pasten bestaande Qwen3-1.7B en Qwen3-4B decoder-modellen aan de Turkse juridische domein aan via Continual Pre-training.

• Strategie: Een vierfasen curriculum learning benadering werd toegepast voor het 1.7B model, progressief van algemene Turkse teksten naar domeinspecifieke juridische inhoud, lange normatieve documenten, en uiteindelijk uitgebreide domeinverfijning. Het 4B model onderging een enkele fase van grootschalige CPT.
• Mitigatie van Catastrophic Forgetting: De curriculumstructuur en de inclusie van een replay buffer (het herintroduceren van Fase 1 data in Fase 2) werden gebruikt om algemene taalvaardigheden te behouden terwijl juridische expertise werd verworven.
• Evaluatie: Prestaties werden gemeten via perplexiteit op de EuroHPC-Legal dataset en geëvalueerd met Muhakim, een domeinspecifiek reward model dat getraind is om statutaire nauwkeurigheid, juridische redenering en citatiekwaliteit te beoordelen.
• Decoder-naar-Encoder Conversie: De CPT decoder-modellen werden omgezet naar embedding-modellen door de taalmodellering-head te verwijderen, bidirectionele aandacht mogelijk te maken en gemiddelde pooling toe te passen.

Belangrijkste Bijdragen

1. Scratch Pre-training voor Turkse Juridische Embeddings: De creatie van ModernBERT-gebaseerde encoders die vanaf scratch zijn pre-trained op 112,7 miljard tokens, wat aantoont dat domeinspecifieke pre-training vanaf scratch effectief is voor Turkse juridische taken.
2. Downstream-Aware Checkpoint Selectie: Een nieuwe bevinding dat voor morfologisch rijke talen de optimale checkpoint voor downstream retrieval performance niet noodzakelijkerwijs samenvalt met het minimum van de pre-training loss. Tussenliggende checkpoints leveren vaak superieure embedding kwaliteit op.
3. Gecontroleerde Continual Pre-training: Een succesvolle toepassing van CPT op Qwen3-modellen met een vierfasen curriculum, wat resulteerde in significante reducties in perplexiteit (tot 43,1% voor het 1.7B model) terwijl catastrophic forgetting werd beperkt.
4. Turks-Specifieke Data Engineering: Ontwikkeling van een robuuste pipeline voor het extraheren en opschonen van Turkse juridische data, inclusief VLM-gebaseerde OCR voor complexe documenten en morfologie-gestuurde kwaliteitsfilters (suffix-entropie, lemma-diversiteit).
5. Uitgebreide Benchmarking: Introductie van MTEB-Turkish, een evaluatieframework dat MTEB uitbreidt met Turkse-specifieke taken en drie domeinspecifieke juridische retrieval benchmarks (Contracten, Regelgeving, Jurisprudentie).

Resultaten

• Encoder Prestaties:
  • De Mursit-Base-TR-Retrieval (155M) en Mursit-Large-TR-Retrieval (403M) modellen behaalden top-3 rangeringen op de Turkse retrieval leaderboard.
  • Ondanks het hebben van aanzienlijk minder parameters dan state-of-the-art modellen (bijv. EmbeddingGemma-300M, BGE-M3), behaalden de Mecellem-modellen vergelijkbare prestaties. Het 155M model behaalde een 55,86 MTEB Score en 47,52 Legal Score, waarmee het grotere geconverteerde decoder-modellen versloeg.
  • De modellen behaalden een 92,36% productie-efficiëntie ten opzichte van SOTA-modellen, waarbij ze vierde werden geclassificeerd terwijl ze minder computationele middelen vereisten.
• Decoder Prestaties:
  • CPT resulteerde in een reductie van de perplexiteit van 36,2% op Turkse juridische tekst voor het Qwen3-4B model en tot wel 43,1% voor het Qwen3-1.7B model.
  • Evaluatie met het Muhakim reward model toonde aan dat CPT-modellen consequent beter presteren dan base-modellen op het gebied van juridische nauwkeurigheid, statutische referentie en diepgang van dekking, vooral onder beperkingen van korte context.
• Ablatie Inzichten:
  • Sequentielengte: Het optimaliseren van de sequentielengte enkel op basis van de trainingsdata-distributie (bijv. 256 tokens) veroorzaakte significante prestatievermindering (tot 23,6% in regelgevings-retrieval) vergeleken met langere sequenties (2048 tokens), wat het belang van lang-context begrip in juridische domeinen benadrukt.
  • False-Negative Filtering: Het gebruik van GISTEmbed met guide-modellen verbeterde de juridische retrieval scores met 15,9% ten opzichte van standaard InfoNCE.
  • Architectuur: Speciaal ontwikkelde encoder-modellen die vanaf scratch zijn pre-trained, presteerden beter dan decoder-naar-encoder geconverteerde modellen, die moeite hadden met juridische retrieval-taken ondanks hun grotere aantal parameters.

Betekenis en Claims

Het artikel beweert dat effectieve Turkse juridische taalmodellen kunnen worden ontwikkeld door middel van domeinspecifieke pre-training vanaf scratch en gecontroleerde continual pre-training, mits de trainingsstrategieën zijn afgestemd op de linguïstische complexiteit van het Turks.

Belangrijke claims zijn onder meer:

• MLM Loss is Geen Proxy voor Embedding Kwaliteit: Voor morfologisch rijke talen zoals het Turks garandeert het minimaliseren van de pre-training loss niet de optimale downstream embedding performance. Directe evaluatie van downstream taken is essentieel voor checkpoint selectie.
• Parameter Efficiëntie: Kleinere, domeinspecifieke modellen (155M parameters) kunnen prestaties evenaren van veel grotere, multi-stage post-getrainde modellen, wat een kosteneffectief alternatief biedt voor juridische NLP-toepassingen.
• Noodzaak van Curriculum Learning: Voor kleinere modellen is een gestructureerde, meerfasen curriculum learning benadering cruciaal voor succesvolle domeinadaptatie zonder catastrophic forgetting, terwijl grotere modellen een single-phase training kunnen tolereren.
• Beperkingen: Het artikel merkt bescheiden op dat decoder-naar-encoder conversie zonder uitgebreide multi-stage training infrastructuur (synthetische data generatie, model merging) resulteert in suboptimale prestaties voor embedding taken, met name in gespecialiseerde juridische domeinen.

De auteurs benadrukken dat hun werk de onderbediende aard van Turkse juridische NLP aanpakt door open-source modellen en benchmarks te bieden om de ontwikkeling van AI-gestuurde juridische tools te faciliteren die zijn afgestemd op het unieke juridische kader van Turkije.