💻 computer science

ModernBERT-TR: A Modern Encoder Foundation Model for Turkish

Het artikel introduceert ModernBERT-TR, een Turkse encoder met 150 miljoen parameters die vanaf nul is voorgetraind op 144,4 miljard tokens met behulp van de ModernBERT-architectuur en een aangepaste tokenizer, die bestaande Turkse baselines aanzienlijk overtreft en grotere gelijktijdige modellen evenaart ondanks dat deze met aanzienlijk minder middelen is getraind.

Oorspronkelijke auteurs: Besher Alkurdi, Himmet Toprak Kesgin, Muzaffer Kaan Yuce, Mehmet Fatih Amasyali

Gepubliceerd 2026-07-29

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Besher Alkurdi, Himmet Toprak Kesgin, Muzaffer Kaan Yuce, Mehmet Fatih Amasyali

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een gigantische, chaotische bibliotheek waar elk boek in een andere taal is geschreven. Lange tijd bouwden de bibliothecarissen (computerwetenschappers) één enorme, superdichte encyclopedie om computers te helpen álle talen tegelijk te begrijpen. Maar wanneer je probeert een specifiek feit over een kleine, specifieke taal in dat enorme boek te vinden, wordt de informatie een beetje wazig. Het is alsof je een fluistering probeert te horen in een overvol stadion; het signaal raakt verloren in het lawaai.

Om dit op te lossen, begonnen onderzoekers kleinere, gespecialiseerde woordenboeken te bouwen voor individuele talen. Het bekendste hiervan voor het Turks werd in 2020 gebouwd. Het was een goed begin, maar het werd gebouwd met oude gereedschappen, zoals een fiets terwijl de rest van de wereld al in sportwagens reed. Ondertussen ging de rest van de wereld over op "Moderne" motoren die sneller konden lezen, langere zinnen konden onthouden en de kronkels van de grammatica veel beter begrepen. De grote vraag was: konden we een gloednieuwe, supersnelle sportwagen specifiek voor het Turks bouwen, met deze moderne tools, zonder een miljardenbudget of een bibliotheek ter grootte van de maan nodig te hebben?

Dit artikel introduceert ModernBERT-TR, een nieuw kunstmatig intelligentiemodel ontworpen om de ultieme "Turkse hersenen" voor computers te zijn. De onderzoekers namen de nieuwste, meest geavanceerde architecturale ontwerpen (de "ModernBERT"-motor) en trainden deze vanaf nul met uitsluitend Turkse tekst. Ze hebben niet alleen een enorme hoeveelheid data op het model afgevuurd; ze hebben zorgvuldig een gebalanceerde mix van hoogwaardige Turkse teksten samengesteld en een op maat gemaakt woordenboek (tokenizer) gebruikt dat specifiek is afgestemd op de unieke manier waarop Turkse woorden worden opgebouwd.

De resultaten zijn verrassend krachtig. Hoewel dit nieuwe model relatief klein is — met ongeveer 150 miljoen "neuronen" (parameters) — presteerde het veel grotere modellen, waaronder sommige met bijna vier keer zoveel neuronen. Bij tests op 11 verschillende Turkse taken, zoals het opsporen van haatzaaiende taal of het begrijpen van filmrecensies, scoorde ModernBERT-TR gemiddeld 60,2%, waarmee het de op één na beste model met een aanzienlijke marge versloeg. Het evenaarde zelfs een concurrent die werd getraind op ongeveer 7 keer meer data (1 biljoen tokens versus de 144,4 miljard tokens van het model) in een volledige fine-tuning test, wat bewijst dat slimme training en een betere architectuur het kunnen winnen van pure datavolume.

De auteurs suggereren dat het geheime ingrediënt niet alleen de grootte van het model was, maar de kwaliteit van de datamix. Ze ontdekten dat het vijf keer herhalen van een specifieke, hoogwaardige Turkse dataset tijdens de training veel belangrijker was dan het aanpassen van andere instellingen zoals de batchgrootte. Kortom, ze hebben een slanke, efficiënte, Turks sprekende machine gebouwd die bewijst dat je niet de grootste hoeft te zijn om de beste te zijn; je moet gewoon het meest moderne en het meest gefocuste zijn. Ze hebben al hun code en het model zelf aan het publiek vrijgegeven, in de hoop een enorme stimulans te geven aan iedereen die technologie probeert te bouwen die Turks spreekt.

Technische Samenvatting: ModernBERT-TR

Probleemstelling

De Turkse Natural Language Processing (NLP) vertrouwt momenteel op verouderde architecturen of ondergeoptimaliseerde meertalige modellen. De dominante monolinguale encoder, BERTurk (2020), maakt gebruik van de standaard BERT-architectuur en werd getraind op een relatief kleine corpus (~4,5 miljard tokens). Hoewel meertalige modellen (bijv. mBERT, XLM-R) dekking bieden, verwateren ze de capaciteit over vele talen, wat de prestaties per taal beperkt. Bovendien zijn recente architecturale verbeteringen die de kwaliteit van encoders voor het Engels aanzienlijk hebben verbeterd — zoals rotary position embeddings (RoPE), Gated Linear Units (GLU), alternerende lokale-globale aandacht en sequence-packed training — nog niet systematisch toegepast op Turkse monolinguale pretraining.

Methodologie

De auteurs introduceren ModernBERT-TR, een encoder-model met 150 miljoen parameters gebouwd op de ModernBERT-architectuur, maar specifiek vanaf nul voorgetraind voor het Turks.

Architectuur en Trainingsconfiguratie

Architectuur: Het model volgt de ModernBERT-base configuratie met 22 transformerlagen, 768 verborgen dimensies en 12 attention heads. Belangrijke architecturale verbeteringen ten opzichte van de standaard BERT omvatten:
- RoPE: Rotary position embeddings vervangen geleerde absolute posities om de generalisatie naar variërende sequentielengtes te verbeteren.
- GLU: Gated Linear Units met GELU-activatie worden gebruikt in feed-forward netwerken.
- Pre-normalisatie: Layer normalization wordt toegepast vóór de attention en feed-forward sublagen om de gradiëntstroom te verbeteren.
- Attention Mechanisme: Een sliding window van 128 tokens wordt gebruikt in de meeste lagen, waarbij elke 3e laag volledige globale aandacht wordt toegepast om efficiëntie en het modelleren van langetermijnafhankelijkheden in balans te houden.
- Trainingsefficiëntie: Het model maakt gebruik van Flash Attention en sequence-packed training (het samenvoegen van variabel lengte documenten in vaste lengte batches) om verspilling door padding te elimineren.
Tokenizer: Een aangepaste 50K WordPiece tokenizer is vanaf nul getraind op Turkse data. Deze grootte werd gekozen om de compressie-efficiëntie af te wegen tegen de omvang van de embedding table, waarbij een hoge vocabulaire-efficiëntie werd bereikt vergeleken met grotere (128K) alternatieven.
Trainingsdata: De corpus bestaat uit 144,4 miljard tokens (getraind over 2 epochs). De data is een gebalanceerde mix van:
- FineWeb-2 Turkish: 41,2B tokens (web-crawled).
- BertTurk Corpus: 6,2B tokens, 5× upsampled (31,0B effectieve tokens) om de mix te balanceren en kwalitatief hoogwaardige tekst te benutten.
Hyperparameters: De training maakte gebruik van de Decoupled StableAdamW optimizer met een piek leersnelheid van $2 \times 10^{-4}$ , een globale batchgrootte van 256 sequenties (262K tokens), en een cosine leersnelheidsschema met 1B token warmup. Het model werd getraind op 4× NVIDIA H100 GPU's gedurende 623 GPU-uren.

Ablatie-studies

Er zijn systematische ablaties uitgevoerd op de leersnelheid, batchgrootte, de finale ratio van de cosine schedule ( $\alpha_f$ ) en de datamix. De resultaten gaven aan dat de datacompositie (met name de 5× upsampling van de BertTurk Corpus) en de leersnelheid de primaire drijfveren waren voor de prestaties in downstream taken, terwijl de batchgrootte en $\alpha_f$ minimale effecten hadden binnen de geteste bereiken.

Belangrijkste Bijdragen

ModernBERT-TR Model: De eerste publiekelijk beschikbare Turkse encoder die gebruikmaakt van ModernBERT architecturale vooruitgang (RoPE, GLU, alternerende aandacht, unpadded training).
Aangepaste Tokenizer: Een 50K WordPiece tokenizer geoptimaliseerd voor de Turkse morfologie, die een superieure vocabulaire-efficiëntie demonstreert.
Gecureerde Corpus: Een gebalanceerde trainingscorpus die FineWeb-2 en de BertTurk Corpus combineert, met empirisch bewijs dat de upsampling van hoogwaardige data ondersteunt.
Systematische Ablaties: Identificatie van datamix en leersnelheid als kritieke factoren voor de kwaliteit van Turkse monolinguale pretraining.
State-of-the-Art Resultaten: Het behalen van nieuwe benchmarks op Turkse NLP-taken met een model dat aanzienlijk kleiner is dan leidende meertalige alternatieven.
Open Release: Publieke release van modelgewichten, tokenizer, evaluatiecode en trainingsconfiguratie.

Resultaten

Frozen-Encoder Linear Probing

Geëvalueerd op 11 diverse Turkse NLP-taken (classificatie, regressie en token classificatie) met een frozen-encoder protocol:

Algemene Prestaties: ModernBERT-TR behaalde een gemiddelde score van 60,2%, waarmee het de op één na beste prestatie (Turkish-E5-large, 560M parameters) met 13,1% relatief en de conventionele BERTurk baseline met 70,3% relatief overtrof.
Efficiëntie: Ondanks dat het slechts ~150M parameters heeft (ongeveer 1/4 van de grootte van de E5-large varianten), presteerde ModernBERT-TR beter dan deze over alle taakcategorieën.
Taakspecifieke details: Het model leidde in 5 van de 11 taken, waaronder detectie van beledigende taal, haatzaaiende taal classificatie, linguïstische acceptabiliteit (TrCOLA) en Named Entity Recognition (WikiNER).

Full Fine-Tuning (TabiBench)

Geëvalueerd op de 28-taken TabiBench benchmark met volledige fine-tuning:

ModernBERT-TR scoorde 77,28, wat vrijwel gelijk is aan de gelijktijdige TabiBERT (getraind op ~1 biljoen tokens met gemengde talen) met een verschil van slechts 0,30 punten.
ModernBERT-TR leidde in 5 van de 8 taakcategorieën (Tekstclassificatie, Semantische Tekstuele Gelijkenis, NLI, Academisch Begrip, Informatie-extractie).
TabiBERT behield een voordeel in Code Retrieval en Vraagbeantwoording, wat wordt toegeschreven aan de inclusie van code en wiskundige data in de pretraining.

Betekenis

Het artikel demonstreert dat moderne architecturale innovaties gecombineerd met gerichte monolinguale pretraining representaties kunnen produceren die meer lineair scheidbaar en effectiever zijn dan grotere meertalige modellen, zelfs wanneer ze getraind zijn op aanzienlijk minder tokens (144,4B vs 1T).

De auteurs stellen dat voor hulpbron-beperkte monolinguale pretraining, zorgvuldige datacuratie en mixing (met name de upsampling van hoogwaardige corpora) grotere voordelen opleveren dan simpelweg het schalen van batchgroottes of het tunen van parameters van het schema. Door ModernBERT-TR vrij te geven, beogen de auteurs het Turkse NLP-onderzoek te versnellen door een fundatiemodel te bieden dat bestaande baselines overtreft terwijl het slechts 623 GPU-uren training vereist.