Technische Samenvatting: Morpheus – Een morfologie-bewuste neurale tokenizer en woord-embedder voor het Turks

1. Probleemstelling

Het Turks is een agglutinerende taal waarbij de semantische betekenis wordt gedragen door ketens van derivatieve en inflectionele suffixen die aan een stam zijn bevestigd. Huidige Natural Language Processing (NLP) tools voor het Turks kampen met twee primaire beperkingen:

• Tekortkomingen in tokenisatie: Standaard subword-tokenizers (BPE, WordPiece, Unigram) segmenteren woorden op basis van corpusstatistieken in plaats van linguïstische morfologie. Dit leidt tot de fragmentatie van semantisch beladen suffixen, wat de sequentielengte (fertility) opblaast en computationele kosten verhoogt. Bovendien zijn veel veelgebruikte tokenizers niet omkeerbaar; ze verwijderen diakritische tekens of passen canonieke re-harmonisatie (normalisatie) toe, wat betekent dat decode(encode(w)) niet gelijk is aan de oorspronkelijke string w. Dit verlies van oppervlaktegetrouwheid corrumpeert de output van generatieve modellen. Daarentegen bieden regelgebaseerde analyzers (bijv. Zemberek) en unsupervised segmenters (bijv. Morfessor) een betere morfologische uitlijning, maar zijn zij ofwel verlieslatend, woordenboekgebonden, of niet geoptimaliseerd voor taalmodellering.
• Representatiekloven: Huidige woordrepresentatiesystemen behandelen tokenisatie en embedding als gescheiden, disjuncte processen. Contextuele encoders zoals BERTurk zijn zwaar, vertrouwen op verlieslatende subword-vocabulaire en behandelen morfologie slechts impliciet. Er is een gebrek aan een verenigd systeem dat discrete, verliesloze tokens produceert terwijl het tegelijkertijd gestructureerde woord-embeddings genereert die inherent de morfologische relaties respecteren (bijv. het groeperen van kitap, kitaplar, kitabımız door constructie).

2. Methodologie

Het artikel introduceert Morpheus, een neuraal morfeem-grensmodel ontworpen om simultaan te fungeren als een verliesloze, morfologie-bewuste tokenizer en een producent van woord-embeddings.

Architectuur

Morpheus verwerkt een woord als een karaktersequentie en geeft zowel morfeemgrenzen als een enkele woord-embedding uit in één enkele forward pass:

1. Karakter Encoder: Karakter-embeddings worden geconcateneerd met geleerde case-flag embeddings en door een reeks multi-scale convoluties (kernelbreedtes 2–6) en drie self-attention lagen gestuurd. Cruciaal is dat Rotary Position Embeddings (RoPE) worden toegepast om relatieve offsets tussen karakters te vangen, waardoor het model in staat is om over de positie van suffixen ten opzichte van de stam te redeneren in plaats van over absolute indices.
2. Boundary Detector: Een stack van vier RoPE self-attention lagen gevolgd door een scoring head voorspelt een waarschijnlijkheid $p_i \in [0, 1]$ voor een grens bij elke inter-karakter positie.
3. Differentiabele Poisson–Binomial Segmentatie: Om niet-differentieerbare argmax-operaties te vermijden die de gradiëntstroom zouden blokkeren, gebruikt Morpheus een differentiële dynamische programmering. Het behandelt grens-waarschijnlijkheden als onafhankelijke Bernoulli-proeven en berekent een zachte morfeem-lidmaatschapsmatrix $M$ met behulp van een Poisson–binomial distributie.
   • Training: Gradiënten stromen door de zachte lidmaatschapsmatrix $M$ naar de boundary detector, gevormd door zowel gesuperviseerde labels als self-supervised objectieven.
   • Inference: Naarmate waarschijnlijkheden convergeren naar 0 of 1, wordt de zachte matrix een one-hot harde segmentatie, waardoor exacte grenzen worden hersteld zonder architecturale wijzigingen.
   • Oppervlaktebehoud: Het mechanisme groepeert alleen karakters; het voegt nooit karakters toe, verwijdert ze niet of herschrijft ze niet. Dit zorgt ervoor dat decode(encode(w) = w door constructie standhoudt.
4. Woord Embedding: Segmentvectoren worden berekend via attention-pooling van karaktervectoren, gewogen door hun lidmaatschap in $M$. Deze worden geaggregeerd tot een finale 320-dimensionale woord-embedding ($e_w$) via een feed-forward netwerk.

Trainingsdoelstellingen

Het model wordt getraind met een gewogen som van vier losses:

• Auxiliary Loss ($L_{aux}$): Een boundary Binary Cross-Entropy (BCE) en count regularizer tegen labels van een unsupervised Morfessor analyzer (met root-correctie). Dit gewicht neemt curriculaal af van 0.50 naar 0.08.
• Skip-Gram Negative Sampling ($L_{sgns}$): Een standaard word2vec-stijl objectief.
• Contrastive Loss ($L_{ctr}$): Een InfoNCE loss op root-identiteit, die alle inflectionen van dezelfde stam naar elkaar toe trekt.
• Masked Language Modeling ($L_{mlm}$): Een vocabulaire-vrije, karakter-niveau reconstructietaken waarbij gemaskeerde woorden karakter voor karakter worden geregenereerd.

3. Belangrijkste Bijdragen

1. Verenigd Model: Morpheus is het eerste model dat fungeert als zowel een verliesloze, morfologie-bewuste tokenizer als een gestructureerde woord-embedding producent voor het Turks, waarbij tokenisatie en representatie worden verenigd.
2. Differentiabele Segmentatie: De introductie van een differentiële Poisson–binomial dynamische programmering maakt end-to-end training van grensdetectie mogelijk, terwijl exacte, omkeerbare harde segmentatie tijdens inference wordt gegarandeerd.
3. Uitgebreide Evaluatie: Het artikel stelt een nieuwe evaluatie-as vast voor Turkse tokenisatie: omkeerbaarheid. Het demonstreert dat veel hoogpresterende tokenizers ongeldig zijn voor generatieve taken vanwege niet-omkeerbare decoding.

4. Resultaten

Tokenisatie Prestaties

• Omkeerbaarheid: Morpheus bereikt 100% omkeerbaarheid (decode(encode(w) = w), terwijl WordPiece (58.2%) en de regelgebaseerde TurkishTokenizer (95.4%) falen door respectievelijk diakritische verwijdering en canonieke normalisatie.
• Morfologische Uitlijning: Op de MorphScore benchmark (UD Turkish-Kenet) behaalt Morpheus een macro-F1 van 0.61, wat ongeveer het dubbele is van subword-tokenizers (~0.32) en vergelijkbaar is met de regelgebaseerde TurkishTokenizer (0.65), maar dan zonder de verlieslatende decoding-problemen.
• Efficiëntie & Kwaliteit: Onder de omkeerbare tokenizers bereikt Morpheus de laagste Bits-Per-Character (BPC) van 1.425 (vs. 1.436 voor BPE). Het gebruikt ongeveer 19% minder piek GPU-geheugen dan 64K-vocabulaire subword-tokenizers tijdens generatie.
• Fertility: Morpheus heeft een hogere token-per-woord ratio (1.73) vergeleken met subword-tokenizers (~1.5), een trade-off voor morfeem-niveau granulariteit.

Embedding Prestaties

Geëvalueerd op bevroren vectoren tegenover BERTurk en BGE-M3:

• Lexicale/Root Taken: Morpheus leidt beslissend in root-family retrieval (MAP 0.85 vs. 0.80 voor BGE-M3) en same-root verification (ROC-AUC 1.00 vs. 0.98). De op de stam gerichte geometrie clustert inflectionen effectief.
• Contextuele/Inflectionele Taken: Morpheus presteert minder goed op taken die zinscontext of fijnmazige inflectionele onderscheidingen vereisen (bijv. NER, aantal/geval probing), waar zwaardere contextuele encoders (BERTurk, BGE-M3) superieur blijven.

5. Betekenis en Claims

Het artikel betoogt dat omkeerbaarheid de beslissende poortwachter is voor tokenizers bedoeld voor generatieve modellen. Door niet-omkeerbare tokenizers te filteren, komt Morpheus als de superieure optie voor de Turkse NLP naar voren, waarbij het tegelijkertijd de laagste BPC, hoogste morfologische uitlijning en laagste geheugenvoetafdruk biedt.

De auteurs positioneren Morpheus niet als een vervanging voor contextuele encoders, maar als een complementaire, morfologie-bewuste lexicale encoder. De op de stam gerichte embedding is ideaal voor lexicale retrieval, deduplicatie en keyword matching in multi-vector RAG-systemen, terwijl contextuele encoders de semantiek op zinsniveau afhandelen.

Het werk demonstreert dat een enkel neuraal mechanisme succesvol de kloof kan overbruggen tussen tokenisatie en representatie, door een "verliesloze, morfologie-bewuste, embedding-producerende" alternatief te bieden voor de gefragmenteerde, verlieslatende of morfologie-blinde tools die momenteel beschikbaar zijn voor agglutinerende talen.