💻 computer science

Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish

Morpheus ist ein neuartiger neuronaler Tokenizer und Word-Embedder für das Türkische, der ein differenzierbares Poisson-Binomial-Dynamikprogramm nutzt, um eine verlustfreie, morphologiebewusste Tokenisierung mit überlegener Kompressions-Effizienz und morphologischer Ausrichtung im Vergleich zu Standard-Subword-Methoden zu erreichen, während er gleichzeitig qualitativ hochwertige, wortwurzelzentrierte Word-Embeddings generiert.

Ursprüngliche Autoren: Tolga Şakar

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tolga Şakar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Lego“-Sprache

Stellen Sie sich die türkische Sprache wie einen riesigen Satz Mega Bloks (oder Lego) vor. Im Englischen baut man normalerweise mit ganzen Steinen (Wörtern). Aber im Türkischen beginnt man mit einem einzelnen Basistein (dem Stamm, wie zum Beispiel „Haus“) und steckt dann kleinere, spezifische Teile (Suffixe) daran fest, um die Bedeutung zu ändern. Man kann „unser“, „in“ und „diejenigen, die sind“ anfügen, um aus „Haus“ das Wort „diejenigen, die in unseren Häusern sind“ zu machen.

Das Problem ist, dass die KI-Computer, die wir heute verwenden, auf englischsprachige Steine ausgelegt sind. Wenn sie versuchen, Türkisch zu lesen, nutzen sie einen „statistischen Ratenden“, um Wörter in Stücke zu zerlegen.

Der Fehler: Sie zerlegen das Wort an der falschen Stelle und zerstören dadurch die Bedeutung.
Der Fehler (Glitch): Einige dieser Werkzeuge zur Zerlegung sind „verlustreich“. Es ist, als würde man Ihr Lego-Modell nehmen, es auseinandernehmen und dann versuchen, es wieder zusammenzusetzen, aber dabei versehentlich die Farben übermalen oder einen roten Stein durch einen blauen ersetzen. Wenn der Computer dann versucht zu sprechen, sagt er das Falsche.

Die Lösung: Morpheus

Der Autor, Tolga Şakar, hat ein neues Werkzeug namens Morpheus entwickelt. Betrachten Sie Morpheus als eine intelligente, magische Schere, die genau versteht, wo die Lego-Teile miteinander verbunden sind.

So funktioniert es, unterteilt in drei einfache Superkräfte:

1. Der perfekte Zerteiler (Verlustfreier Tokenizer)

Die meisten Werkzeuge zerlegen Wörter basierend darauf, wie oft sie in einem Buch vorkommen. Morpheus zerlegt sie basierend auf der Grammatik.

Die Analogie: Stellen Sie sich einen Koch vor, der einen Kuchen schneidet. Ein normaler Koch schneidet ihn in zufällige Stücke, damit sie gleich groß aussehen. Morpheus ist ein Koch, der genau weiß, wo die Schichten aus Schokolade und Vanille liegen, sodass er nur zwischen den Schichten schneidet.
Das Ergebnis: Er zerlegt ein Wort niemals so, dass sich dessen Schreibweise ändert. Wenn Sie ihm ein Wort geben, es zerlegen und dann wieder zusammenfügen, erhalten Sie das exakt gleiche Wort zurück, bis zum letzten Punkt und Akzent. Dies ist entscheidend, denn wenn eine KI eine Geschichte schreibt, muss sie in der Lage sein, die Wörter korrekt zu buchstabieren, wenn sie spricht.

2. Der Sofort-Übersetzer (Word Embedder)

Normalerweise benötigt man zwei verschiedene Maschinen für zwei verschiedene Aufgaben: eine, um die Wörter zu zerlegen, und eine zweite, riesige Maschine, um zu verstehen, was diese Wörter bedeuten.

Die Analogie: Normalerweise müssen Sie einen Bibliothekar engagieren, um das Buch zu finden (das Wort zu zerlegen), und dann einen Professor, um die Geschichte zu erklären (die Bedeutung zu verstehen).
Morpheus' Trick: Morpheus ist ein Bibliothekar-Professor-Hybrid. In dem Moment, in dem er das Wort zerlegt, kennt er sofort die Bedeutung. Er erstellt einen „Fingerabdruck“ (ein Embedding) für das Wort gleichzeitig mit dem Schnitt. Er erledigt dies in einem einzigen Schritt, was Zeit und Computerspeicher spart.

3. Der Stamm-Sucher (Intelligente Geometrie)

Da sich türkische Wörter stark verändern (durch das Hinzufügen von „unser“, „in“, „s“ usw.), ist Morpheus darauf trainiert, die veränderlichen Teile zu ignorieren und sich auf den Stamm zu konzentrieren.

Die Analogie: Stellen Sie sich einen Stammbaum vor. „Haus“, „Häuser“, „Mein Haus“ und „Unsere Häuser“ sind alles unterschiedliche Personen, aber sie stammen alle aus derselben Familie.
Morpheus' Sichtweise: Morpheus sieht all diese Variationen als dieselbe Familie an. Er gruppiert sie eng zusammen in seinem Gehirn. Das macht ihn hervorragend darin, verwandte Wörter zu finden (wie eine supergenaue Suchmaschine für Wortstämme), aber er ist weniger gut darin, die winzigen Unterschiede zwischen „Mein Haus“ und „Dein Haus“ zu bemerken, wenn der Satzkontext komplex ist.

Die Kompromisse (Das „Kleingedruckte“)

Das Paper ist ehrlich darüber, wofom Morpheus zugunste dieser Kräfte verzichtet:

Mehr Fragmente: Da es Wörter in ihre echten grammatikalischen Teile zerlegt, erstellt es mehr „Fragmente“ (Tokens) pro Wort als die Standardwerkzeuge.
- Analogie: Es ist, als würde man einen Brief verschicken, bei dem man jedes einzelne Silbenwort in einer separaten Zeile schreibt. Es dauert etwas länger zu schreiben und zu lesen (etwas langsamere Geschwindigkeit), aber die Botschaft ist viel klarer und genauer.
Spezialisierte Intelligenz: Es ist ein Meister darin, die Stämme von Wörtern zu verstehen, aber es ist nicht so gut darin, den Kontext eines ganzen Satzes zu verstehen wie die riesigen, schweren KI-Modelle (wie BERT) sind.
- Analogie: Morpheus ist ein brillanter Wortdetektiv, aber kein Romanautor. Er ist perfekt dafür geeignet, spezifische Wörter zu finden oder Daten zu bereinigen, aber um eine komplexe Geschichte zu schreiben, möchten Sie vielleicht trotzdem ein größeres, kontextbewusstes Modell hinzuziehen.

Das Fazit

Morpheus ist ein neues Werkzeug für die türkische KI, das das „kaputte Lego“-Problem löst.

Es verliert niemals die ursprüngliche Schreibweise (es ist umkehrbar).
Es versteht die Grammatik der Schnitte, nicht nur die Statistik.
Es liefert Ihnen eine Bedeutungskarte für die Wörter gleichzeitig mit dem Schnitt.

Das Paper beweist, dass dieser „schlaue Zerteiler“ für das Türkische besser ist als die alten „statistischen Ratenden“ für Aufgaben, die Genauigkeit, Speichereffizienz und das Verständnis von Wortfamilien erfordern, auch wenn er bei der reinen Geschwindigkeit etwas langsamer ist.

Technisches Resümee: Morpheus – Ein morphologiebewusster neuronaler Tokenizer und Word-Embedder für Türkisch

1. Problemstellung

Türkisch ist eine agglutinierende Sprache, bei der die semantische Bedeutung durch Ketten von derivativen und infinitiven Suffixen getragen wird, die an ein Stammwort angehängt sind. Aktuelle NLP-Werkzeuge (Natural Language Processing) für das Türkische stehen vor zwei primären Einschränkungen:

Defizite in der Tokenisierung: Standardmäßige Subword-Tokenizer (BPE, WordPiece, Unigram) segmentieren Wörter basierend auf Korpusstatistiken statt auf linguistischer Morphologie. Dies führt zur Fragmentierung semantisch bedeutungsvoller Suffixe, was die Sequenzlängen (Fertilität) erhöht und die Rechenkosten steigert. Darüber hinaus sind viele weit verbreitete Tokenizer nicht reversibel; sie entfernen Diakritika oder wenden eine kanonische Re-Harmonisierung (Normalisierung) an, was bedeutet, dass decode(encode(w)) nicht dem ursprünglichen String w entspricht. Dieser Verlust der Oberflächen-Fideltät korrumpiert die Outputs generativer Modelle. Umgekehrt bieten regelbasierte Analysatoren (z. B. Zemberek) und unüberwachte Segmentierer (z. B. Morfessor) eine bessere morphologische Ausrichtung, sind jedoch entweder verlustbehaftet, lexikongebunden oder nicht für die Sprachmodellierung optimiert.
Repräsentationslücken: Aktuelle Wortrepräsentationssysteme behandeln Tokenisierung und Embedding als getrennte, unverbundene Prozesse. Kontextuelle Encoder wie BERTurk sind schwerfällig, verlassen sich auf verlustbehaftete Subword-Vokabulare und behandeln Morphologie nur implizit. Es mangelt an einem einheitlichen System, das gleichzeitig diskrete, verlustfreie Token erzeugt und strukturierte Wort-Embeddings generiert, die morphologische Beziehungen inhärent respektieren (z. B. die Gruppierung von kitap, kitaplar, kitabımız durch Konstruktion).

2. Methodik

Das Paper stellt Morpheus vor, ein neuronales Morphem-Grenzwertmodell, das gleichzeitig als verlustfreier, morphologiebewusster Tokenizer und als Wort-Embedding-Produzent fungieren soll.

Architektur

Morpheus verarbeitet ein Wort als Zeichensequenz und gibt sowohl Morphem-Grenzen als auch ein einzelnes Wort-Embedding in einem einzigen Vorwärtspass aus:

Zeichen-Encoder: Zeichen-Embeddings werden mit gelernten Case-Flag-Embeddings konkateniert und durch Multi-Scale-Konvolutionen (Kernelbreiten 2–6) sowie drei Self-Attention-Layer geleitet. Entscheidend ist, dass Rotary Position Embeddings (RoPE) angewendet werden, um relative Offsets zwischen den Zeichen zu erfassen, wodurch das Modell in der Lage ist, über die Position von Suffixen relativ zum Stamm statt über absolute Indizes zu argumentieren.
Boundary Detector: Ein Stapel aus vier RoPE-Self-Attention-Layern, gefolgt von einem Scoring-Head, sagt eine Wahrscheinlichkeit $p_i \in [0, 1]$ für eine Grenze an jeder Inter-Zeichen-Position voraus.
Differenzierbare Poisson-Binomial-Segmentierung: Um nicht differenzierbare Argmax-Operationen zu vermeiden, die den Gradientenfluss blockieren würden, verwendet Morpheus ein differenzierbares dynamisches Programm. Es behandelt Grenzwahrscheinlichkeiten als unabhängige Bernoulli-Versuche und berechnet eine weiche Morphem-Zugehörigkeitsmatrix $M$ $M$ mittels einer Poisson-Binomial-Verteilung.
- Training: Gradienten fließen durch die weiche Zugehörigkeitsmatrix $M$ zum Boundary Detector, geformt durch sowohl überwachte Labels als auch selbstüberwachte Ziele.
- Inferenz: Da die Wahrscheinlichkeiten gegen 0 oder 1 konvergieren, wird die weiche Matrix zu einer One-Hot-Hard-Segmentierung, wodurch exakte Grenzen ohne architektonische Änderungen wiederhergestellt werden.
- Oberflächenerhaltung: Der Mechanismus gruppiert lediglich Zeichen; er fügt niemals Zeichen ein, löscht sie nicht oder schreibt sie um. Dies stellt sicher, dass decode(encode(w) = w konstruktionsbedingt gilt.
Wort-Embedding: Segment-Vektoren werden über Attention-Pooling der Zeichenvektoren berechnet, gewichtet durch deren Zugehörigkeit zu $M$ . Diese werden über ein Feed-Forward-Netzwerk zu einem finalen 320-dimensionalen Wort-Embedding ( $e_w$ ) aggregiert.

Trainingsziele

Das Modell wird mit einer gewichteten Summe aus vier Verlustfunktionen trainiert:

Auxiliary Loss ( $L_{aux}$ ): Ein Boundary Binary Cross-Entropy (BCE) und ein Count-Regularisierer gegenüber Labels eines unüberwachten Morfessor-Analysators (mit Root-Korrektur). Dieses Gewicht nimmt kurrikular von 0,50 auf 0,08 ab.
Skip-Gram Negative Sampling ( $L_{sgns}$ ): Standardmäßiges Word2vec-ähnliches Ziel.
Contrastive Loss ( $L_{ctr}$ ): Ein InfoNCE-Loss auf die Identität des Stamms, der alle Inflektionen desselben Stamms zusammenzieht.
Masked Language Modeling ( $L_{mlm}$ ): Eine vokabularfreie, zeichenbasierte Rekonstruktionsaufgabe, bei der maskierte Wörter Zeichen für Zeichen regeneriert werden.

3. Zentrale Beiträge

Einheitliches Modell: Morpheus ist das erste Modell, das sowohl als verlustfreier, morphologiebewusster Tokenizer als auch als strukturierter Wort-Embedding-Produzent für das Türkische fungiert und somit Tokenisierung und Repräsentation vereinigt.
Differenzierbare Segmentierung: Die Einführung eines differenzierbaren Poisson-Binomial-Dynamikprogramms ermöglicht das End-to-End-Training der Grenzerkennung bei gleichzeitiger Garantie einer exakten, reversiblen Hard-Segmentierung während der Inferenz.
Umfassende Evaluierung: Das Paper etabliert eine neue Evaluierungsachse für die türkische Tokenisierung: Reversibilität. Es zeigt auf, dass viele leistungsstarke Tokenizer aufgrund der nicht-reversiblen Dekodierung für generative Aufgaben ungeeignet sind.

4. Ergebnisse

Tokenisierungsleistung

Reversibilität: Morpheus erreicht eine 100%ige Reversibilität (decode(encode(w) = w), während WordPiece (58,2 %) und der regelbasierte TurkishTokenizer (95,4 %) aufgrund von Diakritika-Entfernung bzw. kanonischer Normalisierung scheitern.
Morphologische Ausrichtung: Beim MorphScore-Benchmark (UD Turkish-Kenet) erreicht Morpheus ein Macro-F1 von 0,61, was etwa doppelt so hoch ist wie bei Subword-Tokenizern (~0,32) und vergleichbar mit dem regelbasierten TurkishTokenizer (0,65) ist, jedoch ohne die verlustbehafteten Dekodierungs-Nachteile.
Effizienz & Qualität: Unter den reversiblen Tokenizern erzielt Morpheus die niedrigsten Bits-Per-Character (BPC) von 1,425 (gegenüber 1,436 bei BPE). Es benötigt während der Generierung etwa 19 % weniger Peak-GPU-Speicher als Subword-Tokenizer mit 64K-Vokabular.
Fertilität: Morpheus hat ein höheres Token-pro-Wort-Verhältnis (1,73) im Vergleich zu Subword-Tokenizern (~1,5), was ein Kompromiss zugunsten der Morphologie-Ebene ist.

Embedding-Leistung

Evaluierung auf eingefrorenen Vektoren gegenüber BERTurk und BGE-M3:

Lexikalische/Stamm-Aufgaben: Morpheus führt entscheidend bei der Stamm-Familien-Abfrage (MAP 0,85 vs. 0,80 für BGE-M3) und der Verifizierung desselben Stamms (ROC-AUC 1,00 vs. 0,98). Die stammzentrierte Geometrie clustert Inflektionen effektiv.
Kontextuelle/Inflektionale Aufgaben: Morpheus schneidet bei Aufgaben schlechter ab, die Satzkontext oder feingliedrige inflectionale Unterscheidungen erfordern (z. B. NER, Number/Case Probing), wo schwerere kontextuelle Encoder (BERTurk, BGE-M3) weiterhin überlegen sind.

5. Bedeutung und Behauptungen

Das Paper argumentiert, dass Reversibilität das entscheidende Kriterium für Tokenizer ist, die für generative Modelle bestimmt sind. Durch das Filtern nicht-reversibler Tokenizer erweist sich Morpheus als die überlegene Option für das Türkische NLP, da es gleichzeitig die niedrigsten BPC, die höchste morphologische Ausrichtung und den geringsten Speicherbedarf bietet.

Die Autoren positionieren Morpheus nicht als Ersatz für kontextuelle Encoder, sondern als komplementären, morphologiebewussten lexikalischen Encoder. Sein stammzentriertes Embedding ist ideal für die lexikalische Abfrage, Deduplizierung und Keyword-Matching in Multi-Vektor-RAG-Systemen, während kontextuelle Encoder die Satz-Semantik handhaben.

Die Arbeit demonstriert, dass ein einzener neuronaler Mechanismus die Lücke zwischen Tokenisierung und Repräsentation erfolgreich schließen kann, indem er eine „verlustfreie, morphologiebewusste, Embedding-produzierende“ Alternative zu den fragmentierten, verlustbehafteten oder morphologieblinden Werkzeugen bietet, die derzeit für agglutinierende Sprachen verfügbar sind.