💻 computer science

Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish

Morpheus est un nouveau tokenizer neuronal et un encodeur de mots pour le turc qui utilise un programme dynamique de Poisson-binomial différentiable pour parvenir à une tokenisation sans perte et sensible à la morphologie, avec une efficacité de compression et un alignement morphologique supérieurs par rapport aux méthodes de sous-mots standards, tout en générant également des plongements de mots de haute qualité centrés sur la racine.

Auteurs originaux : Tolga Şakar

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tolga Şakar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : La langue « Lego »

Imaginez que la langue turque soit comme un immense ensemble de Mega Bloks (ou Lego). En anglais, on construit généralement avec des briques entières (des mots). Mais en turc, on commence par une brique de base (la racine, comme « maison ») et on y emboîte des pièces plus petites et spécifiques (des suffixes) pour changer le sens. On peut emboîter « notre », « dans » et « ceux qui sont » pour transformer « maison » en « ceux qui sont dans nos maisons ».

Le problème est que les ordinateurs IA que nous utilisons aujourd'hui (les Large Language Models) sont habitués aux briques de style anglais. Lorsqu'ils essaient de lire le turc, ils utilisent un « devineur statistique » pour découper les mots.

L'erreur : Ils découpent le mot au mauvais endroit, brisant ainsi le sens.
Le bug : Certains de ces outils de découpe sont « destructeurs » (lossy). C'est comme s'ils prenaient votre modèle Lego, le démontaient, puis essayaient de le remonter, mais qu'ils peignaient accidentellement par-dessus les couleurs ou remplaçaient une brique rouge par une bleue. Quand l'ordinateur essaie de parler en retour, il dit la mauvaise chose.

La Solution : Morpheus

L'auteur, Tolga Şakar, a construit un nouvel outil appelé Morpheus. Voyez Morpheus comme une paire de ciseaux magiques et intelligents qui comprend exactement où les pièces de Lego se connectent.

Voici comment cela fonctionne, décomposé en trois super-pouvoirs simples :

1. Le Découpeur Parfait (Tokenizer sans perte)

La plupart des outils découpent les mots en fonction de leur fréquence d'apparition dans un livre. Morpheus les découpe en fonction de la grammaire.

L'analogie : Imaginez un chef qui coupe un gâteau. Un chef normal le coupe en tranches aléatoires pour qu'elles paraissent égales. Morpheus est un chef qui sait exactement où se trouvent les couches de chocolat et de vanille, de sorte qu'il coupe uniquement entre les couches.
Le résultat : Il ne casse jamais un mot d'une manière qui change son orthographe. Si vous lui donnez un mot, le découpez, puis le remontez, vous obtenez exactement le même mot en retour, jusqu'au dernier point et accent. C'est crucial car si une IA écrit une histoire, elle doit être capable d'orthographier correctement les mots lorsqu'elle parle.

2. Le Traducteur Instantané (Word Embedder)

Habituellement, vous avez besoin de deux machines différentes pour faire deux tâches : une pour découper les mots, et une seconde, énorme machine, pour comprendre le sens de ces mots.

L'analogie : Habituellement, vous devez embaucher un Bibliothécaire pour trouver le livre (découper le mot) et ensuite un Professeur pour expliquer l'histoire (comprendre le sens).
L'astuce de Morpheus : Morpheus est un hybride Bibliothécaire-Professeur. Dès qu'il découpe le mot, il en connaît instantanément le sens. Il crée une « empreinte digitale » (un embedding) pour le mot en même temps qu'il le découpe. Il fait cela en une seule étape, ce qui permet de gagner du temps et de la mémoire informatique.

3. Le Chercheur de Racines (Géométrie Intelligente)

Parce que les mots turcs changent énormément (en ajoutant « notre », « dans », « s », etc.), Morpheus est entraîné pour ignorer les parties changeantes et se concentrer sur la racine.

L'analogie : Imaginez un arbre généalogique. « Maison », « Maisons », « Ma Maison » et « Nos Maisons » sont tous des personnes différentes, mais ils appartiennent tous à la même famille.
La vision de Morpheus : Morpheus voit toutes ces variations comme la même famille. Il les regroupe étroitement dans son cerveau. Cela le rend incroyable pour trouver des mots apparentés (comme un moteur de recherche ultra-précis pour les racines), mais il est moins bon pour remarquer les infimes différences entre « Ma Maison » et « Ta Maison » si le contexte de la phrase est complexe.

Les Compromis (Les « Petites Lettres »)

Le papier est honnête sur ce que Morpheus sacrifie pour obtenir ces pouvoirs :

Plus de morceaux : Parce qu'il découpe les mots en leurs véritables parties grammaticales, il crée plus de « morceaux » (tokens) par mot que les outils standards.
- Analogie : C'est comme envoyer une lettre où vous écrivez chaque syllabe sur une ligne séparée. Cela prend un peu plus de temps pour écrire et lire (vitesse légèrement plus lente), mais le message est beaucoup plus clair et précis.
Un Cerveau Spécialisé : Il est un maître pour comprendre les racines des mots, mais il n'est pas aussi performant pour comprendre le contexte d'une phrase entière que les modèles d'IA géants et lourds (comme BERT).
- Analogie : Morpheus est un brillant détective de mots, mais ce n'est pas un romancier. Il est parfait pour trouver des mots spécifiques ou nettoyer des données, mais pour écrire une histoire complexe, vous aurez peut-être toujours besoin de l'associer à un modèle plus vaste et conscient du contexte.

L'Essentiel

Morpheus est un nouvel outil pour l'IA turque qui résout le problème du « Lego cassé ».

Il ne perd jamais l'orthographe originale (il est réversible).
Il comprend la grammaire des découpes, pas seulement les statistiques.
Il vous donne une carte de sens pour les mots en même temps qu'il les découpe.

Le papier prouve que pour le turc, ce « découpeur intelligent » est meilleur que les anciens « devineurs statistiques » pour les tâches exigeant de la précision, de l'efficacité de la mémoire et la compréhension des familles de mots, même s'il est légèrement plus lent en termes de vitesse brute.

Résumé technique : Morpheus – Un tokenizer et un encodeur de mots morphologiquement conscient pour le turc

1. Énoncé du problème

Le turc est une langue agglutinante où le sens sémantique est porté par des chaînes de suffixes dérivationnels et flexionnels attachés à une racine. Les outils actuels de traitement du langage naturel (NLP) pour le turc font face à deux limitations principales :

Déficiences de la tokenisation : Les tokenizers de sous-mots standards (BPE, WordPiece, Unigram) segmentent les mots en fonction des statistiques du corpus plutôt que de la morphologie linguistique. Cela conduit à la fragmentation de suffixes chargés sémantiquement, gonflant la longueur des séquences (fertilité) et augmentant les coûts computationnels. De plus, de nombreux tokenizers largement utilisés ne sont pas réversibles ; ils supprrent les diacritiques ou appliquent une ré-harmonisation canonique (normalisation), ce qui signifie que decode(encode(w)) n'est pas égal à la chaîne d'origine w. Cette perte de fidélité de surface corrompt les sorties des modèles génératifs. À l'inverse, les analyseurs basés sur des règles (ex. Zemberek) et les segmentateurs non supervisés (ex. Morfessor) offrent un meilleur alignement morphologique mais sont soit perdants (lossy), soit liés à un dictionnaire, soit non optimisés pour la modélisation du langage.
Écarts de représentation : Les systèmes actuels de représentation de mots traitent la tokenisation et l'embedding comme des processus distincts et disjoints. Les encodeurs contextuels comme BERTurk sont lourds, reposent sur des vocabulaires de sous-mots perdants et ne traitent la morphologie que de manière implicite. Il manque un système unifié capable de produire des tokens discrets et sans perte, tout en générant simultanément des embeddings de mots structurés qui respectent intrinsèquement les relations morphologiques (par exemple, regrouper kitap, kitaplar, kitabımız par construction).

2. Méthodologie

Le papier présente Morpheus, un modèle de détection de frontières de morphèmes neural conçu pour fonctionner simultanément comme un tokenizer sans perte, conscient de la morphologie, et comme un producteur d'embeddings de mots.

Architecture

Morpheus traite un mot comme une séquence de caractères et produit à la fois des frontières de morphèmes et un embedding de mot unique lors d'une seule passe directe (forward pass) :

Encodeur de caractères : Les embeddings de caractères sont concaténés avec des embeddings de drapeaux de casse appris et passés à travers des convolutions multi-échelles (largeurs de noyau 2–6) et trois couches d'auto-attention. Crucialement, des Embeddings de Position Rotatifs (RoPE) sont appliqués pour capturer les décalages relatifs entre les caractères, permettant au modèle de raisonner sur les positions des suffixes par rapport à la racine plutôt que sur des indices absolus.
Détecteur de frontières : Une pile de quatre couches d'auto-attention RoPE suivie d'une tête de score prédit une probabilité $p_i \in [0, 1]$ pour une frontière à chaque position inter-caractère.
Segmentation de Poisson–Binomial différentiable : Pour éviter les opérations argmax non différentiables qui bloqueraient le flux de gradient, Morpheus emploie un programme dynamique différentiable. Il traite les probabilités de frontière comme des essais de Bernoulli indépendants et calcule une matrice d'appartenance morphémique douce $M$ $M$ en utilisant une distribution de Poisson–binomial.
- Entraînement : Les gradients circulent à travers la matrice d'appartenance douce $M$ vers le détecteur de frontières, façonnés par des étiquettes supervisées et des objectifs auto-supervisés.
- Inférence : À mesure que les probabilités convergent vers 0 ou 1, la matrice douce devient une segmentation dure (one-hot), récupérant des frontières exactes sans changements architecturaux.
- Préservation de la surface : Le mécanisme ne fait que grouper les caractères ; il n'insère, ne supprime et ne réécrit jamais ces derniers. Cela garantit que decode(encode(w)) = w est respecté par construction.
Embedding de mot : Les vecteurs de segments sont calculés via un pooling d'attention des vecteurs de caractères pondérés par leur appartenance à $M$ . Ceux-ci sont agrégés en un embedding de mot final de 320 dimensions ( $e_w$ ) via un réseau de neurones à propagation directe (feed-forward).

Objectifs d'entraînement

Le modèle est entraîné avec une somme pondérée de quatre pertes :

Perte auxiliaire ( $L_{aux}$ ) : Une entropie croisée binaire (BCE) de frontière et un régulariseur de comptage par rapport aux étiquettes d'un analyseur Morfessor non supervisé (avec correction de racine). Ce poids décroît de manière curriculaire de 0,50 à 0,08.
Échantillonnage négatif Skip-Gram ( $L_{sgns}$ ) : Objectif standard de type word2vec.
Perte contrastive ( $L_{ctr}$ ) : Une perte InfoNCE sur l'identité de la racine, rapprochant toutes les inflexions d'une même racine.
Modélisation de langage masqué ( $L_{mlm}$ ) : Une tâche de reconstruction de niveau caractère sans vocabulaire, où les mots masqués sont régénérés caractère par caractère.

3. Contributions clés

Modèle unifié : Morpheus est le premier modèle agissant à la fois comme un tokenizer sans perte, conscient de la morphologie, et comme un producteur d'embeddings de mots structurés pour le turc, unifiant la tokenisation et la représentation.
Segmentation différentiable : L'introduction d'un programme dynamique de Poisson–binomial différentiable permet un entraînement de bout en bout de la détection de frontières tout en garantissant une segmentation dure exacte et réversible lors de l'inférence.
Évaluation complète : Le papier établit un nouvel axe d'évaluation pour la tokenisation du turc : la réversibilité. Il démontre que de nombreux tokenizers performants sont invalides pour les tâches génératives en raison d'un décodage non réversible.

4. Résultats

Performance de la tokenisation

Réversibilité : Morpheus atteint une réversibilité de 100 % (decode(encode(w)) = w), alors que WordPiece (58,2 %) et le TurkishTokenizer basé sur des règles (95,4 %) échouent respectivement à cause de la suppression des diacritiques et de la normalisation canonique.
Alignement morphologique : Sur le benchmark MorphScore (UD Turkish-Kenet), Morpheus atteint un macro-F1 de 0,61, soit environ le double des tokenizers de sous-mots (~0,32) et comparable au TurkishTokenizer basé sur des règles (0,65), mais sans les inconvénients du décodage perdant.
Efficacité et Qualité : Parmi les tokenizers réversibles, Morpheus obtient le plus bas Bits-Per-Character (BPC) de 1,425 (contre 1,436 pour BPE). Il utilise environ 19 % de mémoire GPU de pointe en moins que les tokenizers de sous-mots à vocabulaire de 64K lors de la génération.
Fertilité : Morpheus a un ratio jeton-par-mot plus élevé (1,73) par rapport aux tokenizers de sous-mots (~1,5), un compromis pour une granularité au niveau du morphème.

Performance des embeddings

Évalué sur des vecteurs gelés contre BERTurk et BGE-M3 :

Tâches Lexicales/Racines : Morpheus mène de façon décisive dans la recherche de familles de racines (MAP 0,85 contre 0,80 pour BGE-M3) et la vérification de même racine (ROC-AUC 1,00 contre 0,98). La géométrie centrée sur la racine regroupe efficacement les inflexions.
Tâches Contextuelles/Inflexionnelles : Morpheus est moins performant sur les tâches nécessitant un contexte de phrase ou des distinctions flexionnelles fines (ex. NER, sondage de nombre/cas), où les encodeurs contextuels plus lourds (BERTurk, BGE-M3) restent supérieurs.

5. Signification et Revendications

Le papier soutient que la réversibilité est la porte d'entrée décisive pour les tokenizers destinés aux modèles génératifs. En filtrant les tokenizers non réversibles, Morpheus s'impose comme l'option supérieure pour le NLP en turc, offrant simultanément le BPC le plus bas, l'alignement morphologique le plus élevé et l'empreinte mémoire la plus faible.

Les auteurs positionnent Morpheus non pas comme un remplacement des encodeurs contextuels, mais comme un encodeur lexical complémentaire et conscient de la morphologie. Son embedding centré sur la racine est idéal pour la recherche lexicale, la déduplication et la correspondance de mots-clés dans les systèmes RAG multi-vecteurs, tandis que les encodeurs contextuels gèrent la sémantique au niveau de la phrase.

Ce travail démontre qu'un seul mécanisme neural peut combler avec succès le fossé entre la tokenisation et la représentation, fournissant une alternative « sans perte, consciente de la morphologie et produisant des embeddings » aux outils fragmentés, perdants ou aveugles à la morphologie actuellement disponibles pour les langues agglutinantes.