Resumen Técnico: Morpheus – Un Tokenizador y Embebedor de Palabras con Conciencia Morfológica para el Turco

1. Planteamiento del Problema

El turco es un lenguaje aglutinante donde el significado semántico es transportado por cadenas de sufijos derivativos e inflexionales adheridos a una raíz. Las herramientas actuales de Procesamiento de Lenguaje Natural (NLP) para el turco enfrentan dos limitaciones primarias:

• Deficiencias de Tokenización: Los tokenizadores de subpalabras estándar (BPE, WordPiece, Unigram) segmentan las palabras basándose en estadísticas del corpus en lugar de la morfología lingüística. Esto conduce a la fragmentación de sufijos con carga semántica, inflando la longitud de las secuencias (fertilidad) y aumentando los costos computacionales. Además, muchos tokenizadores ampliamente utilizados no son reversibles; eliminan diacríticos o aplican re-armonización canónica (normalización), lo que significa que decode(encode(w)) no es igual a la cadena original w. Esta pérdida de fidelidad superficial corrompe los resultados de los modelos generativos. Por el contrario, los analizadores basados en reglas (ej. Zemberek) y los segmentadores no supervisados (ej. Morfessor) ofrecen una mejor alineación morfológica, pero son o bien con pérdida de información, o limitados por diccionarios, o no están optimizados para el modelado de lenguaje.
• Brechas de Representación: Los sistemas actuales de representación de palabras tratan la tokenización y el embebido como procesos separados y disjuntos. Los codificadores contextuales como BERTurk son pesados, dependen de vocabularios de subpalabras con pérdida de información y tratan la morfología solo de forma implícita. Existe una falta de un sistema unificado que produzca tokens discretos y sin pérdida, mientras genera simultáneamente embeddings de palabras estructurados que respeten inherentemente las relaciones morfológicas (ej. agrupando kitap, kitaplar, kitabımız por construcción).

2. Metodología

El artículo presenta Morpheus, un modelo de frontera de morfemas diseñado para funcionar simultáneamente como un tokenizador con conciencia morfológica y sin pérdida de información, y como un productor de embeddings de palabras.

Arquitectura

Morpheus procesa una palabra como una secuencia de caracteres y produce tanto las fronteras de los morfemas como un único embedding de palabra en un solo paso hacia adelante (forward pass):

1. Codificador de Caracteres: Los embeddings de caracteres se concatenan con embeddings de bandera de caso aprendidos y se pasan a través de convoluciones multiescala (anchuras de kernel 2–6) y tres capas de auto-atención. Crucialmente, se aplican Embebedores de Posición Rotatorios (RoPE) para capturar desplazamientos relativos entre caracteres, permitiendo que el modelo razone sobre las posiciones de los sufijos respecto a la raíz en lugar de índices absolutos.
2. Detector de Fronteras: Una pila de cuatro capas de auto-atención RoPE seguida de una cabeza de puntuación predice una probabilidad $p_i \in [0, 1]$ para una frontera en cada posición inter-carácter.
3. Segmentación de Poisson–Binomial Diferenciable: Para evitar las operaciones argmax no diferenciables que bloquearían el flujo de gradiente, Morpheus emplea un programa dinámico diferenciable. Trata las probabilidades de frontera como ensayos de Bernoulli independientes y computa una matriz de membresía de morfema suave $M$ utilizando una distribución Poisson–binomial.
   • Entrenamiento: Los gradientes fluyen a través de la matriz de membresía suave $M$ hacia el detector de fronteras, moldeados tanto por etiquetas supervisadas como por objetivos auto-supervisados.
   • Inferencia: A medida que las probabilidades convergen a 0 o 1, la matriz suave se convierte en una segmentación rígida (hard) de un solo bit (one-hot), recuperando fronteras exactas sin cambios arquitectónicos.
   • Preservación de la Superficie: El mecanismo solo agrupa caracteres; nunca inserta, elimina o reescribe. Esto asegura que decode(encode(w) = w se cumpla por construcción.
4. Embedding de Palabra: Los vectores de segmento se computan mediante el attention-pooling de los vectores de caracteres ponderados por su membresía en $M$. Estos se agregan en un embedding de palabra final de 320 dimensiones ($e_w$) mediante una red de alimentación hacia adelante (feed-forward).

Objetivos de Entrenamiento

El modelo se entrena con una suma ponderada de cuatro pérdidas:

• Pérdida Auxiliar ($L_{aux}$): Una entropía cruzada binaria (BCE) de frontera y un regularizador de conteo contra etiquetas de un analizador Morfessor no supervisado (con corrección de raíz). Este peso decae curricularmente de 0.50 a 0.08.
• Muestreo Negativo de Skip-Gram ($L_{sgns}$): Objetivo estándar estilo word2vec.
• Pérdida Contrastiva ($L_{ctr}$): Una pérdida InfoNCE sobre la identidad de la raíz, atrayendo todas las inflexiones de la misma raíz hacia un mismo punto.
• Modelado de Lenguaje Enmascarado ($L_{mlm}$): Una tarea de reconstrucción a nivel de carácter sin vocabulario, donde las palabras enmascaradas se regeneran carácter por carácter.

3. Contribuciones Clave

1. Modelo Unificado: Morpheus es el primer modelo que actúa tanto como un tokenizador con conciencia morfológica y sin pérdida, como un productor de embeddings de palabras estructurados para el turco, unificando la tokenización y la representación.
2. Segmentación Diferenciable: La introducción de un programa dinámico Poisson–binomial diferenciable permite el entrenamiento de extremo a extremo de la detección de fronteras, garantizando una segmentación rígida exacta y reversible durante la inferencia.
   []
3. Evaluación Exhaustiva: El artículo establece un nuevo eje de evaluación para la tokenización del turco: la reversibilidad. Demuestra que muchos tokenizadores de alto rendimiento son inválidos para tareas generativas debido a la decodificación con pérdida de información.

4. Resultados

Rendimiento de la Tokenización

• Reversibilidad: Morpheus logra una reversibilidad del 100% (decode(encode(w) = w), mientras que WordPiece (58.2%) y el TurkishTokenizer basado en reglas (95.4%) fallan debido a la eliminación de diacríticos y la normalización canónica, respectivamente.
• Alineación Morfológica: En el benchmark MorphScore (UD Turkish-Kenet), Morpheus alcanza un macro-F1 de 0.61, aproximadamente el doble que los tokenizadores de subpalabras (~0.32) y comparable al TurkishTokenizer basado en reglas (0.65), pero sin las advertencias de decodificación con pérdida.
• Eficiencia y Calidad: Entre los tokenizadores reversibles, Morpheus obtiene los menores Bits-Por-Carácter (BPC) de 1.425 (frente a 1.436 para BPE). Utiliza aproximadamente un 19% menos de memoria GPU pico que los tokenizadores de subpalabras con vocabulario de 64K durante la generación.
• Fertilidad: Morpheus tiene una relación de tokens por palabra más alta (1.73) en comparación con los tokenizadores de subpalabras (~1.5), un compromiso a cambio de la granularidad a nivel de morfema.

Rendimiento de los Embeddings

Evaluado con vectores congelados frente a BERTurk y BGE-M3:

• Tareas Léxicas/de Raíz: Morpheus lidera decisivamente en la recuperación de familias de raíces (MAP 0.85 vs. 0.80 para BGE-M3) y verificación de la misma raíz (ROC-AUC 1.00 vs. 0.98). La geometría centrada en la raíz agrupa eficazmente las inflexiones.
• Tareas Contextuales/Inflexionales: Morpheus rinde por debajo en tareas que requieren contexto de oración o distinciones inflexionales finas (ej. NER, sondeo de número/caso), donde los codificadores contextuales más pesados (BERTurk, BGE-M3) siguen siendo superiores.

5. Significado y Reivindicaciones

El artículo argumenta que la reversibilidad es la puerta decisiva para los tokenizadores destinados a modelos generativos. Al filtrar los tokenizadores no reversibles, Morpheus emerge como la opción superior para el NLP del turco, ofreciendo simultáneamente los menores BPC, la mayor alineación morfológica y la menor huella de memoria.

Los autores posicionan a Morpheus no como un reemplazo para los codificadores contextuales, sino como un codificador léxico complementario con conciencia morfológica. Su embedding centrado en la raíz es ideal para la recuperación léxica, la deduplicación y la coincidencia de palabras clave en sistemas RAG multivetorial, mientras que los codificadores contextuales manejan la semántica a nivel de oración.

El trabajo demuestra que un único mecanismo neural puede cerrar con éxito la brecha entre la tokenización y la representación, proporcionando una alternativa "sin pérdida, con conciencia morfológica y productora de embeddings" a las herramientas fragmentadas, con pérdida o ciegas a la morfología disponibles actualmente para lenguajes aglutinantes.