The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

Imagina que eres un detective intentando resolver un misterio, pero en lugar de una escena del crimen, tu escena es un lenguaje. Este artículo vive en el mundo de la lingüística computacional, un campo donde los científicos construyen herramientas digitales para entender cómo funcionan las lenguas humanas. Para resolver el misterio, utilizan un tipo específico de herramienta llamada modelo de estado finito. Piensa en este modelo como un catálogo de fichas de biblioteca súper organizado o un mapa de una estación de tren. No intenta comprender el significado de una oración como lo hace un humano; simplemente verifica si una palabra encaja con un patrón específico. Pregunta: "¿Tiene esta palabra una raíz (la parte principal) y un sufijo (una pequeña pieza añadida al final)?". Si el patrón coincide, la herramienta dice: "¡Entendido!". Si no, dice: "No conozco esta".

¿Por qué le importa esto a alguien? Porque para muchos idiomas, tenemos diccionarios y libros de gramática, pero no tenemos estos mapas digitales. Sin ellos, las computadoras no pueden traducir, corregir la ortografía o buscar a través de textos en esos idiomas de manera efectiva. La pregunta que este artículo aborda es simple pero complicada: ¿Qué parte de un idioma está realmente hecha de estas pequeñas piezas con patrón y qué parte es solo una lista gigante de palabras únicas? Si un idioma consiste mayormente en palabras únicas, el "mapa" debe ser enorme. Si consiste mayormente en patrones, el mapa puede ser pequeño y ordenado.

---

El Misterio de la Lengua Dungan

Conoce al dungan, una lengua hablada por una comunidad de musulmanes de Asia Central que se trasladó allí hace más de cien años. Es un primo del chino mandarín, pero con un giro: en lugar de usar caracteres chinos, lo escriben usando el alfabeto cirílico (el mismo sistema de escritura utilizado para el ruso). Debido a que abandonaron los caracteres y los tonos musicales que normalmente ayudan a distinguir las palabras, el dungan es un poco como un juego de "¿Quién es quién?" donde muchos personajes se ven exactamente iguales en el papel.

Los autores de este artículo, Anton y Sergey, decidieron construir un "mapa" digital (un analizador de estado finito) para el dungan para ver exactamente cómo funciona su gramática en la vida real. No querían inventar nuevas reglas; querían tomar las reglas ya escritas en viejos libros de gramática y convertirlas en una máquina funcional para medir la lengua. Construyeron este mapa para dos dialectos principales: la variedad de Gansu (la versión estándar y literaria) y la variedad de Shaanxi.

El Gran Descubrimiento: Un Núcleo Diminuto y un Léxico Enorme

Cuando ejecutaron su mapa sobre miles de oraciones de tres tipos diferentes de textos (enciclopedias, cuentos populares y narrativas religiosas), encontraron algo sorprendente.

1. La Gramática "Invisible"
En muchos idiomas, las palabras cambian de forma constantemente (como "caminar" convirtiéndose en "caminó", "caminando", "camina"). En el dungan, esto sucede muy rara vez. Los autores descubrieron que en el texto de la enciclopedia, solo el 9,3% de las palabras tenían realmente un "sufijo" visible unido a ellas. En los cuentos populares, era el 13,4%, y en la narrativa religiosa, era el 27,1%.

• La Analogía: Imagina una ciudad donde el 90% de los edificios son simplemente bloques lisos y sin adornos. Solo unos pocos tienen banderas especiales o decoraciones encima. La "gramática" del dungan son esas pocas banderas. La mayor parte del tiempo, las palabras simplemente están ahí, sin cambios.

2. La Ambigüedad de los "Dos Clíticos"
Debido a que tan pocas palabras cambian, cuando lo hacen, puede resultar confuso. Los autores descubrieron que el 78,1% de las palabras que su herramienta reconoció tenían solo un significado posible. ¡Esa es una señal muy clara! Sin embargo, la confusión restante estaba concentrada casi por completo en solo dos pequeñas piezas de palabras (clíticos): -di y -ni.

• La Analogía: Imagina un semáforo que funciona perfectamente el 78% de las veces. La única vez que se vuelve confuso es cuando la luz se queda trabada en "Amarillo" o "Rojo", y nadie sabe si significa "Pare" o "Siga". En el dungan, la pequeña pieza -di puede significar "perteneciente a" (genitivo) o "sucediendo ahora mismo" (progresivo), y -ni puede significar "en un lugar" (locativo) o "sucederá pronto" (prospectivo). La computadora no puede distinguir la diferencia sin más contexto, pero al menos sabe dónde está la confusión.

3. El Núcleo "Cerrado"
El hallazgo más importante es sobre qué tan "completo" es su mapa. Ellos preguntaron: "¿Cuando la computadora no reconoce una palabra, es porque falta la regla gramatical o porque la palabra en sí es nueva?".
Descubrieron que entre el 78% y el 95% de las palabras que la computadora no pudo manejar eran simplemente palabras que faltaban en el diccionario. Las reglas gramaticales en sí mismas estaban, de hecho, "cerradas" y completas. Las cosas que el modelo no incluyó (como algunos hábitos de tiempo pasado raros o cambios de sonido específicos) representaron como máximo el 4,5% de los fallos.

• La Analogía: Imagina que estás tratando de identificar animales en un zoológico. Tienes una guía perfecta de cómo reconocer a un león, un tigre o un oso. Si ves un animal que no conoces, es casi seguro que es una especie nueva que no habías visto antes, no porque a tu guía le falte una regla sobre cómo caminan los leones. La "frontera" del dungan no es la gramática; es el vocabulario.

Lo que los Números nos Dicen

Los autores fueron muy cuidadosos al medir exactamente lo que su herramienta podía hacer.

• Cobertura: Cuando probaron su mapa con nuevos textos que nunca había visto, reconoció exitosamente entre el 80 y el 85% de las palabras.
• El Poder de la Morfología: Si solo hubieran usado una lista de palabras sin reglas gramaticales, habrían reconocido el 67,4% de las palabras. Al añadir las reglas gramaticales (la "morfología"), aumentaron ese número al 72,6%. Es una ganancia de 5,2 puntos. Es un impulso útil, pero demuestra que la gramática es "delgada": el trabajo pesado lo hace la lista de palabras, no las reglas.
• Precisión: Para las palabras que sí reconocieron, la herramienta fue muy buena encontrando el significado correcto, aunque a veces se trababa con esas complicadas piezas -di y -ni.

La Conclusión: Un Mapa para el Futuro

El artículo concluye que el "núcleo morfológico" del dungan es compacto, productivo solo en algunas categorías y efectivamente cerrado. La gramática es simple y está terminada; el desafío es simplemente aprender todas las palabras.

Los autores publicaron su "mapa" (el analizador), el código y las pruebas para que cualquiera pueda usarlos. Admiten que su trabajo es una hipótesis basada en libros y diccionarios escritos, no un veredicto final de hablantes nativos. Incluso incluyeron una "hoja de trabajo" para que los hablantes nativos puedan participar y corregir cualquier error. Es un punto de partida, una base digital construida para ayudar a las computadoras a finalmente entender este lenguaje único escrito en cirílico. La frontera abierta no son las reglas del juego; son los jugadores mismos.