💬 NLP

DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing

El artículo presenta DATASHI, un nuevo corpus paralelo inglés-tashlhiyt de 5.000 pares de oraciones diseñado para abordar la normalización ortográfica y el procesamiento de lenguas de bajos recursos, evaluando además el rendimiento de modelos de lenguaje avanzados en la tarea de normalización mediante análisis detallados de errores y generalización cruzada.

Autores originales: Nasser-Eddine Monir, Zakaria Baou

Publicado 2026-03-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nasser-Eddine Monir, Zakaria Baou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que el lenguaje es como un gran río. En algunos países, este río fluye por canales muy ordenados, con puentes claros y señales de tráfico perfectas. Pero en el caso del Tashlhiyt (una lengua amazíga hablada en el sur de Marruecos), el río es salvaje: tiene muchos afluentes, el agua cambia de color y forma, y a veces la gente escribe las palabras como si estuvieran "bailando" sin un ritmo fijo.

Aquí te explico de qué trata este paper, DATASHI, usando una analogía sencilla:

1. El Problema: El "Caos" de la Escritura

Imagina que tienes que enviar un mensaje a un amigo, pero no hay un diccionario oficial que todos usen.

Unos escriben "casa" como d-dar.
Otros la escriben ddar.
Algunos usan números como si fueran letras (como en el chat árabe: 3 para una 'a' o 7 para una 'h').
Otros mezclan el alfabeto latino con símbolos árabes.

Para una computadora (o una Inteligencia Artificial), esto es un desastre. Es como intentar leer un libro donde cada página usa una ortografía diferente. Las computadoras se confunden y no entienden nada. Además, como es una lengua con pocos recursos digitales, las IAs modernas (como las que usas para chatear) no han "aprendido" a hablarla bien.

2. La Solución: DATASHI (El Traductor y el Organizador)

Los autores de este paper crearon DATASHI, que es como un gigantesco diccionario bilingüe (Inglés-Tashlhiyt) con un truco especial.

La Colección: Recopilaron 5,000 frases.
El Truco (El "Antes y Después"):
- Primero, pidieron a personas normales que escribieran esas frases tal como las escriben en su vida diaria (con sus errores, mezclas y creatividad). Esto es el "Texto Salvaje".
- Luego, pidieron a expertos lingüistas que tomaran esas mismas frases y las "arreglaran" siguiendo las reglas oficiales. Esto es el "Texto Estándar".

Imagina que tienes una caja llena de piezas de LEGO de todos los colores y formas desordenadas (el texto salvaje). DATASHI es el manual que te dice exactamente cómo encajar cada pieza para construir la casa perfecta (el texto estándar).

3. La Prueba: ¿Quién es el mejor "Arreglador"?

Los autores tomaron este nuevo diccionario y lo pusieron a prueba contra los cerebros de Inteligencia Artificial más potentes del mundo (como GPT-5, Claude, Gemini, etc.).

La pregunta era: ¿Puede una IA aprender a ordenar este caos de escritura solo con ver unos pocos ejemplos?

El Resultado: ¡Sí! Pero no todos son iguales.
El Campeón: La IA Gemini-2.5-Pro fue la mejor. Funcionó como un orfebre experto: tomó las palabras desordenadas, entendió la intención del hablante y las transformó en la forma correcta, incluso cuando la escritura original era muy rara.
El Aprendiz: Otras IAs (como Qwen) intentaron arreglarlo, pero a veces borraban letras importantes o añadían cosas que no debían, como si un niño intentara arreglar un reloj y le pusiera un tornillo de un juguete.

4. ¿Por qué es importante esto? (La Magia Oculta)

Este trabajo no es solo para escribir mejor. Es como construir los cimientos de un edificio.

Para la Traducción: Si la IA entiende la escritura "salvaje", puede traducir mensajes de WhatsApp o redes sociales de personas reales, no solo de libros de texto.
Para la Voz: Imagina que quieres crear un asistente de voz (como Siri o Alexa) que hable Tashlhiyt. Para que la IA entienda lo que dices, primero necesita saber cómo se escriben las palabras correctamente. DATASHI ayuda a conectar la voz con la escritura. Es como darle a la IA un mapa para no perderse en el laberinto de sonidos de esta lengua.

En Resumen

DATASHI es un puente. Conecta el mundo caótico y creativo de cómo la gente realmente escribe el Tashlhiyt en su día a día, con el mundo ordenado y lógico que necesitan las computadoras para entenderlo.

Es como si los autores hubieran tomado un montón de notas garabateadas en servilletas de café y las hubieran convertido en un libro de texto perfecto, demostrando que, con la herramienta correcta (y un poco de ayuda de las IAs más inteligentes), ninguna lengua está demasiado "olvidada" para ser comprendida por la tecnología.

¡Y lo mejor es que han dejado todo el material abierto para que cualquiera pueda usarlo y seguir construyendo sobre estos cimientos!

Resumen Técnico: DATASHI

1. El Problema

Las lenguas amazigues (bereberes), y en particular el Tashlhiyt (también conocido como Tachelhit o Shilha), sufren de una grave escasez de recursos computacionales. A pesar de ser hablado por millones de personas en el sur de Marruecos, el Tashlhiyt presenta desafíos únicos para el Procesamiento del Lenguaje Natural (PLN):

Diversidad Ortográfica: Existe una gran variación en la escritura, que incluye el alfabeto oficial Tifinagh, transcripciones latinas no estandarizadas, y el uso de convenciones digitales híbridas (números y caracteres especiales como "3", "7", "9" para fonemas ausentes en el alfabeto latino).
Falta de Datos Paralelos: No existen corpus paralelos de alta calidad y gran escala que alineen el Tashlhiyt con lenguas mayoritarias, lo que dificulta el entrenamiento de modelos de traducción y normalización.
Complejidad Morfológica y Fonológica: El idioma posee una morfología no concatenativa rica, geminación de consonantes, y fonemas marcados (empháticos, faríngeos, uvulares) que complican la tokenización y la alineación.
Brecha de Rendimiento: La falta de datos estandarizados genera una brecha de rendimiento del 20-25% en sistemas multilingües o entre dialectos.

2. Metodología

El artículo presenta DATASHI, un corpus paralelo inglés-Tashlhiyt diseñado específicamente para abordar la normalización ortográfica y el procesamiento de lenguas de bajos recursos.

Creación del Corpus:
- Volumen: 5.000 pares de oraciones paralelas (Inglés - Tashlhiyt no estándar).
- Dominios: 20 temas cotidianos (hogar, salud, tecnología, religión, etc.).
- Participantes: 34 hablantes nativos (no expertos) transcribieron las oraciones en inglés utilizando sus propias convenciones de escritura espontánea, capturando la diversidad real del usuario.
- Subconjunto de Referencia: Un grupo de 7 expertos lingüísticos estandarizó manualmente un subconjunto de 1.500 oraciones, creando una "verdad de referencia" (gold standard) para la normalización.
Estrategia de Normalización:
- Se adoptó el alfabeto latino bereber (según las convenciones del IRCAM) como estándar objetivo.
- El proceso de normalización opera en tres niveles:
  1. Carácter: Estandarización de dígitos y dígrafos (ej. 7 $\to$ h., gh $\to$ G).
  2. Morfosintáctico: Corrección de variaciones dialectales y gramaticales (ej. sufijos regionales, formas negativas).
  3. Fonológico: Resolución de procesos de asimilación y fusión para preservar formas canónicas.
Evaluación Experimental:
- Se evaluaron cinco Modelos de Lenguaje Grandes (LLM) de última generación: GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro, Mistral-Large-2411 y Qwen3-Max.
- Configuraciones: Se probaron escenarios zero-shot (sin ejemplos) y few-shot (con 30 ejemplos de demostración).
- Métricas: Tasa de Error de Palabra (WER) y Distancia de Levenshtein (LD) a nivel de carácter.
- Análisis Detallado: Descomposición de errores (borrados, sustituciones, inserciones) por clases fonológicas (geminadas, empháticas, faríngeas, uvulares, labializadas).

3. Contribuciones Clave

Primer Corpus Paralelo de Gran Escala: DATASHI es el primer recurso que ofrece alineación paralela inglés-Tashlhiyt con una representación dual (texto generado por usuarios no estandarizados vs. versión experta estandarizada).
Marco de Normalización: Proporciona un conjunto de datos de referencia para desarrollar y evaluar modelos de normalización ortográfica, crucial para tareas downstream como traducción automática y reconocimiento de voz.
Análisis Fonológico Granular: Ofrece una de las primeras evaluaciones exhaustivas de cómo los LLMs manejan las características fonológicas específicas y complejas del Tashlhiyt (como la geminación y los fonemas faríngeos).
Base Multimodal: El diseño estandarizado del corpus facilita su extensión futura hacia la recolección de datos de habla (lectura) y la alineación multimodal, cerrando la brecha entre PLN y tecnologías de voz.

4. Resultados

Rendimiento General:
- Gemini-2.5-Pro demostró el mejor rendimiento global en ambos escenarios (zero-shot y few-shot), logrando la menor Tasa de Error de Palabra (WER: 37.8% $\to$ 35.5%) y la menor distancia de Levenshtein.
- Claude-Sonnet-4.5 y GPT-5 mostraron resultados moderados, mejorando significativamente con few-shot.
- Qwen3-Max y Mistral obtuvieron los peores resultados, con altas tasas de error, especialmente en la normalización de formas complejas.
Análisis de Errores por Clase Fonológica:
- Geminación: Fue la categoría con mayor tasa de error para todos los modelos. Los modelos menos robustos (Mistral, Qwen) tendían a eliminar o duplicar incorrectamente consonantes geminadas, ignorando distinciones morfológicas críticas.
- Fonemas Marcados: Los modelos mostraron sensibilidad variable a los fonemas faríngeos y uvulares. Gemini-2.5-Pro mantuvo la mayor precisión en la preservación de estos fonemas.
- Tipos de Errores: Las sustituciones fueron el error más frecuente, seguidos de borrados e inserciones. Los modelos propensos a errores tendían a "sobre-normalizar" o distorsionar formas ortográficas complejas.
Impacto del Few-Shot: El uso de ejemplos de demostración mejoró consistentemente el rendimiento de todos los modelos, demostrando que el aprendizaje en contexto es vital para la normalización en lenguas de bajos recursos.

5. Significado e Impacto

El trabajo de DATASHI es fundamental para la equidad de recursos en el PLN:

Avance para el Amazigh: Llena un vacío crítico en los recursos digitales para el Tashlhiyt, permitiendo evaluaciones reproducibles y el desarrollo de herramientas NLP robustas.
Validación de LLMs: Demuestra que los modelos fundacionales modernos pueden generalizar a lenguas de bajos recursos sin entrenamiento específico, aunque aún requieren ajustes y ejemplos para manejar la complejidad morfológica extrema.
Puente hacia el Habla: Al establecer una normalización textual consistente, el corpus sienta las bases para sistemas de reconocimiento y síntesis de voz en Tashlhiyt, un paso esencial para la inclusión digital de millones de hablantes.
Reproducibilidad: Todos los datos, código de preprocesamiento y prompts están disponibles públicamente, fomentando la investigación comunitaria y ética en lenguas amazigues.

En conclusión, DATASHI no es solo un conjunto de datos, sino una infraestructura crítica que permite transitar de la documentación lingüística a la aplicación tecnológica efectiva para una de las lenguas más habladas pero menos digitalizadas de África del Norte.