SozKZ: Training Efficient Small Language Models for Kazakh from Scratch

Resumen Técnico: SozKZ

1. El Problema

El idioma kazajo, una lengua túrquica aglutinante hablada por más de 22 millones de personas, permanece subatendida por los modelos de lenguaje multilingües actuales. Los desafíos principales identificados son:

• Ineficiencia de los tokenizadores: Los tokenizadores generales (entrenados predominantemente en inglés) fragmentan el texto kazajo en un número excesivo de subpalabras debido a su rica morfología (sufijos extensos). Esto se mide mediante la "fertilidad" (promedio de tokens por palabra), que es desproporcionadamente alta en modelos multilingües.
• Capacidad desperdiciada: Los modelos grandes multilingües (como Llama 3 o Qwen) asignan una fracción mínima de sus parámetros al kazajo, lo que resulta en una baja relación entre capacidad útil y tamaño total del modelo.
• Costo computacional: Entrenar o ajustar modelos masivos para una sola lengua de recursos limitados es computacionalmente costoso y poco eficiente.

2. Metodología

Los autores presentan SozKZ, una familia de modelos de lenguaje causal con arquitectura Llama, entrenados desde cero (from scratch) exclusivamente en texto kazajo.

• Datos: Se construyó un corpus monolingüe kazajo de aproximadamente 9 mil millones de tokens, agregado de 18 fuentes (Wikipedia, CulturaX, HPLT 2.0, etc.). Se aplicó un pipeline de limpieza de 9 etapas (normalización, filtrado de URLs, detección de idioma, deduplicación) que resultó en 13.7 millones de documentos limpios.
• Tokenizador: Se diseñó un tokenizador ByteLevel BPE dedicado, entrenado exclusivamente en texto kazajo con un vocabulario de 50,257 tokens. Este tokenizador logra una ventaja de fertilidad de 2–3 veces en comparación con los tokenizadores de modelos multilingües (Llama, Gemma, Qwen).
• Arquitectura: Se entrenaron cuatro modelos siguiendo la arquitectura Llama (activaciones SwiGLU, RoPE, RMSNorm, embeddings atados) en cuatro escalas de parámetros:
  • SozKZ-50M
  • SozKZ-150M
  • SozKZ-300M
  • SozKZ-600M
• Entrenamiento: Los modelos se entrenaron durante una época sobre el corpus completo. La relación tokens/parámetros para el modelo de 600M es de aproximadamente 15:1 (ligeramente por debajo del óptimo de Chinchilla de 20:1, debido a la disponibilidad limitada de datos de alta calidad). Se utilizó precisión mixta bfloat16.

3. Contribuciones Clave

1. Pipeline End-to-End: Presentación de un pipeline completo para el entrenamiento de modelos de lenguaje kazajo desde cero, incluyendo recolección, limpieza y pre-tokenización.
2. Tokenizador Especializado: Diseño y liberación de un tokenizador BPE de 50k vocabulario que mejora drásticamente la eficiencia en lenguas aglutinantes.
3. Evaluación Comparativa: Evaluación exhaustiva de los modelos SozKZ contra cinco modelos multilingües competidores (Qwen, Llama 3, Gemma) que van desde 0.5B hasta 3B de parámetros.
4. Análisis de Escalamiento: Reporte de curvas de escalamiento empírico para el kazajo, identificando el punto óptimo de eficiencia entre rendimiento y tamaño del modelo.
5. Código Abierto: Liberación de todos los modelos, el tokenizador y el pipeline de entrenamiento bajo licencias abiertas.

4. Resultados

Los modelos se evaluaron en tres benchmarks en configuración zero-shot:

• MC QA (Preguntas de opción múltiple culturales): SozKZ-600M alcanzó un 30.3% de precisión, acercándose al 32.0% de Llama-3.2-1B (que tiene el doble de parámetros) y superando a Qwen-0.5B.
• Belebele (Comprensión lectora): Los resultados se agruparon entre 27% y 32%, mostrando que la comprensión lectora sigue siendo un desafío para modelos base de este tamaño, sin diferencias drásticas entre modelos dedicados y multilingües.
• SIB-200 (Clasificación de temas): Aquí se observó la mayor ventaja. SozKZ-600M alcanzó un 25.5%, superando a todos los modelos multilingües evaluados hasta 2B de parámetros (incluyendo Gemma-2B y Qwen-1.5B). Incluso el modelo más pequeño, SozKZ-50M (25.5%), superó a modelos multilingües de 1.5B y 2B parámetros.

Análisis de Escalamiento: Se observó una mejora consistente en la precisión de MC QA al aumentar los parámetros de 50M (22.8%) a 600M (30.3%), sugiriendo que el escalamiento adicional seguiría siendo beneficioso y que el modelo no ha alcanzado la saturación.

5. Significado e Impacto

El trabajo demuestra que modelos pequeños y dedicados, entrenados desde cero con un tokenizador apropiado para la lengua, pueden lograr un rendimiento competitivo frente a modelos multilingües mucho más grandes en tareas específicas de idiomas de recursos limitados.

• Eficiencia: Logran un rendimiento comparable con una fracción del costo computacional y de parámetros.
• Ventaja del Tokenizador: La superioridad en tareas de clasificación de temas (SIB-200) valida la hipótesis de que un tokenizador nativo preserva mejor la estructura morfológica y las señales léxicas, algo que los tokenizadores multilingües fragmentan.
• Futuro: Los resultados sugieren que escalar más allá de 600M (hacia 1B-3B) y aplicar instruction tuning podría cerrar la brecha restante en tareas de conocimiento intensivo, ofreciendo una vía viable para el desarrollo de tecnología de lenguaje para otras lenguas túrquicas y de recursos limitados.

Todos los recursos están disponibles públicamente en Hugging Face bajo licencias abiertas para fomentar la investigación en PLN para el kazajo.