No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data

Resumen Técnico: No existe una solución única para todos: Construcción de sistemas para la traducción al bashkorto, kazajo, kirguís, tártaro y chuvasio

Declaración del Problema
El artículo aborda el desafío de la traducción automática (MT) para lenguas túrquicas de bajos recursos, centrándose específicamente en cinco pares de lenguas: ruso-bashkorto, ruso-kazajo, ruso-kirguís, inglés-tártaro y inglés-chuvasio. Los autores señalan que los datos paralelos de alta calidad son escasos para estas lenguas, lo que requiere la investigación de múltiples enfoques para mejorar la calidad de la traducción bajo condiciones de escasez de datos.

Metodología
Los autores emplearon una estrategia híbrida que combina el aumento de datos, el ajuste fino eficiente en parámetros y la generación de prompts con recuperación aumentada (retrieval-augmented prompting).

• Construcción y Aumento de Datos:

  • Datos Originales: El estudio agregó corpora paralelos existentes de diversas fuentes (por ejemplo, equipo NLLB, Plotnikov y Antonov, Zhang et al.) para los cinco pares de lenguas.
  • Datos Sintéticos: Para abordar la escasez de datos, los autores aumentaron los conjuntos de entrenamiento utilizando Yandex.Translate. Tradujeron frases del inglés al ruso (donde fue necesario) y luego al ruso a las lenguas túrquicas objetivo. Este proceso utilizó las funciones de "traducción de documentos" en fragmentos grandes (50k–200k muestras).
  • Filtrado: Los datos sintéticos fueron meticulosamente filtrados para eliminar cualquier frase que apareciera en los conjuntos de prueba.
  • Pseudocodificación (Pseudolabeling): Los autores utilizaron la pseudocodificación de datos, encontrando que el entrenamiento multilingüe sin ella arrojaba resultados inferiores en experimentos preliminares.
  • Conjunto de Datos Final: Tras el aumento, el tamaño de los datos de entrenamiento alcanzó aproximadamente 2.46 millones de muestras por par de lenguas. Se lanzó un subconjunto específico, YaTURK-7lang, que contiene datos traducidos a seis lenguas.

• Enfoque 1: Ajuste fino con LoRA (Kazajo y Bashkorto)

  • Modelo Base: Los autores seleccionaron facebook/nllb-200-distilled-600M como el modelo base.
  • Tokenización: Se añadieron prefijos de pares de lenguas personalizados (por ejemplo, <prefix_rus_bash>) al tokenizador para guiar al modelo.
  • Estrategia de Entrenamiento: Se exploraron dos modos:
    1. Ajuste fino multitarea en todas las lenguas durante un epoch, seguido del entrenamiento de adaptadores LoRA para lenguas específicas.
    2. Ajuste fino de tarea única.
  • Configuración de LoRA: Los autores utilizaron DORA (Weight-Decomposed Low-Rank Adaptation), una extensión de LoRA. Los hiperparámetros clave incluyeron $r=64$, $\alpha=64$, dropout de LoRA de 0.2 y la inicialización de pesos PiSSA. Los módulos objetivo incluyeron capas de proyección ($q, v, k, out$) y capas de alimentación hacia adelante ($fc1, fc2$).
  • Optimización: El entrenamiento utilizó el optimizador paged AdamW-8bit con un programador de tasa de aprendizaje lineal (tasa inicial $5e^{-4}$) para LoRA y programación de coseno para el ajuste fino completo.

• Enfoque 2: Generación de Prompts con Recuperación Aumentada (Chuvasio, Tártaro, Kirguís)

  • Justificación: El ajuste fino de NLLB en chuvasio funcionó mal, probablemente porque el modelo base no fue preentrenado en chuvasio. Del mismo modo, el rendimiento zero-shot para inglés-chuvasio fue débil.
  • Sistema de Recuperación: Se construyó un índice ANNOY utilizando frases del lenguaje origen del conjunto de datos. Para nuevas consultas, el sistema recupera las frases origen más similares y sus traducciones para servir como ejemplos de contexto.
  • Embeddings: Se utilizó thenlper/gte-small para inglés-chuvasio, mientras que sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 se utilizó para otros pares.
  • Prompting de LLM: Se probaron varios modelos vía API (DeepSeek-R1, DeepSeek-N1, MiMoV2, Gemma3, DeepSeek-V3.2). El prompt instruía al modelo para traducir una frase basándose en ejemplos similares recuperados, con restricciones estrictas para devolver únicamente la traducción.
  • Configuración: Para inglés-chuvasio, se utilizó una ventana de contexto grande (TOP_N=7000). Para inglés-tártaro, el prompting zero-shot con DeepSeek-V3.2 resultó superior a los métodos basados en recuperación.

• Ensemble (Stacking):

  • Los autores intentaron seleccionar la mejor traducción de múltiples sumisiones utilizando similitud semántica (codificador LaBSE) y filtrado basado en la perplejidad. Sin embargo, estos métodos generalmente llevaron a deterioros menores en las puntuaciones de validación en comparación con la mejor sumisión individual.

Resultados Clave
Los autores reportan puntuaciones chrF++ de la tabla de clasificación de la competencia:

• Kazajo: El enfoque basado en LoRA logró la puntuación más alta de 49.71.
• Bashkorto: El enfoque basado en LoRA logró 46.94.
• Chuvasio: El prompting de DeepSeek-V3.2 con ejemplos recuperados logró 39.47, superando significativamente al modelo NLLB ajustado (11.70) y a las bases zero-shot.
• Tártaro: Un enfoque zero-shot o basado en recuperación logró 41.6. Notablemente, el resultado zero-shot de DeepSeek-V3.2 (43.66) fue imbatible por los métodos de recuperación.
• Kirguís: El enfoque zero-shot alcanzó 45.6, superando al prompting basado en recuperación, el cual causó caídas de rendimiento cuando se expandieron las ventanas de contexto.

Contribuciones y Significado
La contribución principal del artículo es la demostración de que una estrategia de "talla única" es ineficaz para las lenguas túrquicas de bajos recursos; en su lugar, el enfoque óptimo depende de la disponibilidad de recursos específica y las características de la lengua objetivo.

• Estrategias Dependientes de Recursos: Para lenguas relativamente bien dotadas de recursos (bashkorto, kazajo), el ajuste fino de modelos preentrenados (NLLB) sobre datos sintéticos usando LoRA/DORA resultó ser lo más efectivo.
• Adaptación a la Escasez: Para lenguas con extrema escasez de datos como el chuvasio, donde el modelo base carecía de preentrenamiento, el prompting con recuperación aumentada con modelos de lenguaje de gran tamaño produjo mejoras significativas de calidad.
• Límites del Zero-Shot: Para lenguas con un rendimiento zero-shot decente (kirguís, tártaro), los mecanismos complejos de recuperación no superaron al simple prompting zero-shot con modelos avanzados como DeepSeek-V3.2.
• Lanzamiento Abierto: Los autores lanzaron el conjunto de datos YaTURK-7lang y los pesos de los modelos para kazajo y bashkorto (incluyendo el modelo de ajuste fino multitarea y los adaptadores LoRA) para facilitar la investigación posterior.

Conclusión
El estudio concluye que, si bien el ajuste fino sobre datos sintéticos es el camino más prometedor para las lenguas con algunos recursos existentes, el prompting con ejemplos recuperados es una alternativa viable para las lenguas con escasez extrema de datos. Los autores reconocen que la investigación futura podría explorar el ajuste fino de modelos preentrenados específicamente en lenguas de bajos recursos, pero su trabajo actual establece una línea base para manejar estos pares de lenguas túrquicas específicos utilizando las herramientas y los datos disponibles.