Exploiting Domain-Specific Parallel Data on Multilingual Language Models for Low-resource Language Translation

Título: Explotación de Datos Paralelos Específicos de Dominio en Modelos de Lenguaje Multilingüe para la Traducción de Idiomas de Recursos Limitados

1. El Problema

Los sistemas de Traducción Automática Neuronal (NMT) basados en Modelos de Lenguaje Multilingüe (msLMs), como mBART, a menudo no logran los resultados esperados cuando se aplican a idiomas de recursos limitados (LRLs). Esto se debe a dos factores principales:

1. La escasez de datos paralelos para el idioma objetivo.
2. La representación insuficiente de dicho idioma en el modelo pre-entrenado.

Esta limitación es crítica al construir sistemas NMT específicos de un dominio (por ejemplo, noticias, gobierno o religión) para LRLs. Los investigadores se enfrentan a dos escenarios:

• Dominio In-Domain (Intra-dominio): El dominio objetivo tiene algunos datos paralelos, pero insuficientes.
• Dominio Out-Domain (Extra-dominio): El dominio objetivo no tiene datos paralelos para entrenamiento (escenario de prueba zero-shot).

En ambos casos, existe la posibilidad de utilizar datos paralelos de dominios auxiliares (diferentes del objetivo pero del mismo par de idiomas) para mejorar el modelo. Sin embargo, no está claro cuál es la estrategia óptima: ¿deberían usarse estos datos para fine-tuning (ajuste fino), para pre-entrenamiento continuo, o para una combinación de ambos? Además, el impacto de la divergencia de dominio (la diferencia temática/lingüística entre los datos auxiliares y los objetivos) no ha sido estudiado en profundidad en este contexto.

2. Metodología

Los autores realizaron un estudio exhaustivo comparando técnicas de adaptación de msLMs (específicamente mBART y, en un estudio de ablación, NLLB) para pares de idiomas inglés-XX (Sinhala, Tamil, Kannada, Gujarati y Hindi).

Estrategias Evaluadas:

1. Pre-entrenamiento Continuo: Se probaron objetivos de denoising de bitexto (bitext denoising) utilizando datos de dominios auxiliares antes del ajuste fino.
2. Fine-Tuning (Ajuste Fino) y Transferencia de Tareas Intermedias (ITTL):
   • Fine-Tuning de un solo dominio (Vanilla): Entrenamiento solo con datos del dominio objetivo.
   • Fine-Tuning Multi-dominio: Entrenamiento simultáneo con datos de múltiples dominios.
   • ITTL de un solo dominio: Un paso intermedio con un dominio auxiliar, seguido de un paso final con el dominio objetivo.
   • ITTL Multi-dominio: Un paso intermedio con múltiples dominios, seguido de un paso final con el dominio objetivo.

Configuración Experimental:

• Datos: Se utilizaron corpus de diferentes dominios: Noticias/Gobierno (PMI/Gvt), Religioso (Biblia) y Web (CCAligned).
• Tamaño de Datos: Se varió el tamaño de los conjuntos de datos (desde 1k hasta 25k/100k oraciones) para evaluar la escalabilidad.
• Métricas: Se utilizó spBLEU (BLEU tokenizado con SentencePiece) y la Divergencia de Jensen-Shannon (JSD) para cuantificar la divergencia entre dominios.
• Escenarios: Se evaluaron casos in-domain (prueba en el mismo dominio de entrenamiento final) y out-domain (prueba en FLORES, un corpus abierto).

3. Contribuciones Clave

• Estudio Comparativo: Es uno de los primeros estudios que compara sistemáticamente el pre-entrenamiento continuo frente al fine-tuning y el ITTL utilizando datos paralelos de dominios auxiliares para LRLs.
• Análisis de Divergencia: Cuantifica cómo la divergencia entre dominios (medida con JSD) afecta el rendimiento en diferentes configuraciones de entrenamiento.
• Descubrimiento sobre Tamaño de Datos: Demuestra que la estrategia óptima depende críticamente del tamaño del conjunto de datos del dominio objetivo, refutando la idea de que una sola técnica es superior en todos los casos.
• Recomendaciones Prácticas: Ofrece una guía basada en evidencia para investigadores con recursos computacionales limitados sobre cómo seleccionar datos y estrategias.

4. Resultados Principales

• Pre-entrenamiento Continuo:

  • Cuando el tamaño de los datos paralelos es pequeño (< 25k), el pre-entrenamiento con denoising de bitexto no aporta mejoras significativas sobre el fine-tuning estándar (Vanilla FT). En algunos casos (como Kannada), incluso degradó el rendimiento.

• Caso In-Domain (Dominio Objetivo con datos):

  • Datos Pequeños (< 10k): El Multi-domain Fine-Tuning (FT) es la mejor opción, ofreciendo un equilibrio entre rendimiento y costo computacional.
  • Datos Medianos (10k - 25k): El Multi-domain ITTL (con datos auxiliares en la etapa intermedia) supera al FT simple.
  • Datos Grandes (≥ 25k): Si el dominio objetivo tiene suficientes datos (aprox. 25k), el Vanilla FT (solo con datos del objetivo) es suficiente y a menudo superior, ya que los datos auxiliares no aportan valor adicional y pueden introducir ruido.

• Caso Out-Domain (Dominio Objetivo sin datos):

  • La divergencia de dominio es el factor crítico. El rendimiento depende de qué tan similares sean los dominios auxiliares al dominio de prueba.
  • El uso de datos de un dominio más cercano al objetivo (menor JSD) en la etapa final es crucial.
  • Multi-domain FT vs. ITTL: Aunque ambos superan al Vanilla FT, el Multi-domain FT es generalmente más robusto y menos susceptible a la divergencia de dominio que el ITTL, además de ser más eficiente computacionalmente.

• Combinación de Múltiples Dominios:

  • Mezclar datos de más de dos dominios (ej. Biblia + Noticias + Web) no mejora el rendimiento consistentemente debido a la alta divergencia entre ellos. A menudo, la mezcla excesiva de dominios dispares degrada el modelo.

• Idiomas No Soportados (Kannada):

  • Para idiomas no presentes en el modelo base (como Kannada en mBART), el uso de una tarea intermedia con datos auxiliares (ITTL) mostró ganancias significativas (hasta +5.9 spBLEU) cuando se usaron grandes volúmenes de datos auxiliares, superando a otros idiomas que ya estaban bien representados.

5. Significado e Impacto

Este trabajo es fundamental para la comunidad de NMT de bajos recursos porque:

1. Optimización de Recursos: Evita que los investigadores gasten tiempo y potencia de cálculo en técnicas de pre-entrenamiento que no funcionan con datos pequeños, dirigiendo sus esfuerzos hacia estrategias de fine-tuning más efectivas.
2. Guía de Selección de Datos: Establece que la calidad (similitud de dominio) es más importante que la cantidad bruta al mezclar datos. Mezclar dominios muy dispares sin considerar la divergencia es contraproducente.
3. Escalabilidad: Proporciona un marco para construir sistemas de traducción robustos para emergencias (pandemias, desastres) donde los datos son escasos y los dominios específicos son críticos.
4. Validación de msLMs: Confirma que los modelos multilingüe pre-entrenados son la base más sólida para LRLs, pero su adaptación requiere estrategias específicas según la disponibilidad de datos, no un enfoque único.

En resumen, el artículo concluye que no existe una solución única: la estrategia óptima (ITTL, FT simple o FT multi-dominio) depende estrictamente del tamaño del conjunto de datos objetivo y de la divergencia entre los dominios disponibles.