Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation

Resumen Técnico: Aprovechamiento de la Aumentación Orientada a Oraciones y la Arquitectura Basada en Transformers para la Traducción Vietnamita-Bahnar

Planteamiento del Problema
El idioma bahnar, una lengua mon-jemer hablada por una minoría étnica en el centro de Vietnam, enfrenta desafíos significativos en la preservación digital y la comunicación intergeneracional debido a su estatus de lengua de bajos recursos. Si bien la Traducción Automática Neuronal (NMT) ofrece una vía para preservar y promover el idioma, los sistemas NMT estándar sufren de una baja calidad de traducción cuando se entrenan con corpora paralelos limitados. Las características lingüísticas específicas del bahnar —como las estructuras de palabras complejas que involucran afijos y reduplicación, conjuntos de fonemas únicos y variaciones regionales— complican aún más la traducción. Las técnicas de aumentación de datos (DA) existentes a menudo requieren un preprocesamiento extensivo, recursos adicionales (como corpora monolingües para la retrotraducción) o modelos generativos complejos, lo cual no es factible para el escaso conjunto de datos vietnamita-bahnar.

Metodología
Los autores proponen dos novedosas estrategias de aumentación de datos diseñadas para funcionar dentro de las restricciones de la NMT de bajos recursos sin requerir datos externos ni cambios arquitectónicos complejos. Ambos métodos se aplican al corpus de entrenamiento paralelo existente y son compatibles con arquitecturas estándar basadas en Transformers (utilizando específicamente el modelo BARTpho en los experimentos).

1. Aumentación de Datos de Aprendizaje Multitarea (MTL DA):
   Inspirado en la Aumentación de Datos Fácil (EDA) y en los principios del aprendizaje multitarea, este marco genera oraciones objetivo sintéticas para reforzar la dependencia del codificador respecto a la información de la fuente. En lugar de depender únicamente del prefijo del lenguaje objetivo (que es insuficiente en entornos de bajos recursos), el método introduce ruido en el lado del objetivo para obligar al modelo a prestar más atención a la fuente. Se definen cinco tareas auxiliares, controladas por un hiperparámetro $\alpha$ (establecido en 0.5):

• Swap (Intercambio): Intercambio aleatorio de palabras en el objetivo para romper la dependencia del prefijo.
• Token (Token): Reemplazo de palabras aleatorias del objetivo con un token especial [UNK].
• Source (Fuente): Reemplazo total de la oración objetivo por la oración fuente.
• Reverse (Reversión): Inversión del orden de las palabras de la oración objetivo.
• Replace (Reemplazo): Reemplazo de pares de palabras fuente-objetivo alineados con palabras aleatorias del diccionario.
  Los autores descubrieron que la combinación de tareas específicas (notablemente Token e Intercambio) produjo los mejores resultados, mientras que la tarea Source degradó el rendimiento.

2. Aumentación de Límite de Oración:
   Basándose en la investigación sobre errores de segmentación en el reconocimiento automático del habla (ASR), este método aplica ruido a nivel de oración en lugar de a nivel de palabra. Implica la truncación y concatenación de pares de oraciones adyacentes $(S_1, T_1)$ y $(S_2, T_2)$. Un hiperparámetro $p$ determina la proporción de truncación (por defecto 0.3). El algoritmo retiene la parte final de la primera oración y la parte inicial de la segunda, concatenándolas para formar un nuevo par de entrenamiento $(S_{out}, T_{out})$. Esto simula límites de oración incorrectos y obliga al modelo a aprender la robustez frente a errores de segmentación y cambios de contexto.

Contribuciones Clave

• Implementación de Dos Técnicas de DA: El estudio implementa y evalúa con éxito MTL DA y la Aumentación de Límite de Oración específicamente para la tarea de traducción vietnamita-bahnar.
• Optimización de Parámetros: Los autores realizaron un análisis profundo de los hiperparámetros ($\alpha$ para MTL DA y $p$ para el Límite de Oración), identificando configuraciones óptimas que equilibran la diversidad de los datos con la validez semántica.
• Mejora Específica de Errores: Los métodos fueron probados específicamente contra fallos de traducción comunes en este dominio, particularmente los errores de "colocación" y los problemas de traducción "palabra por palabra", demostrando mejoras dirigidas.
• Eficiencia de Recursos: Ambos enfoques no requieren datos adicionales más allá del corpus paralelo existente, ningún preprocesamiento complejo y ningún entrenamiento de sistemas auxiliares (a diferencia de la retrotraducción).

Resultados Experimentales
Los experimentos se realizaron en un conjunto de datos de aproximadamente 16,105 pares de oraciones vietnamita-bahnar, utilizando BLEU como métrica principal de evaluación. El modelo base Transformer alcanzó una puntuación BLEU de 29.89.

• Rendimiento de MTL DA: La combinación de las tareas Token e Intercambio produjo la mayor mejora entre las variantes de MTL, alcanzando una puntuación BLEU de 40.64. Las tareas individuales como Token (38.48) y Replace (38.01) también mostraron ganancias significativas. La tarea Source resultó en una caída drástica (2.38), confirmando que introducir vocabulario completamente nuevo sin alineación perjudica al modelo.
• Rendimiento del Límite de Oración: Este método alcanzó una puntuación BLEU de 41.33 (con $p=0.7$), superando todas las demás configuraciones. Notablemente, esta mejora se logró con un tamaño de conjunto de datos aumentado menor (0.67x el original) en comparación con MTL DA (2x el original).
• Comparación con Baselines: Ambos métodos propuestos superaron significativamente a la EDA estándar (36.37) y al Embedding Semántico (39.20).
• Reducción de Errores Específicos:
  • Para errores de Colocación, MTL DA (Token+Swap) mejoró la puntuación BLEU de 1.52 a 4.64 (un incremento de 3 veces), superando a la Aumentación de Límite de Oración (3.87).
  • Para errores de Palabra por Palabra, la Aumentación de Límite de Oración mostró un rendimiento superior, mejorando la puntuación de 6.61 a 11.08 (una mejora de casi el 68%), comparado con 9.19 para MTL DA.

Significancia y Reivindicaciones
El artículo afirma que estas estrategias de aumentación abordan eficazmente la escasez de datos inherente a la NMT de bajos recursos para el idioma bahnar. La significancia radica en la demostración de que:

1. El ruido en el lado del objetivo (MTL DA) puede desplazar con éxito la dependencia del modelo desde el prefijo del objetivo hacia el codificador de la fuente, mejorando la fidelidad de la traducción.
2. El ruido a nivel de oración (Aumentación de Límite) es una alternativa altamente efectiva y eficiente en recursos al ruido a nivel de palabra, capaz de manejar problemas de segmentación y mejorar la fluidez general.
3. Estos métodos son independientes de la arquitectura y eficientes en datos, lo que los hace viables para otros pares de lenguas de bajos recursos donde la recolección de datos adicionales es imposible.

Los autores concluyen que, si bien los métodos son prometedores, se requiere más investigación para explorar diferentes proporciones de datos en el aprendizaje multitarea y para validar estos enfoques en otros dialectos y lenguas de bajos recursos.