Ensemble Self-Training for Unsupervised Machine Translation

Resumen Técnico: Entrenamiento Auto-supervisado por Ensamble para UNMT

1. El Problema

La Traducción Automática Neural (NMT) depende tradicionalmente de grandes corpus paralelos, los cuales son escasos o inexistentes para muchos pares de idiomas, especialmente en recursos bajos. La Traducción Automática Neural No Supervisada (UNMT) intenta resolver esto aprendiendo únicamente de datos monolingües.

Sin embargo, la UNMT actual presenta fragilidades críticas:

• Bucles de retroalimentación cerrados: Los modelos se entrenan con "pseudo-etiquetas" que ellos mismos generan (mediante retrotraducción o back-translation). Si las traducciones iniciales son ruidosas o degeneradas, los errores se amplifican con el tiempo.
• Modos de colapso: En configuraciones de inicialización débil (especialmente con LLMs generativos), los modelos pueden converger a soluciones triviales, como:
  1. Copiar la entrada: El modelo simplemente replica el texto de entrada en lugar de traducirlo.
  2. Salida constante: El modelo genera la misma distribución de probabilidad independientemente de la entrada, ignorando el contexto.
• Falta de diversidad: Los métodos actuales suelen depender de un único modelo, lo que limita la capacidad de corregir errores sistemáticos.

2. Metodología Propuesta

Los autores proponen un marco de entrenamiento auto-supervisado impulsado por ensamble (Ensemble-Driven Self-Training). La idea central es utilizar múltiples modelos para generar datos de supervisión sintética de mayor calidad, en lugar de depender de un solo modelo.

El proceso se divide en tres etapas principales:

A. Configuración y Entrenamiento Base (Diversidad Estructurada)

• Se entrenan múltiples modelos ($N$) que comparten la misma tarea principal de traducción entre el par de idiomas objetivo $(A, B)$.
• Diversidad: Cada modelo $i$ se entrena adicionalmente con un idioma auxiliar distinto ($C_i$). Esto expone a cada modelo a señales cruzadas lingüísticas diferentes, fomentando la diversidad en sus predicciones sin cambiar la tarea principal.
• Estrategia de Entrenamiento Base: Para evitar los modos de colapso mencionados, se utiliza una fase de entrenamiento mixto:
  • Se alterna entre retrotraducción pura y pares de oraciones aleatorizados (fuente y destino sin relación semántica).
  • Esto obliga al modelo a generar tokens en el idioma objetivo (evitando la copia) mientras mantiene la correlación entre fuente y destino (evitando la salida constante).

B. Generación de Datos con Ensamble (Fase de Entrenamiento)

• Una vez entrenados independientemente, los modelos se combinan durante la fase de decodificación.
• Decodificación por Ensamble a nivel de token: Se promedian los logits (puntuaciones de probabilidad) de todos los modelos antes de aplicar la función softmax.
  $$z_{ens} = \frac{1}{N} \sum_{i=1}^{N} z_i$$
• Las traducciones resultantes de este ensamble se utilizan como datos paralelos sintéticos (pseudo-paralelos) de alta calidad.
• Entrenamiento Iterativo: Todos los modelos se re-entrenan utilizando estos datos sintéticos generados por el grupo. Este proceso es iterativo: los modelos mejorados generan un nuevo ensamble, que a su vez genera datos aún mejores.

C. Despliegue (Eficiencia)

• A pesar de que el entrenamiento involucra a múltiples modelos colaborando, el despliegue final utiliza un solo modelo.
• Se selecciona el modelo individual con mejor rendimiento en el conjunto de validación tras el entrenamiento por ensamble.
• Ventaja: Esto mantiene el costo de inferencia de un modelo único, eliminando la sobrecarga computacional en producción.

3. Contribuciones Clave

1. Análisis de Modos de Colapso: Identifican y formalizan dos modos de fallo específicos al entrenar LLMs de predicción de siguiente token para UNMT desde inicializaciones débiles (copiar entrada y salida constante) y proponen una estrategia de entrenamiento mixto para estabilizar el aprendizaje.
2. Marco de Ensamble para UNMT: Introducen un método donde múltiples modelos aprenden de datos pseudo-paralelos generados colectivamente, diferenciándose solo por su idioma auxiliar.
3. Mejora sin Costo de Inferencia: Demuestran que se pueden obtener ganancias consistentes en la calidad de traducción manteniendo la eficiencia de un solo modelo en producción.

4. Resultados Experimentales

Los experimentos se realizaron en dos escenarios:

• Recursos Bajos: Inglés $\leftrightarrow$ Polaco (usando Llama-3.2-1B).
• Recursos Altos: Inglés $\leftrightarrow$ Francés (usando Qwen3-0.6B y Qwen3-1.7B).

Hallazgos principales:

• Mejoras Significativas: El método supera consistentemente a los baselines de modelo único.
  • Ganancia media de 1.7 chrF al traducir desde inglés.
  • Ganancia media de 0.67 chrF al traducir hacia inglés.
  • Ganancia global promedio de 1.19 chrF.
• Estadística: Las mejoras son estadísticamente significativas (p-valores muy bajos, ej. $p = 2 \cdot 10^{-4}$).
• Dirección de Traducción: Las mejoras son más pronunciadas en la dirección hacia el idioma no inglés (generalmente el de menor recurso en el pre-entrenamiento), lo que sugiere que el ensamble ayuda más donde la señal inicial es más débil.
• Dinámica de Entrenamiento: Aunque el ensamble en sí mismo durante la inferencia no supera al mejor modelo individual, el entrenamiento sobre los datos generados por el ensamble mejora a la mayoría de los modelos, elevando el rendimiento del "mejor modelo" final.

5. Significado e Impacto

Este trabajo es significativo porque aborda la inestabilidad inherente de la UNMT sin aumentar la complejidad operativa en producción.

• Cambio de Paradigma: Transforma el ensamble de ser una técnica exclusiva de inferencia (común en NMT supervisada) a ser un mecanismo de mejora de la señal de entrenamiento.
• Robustez: La diversidad inducida por los idiomas auxiliares permite romper los bucles de retroalimentación de errores que suelen degradar los modelos individuales.
• Escalabilidad: Al no requerir múltiples modelos en tiempo de ejecución, el método es viable para despliegues reales con restricciones de latencia y costo.

En conclusión, el enfoque demuestra que la diversidad estructurada y la supervisión pseudo-compartida son estrategias simples pero efectivas para elevar el estado del arte en traducción automática no supervisada.