Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

Resumen Técnico: Mix-MoE: Mejora de la Traducción Automática Multilingüe de Modelos de Lenguaje Grandes mediante MoE Mixtos

Planteamiento del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) demuestran capacidades sólidas en traducción automática multilingüe (TA), su ajuste fino en corpus paralelos introduce un desafío significativo: la interferencia de parámetros. Cuando un LLM se ajusta fino para una tarea posterior como la traducción utilizando nuevos datos, sus parámetros se desplazan para optimizar la nueva tarea, lo que a menudo provoca la degradación de sus capacidades originales y sólidas de comprensión y generación lingüística monolingüe. Los enfoques existentes, como las arquitecturas genéricas de Mezcla de Expertos (MoE) o los métodos de aislamiento de parámetros, a menudo carecen de diseños específicos para la tarea que aprovechen explícitamente el conocimiento monolingüe preentrenado para ayudar en la traducción, o dependen de mecanismos de enrutamiento que consideran únicamente el contenido semántico, pasando por alto potencialmente patrones estructurales o rítmicos subyacentes en el texto.

Metodología
Los autores proponen Mix-MoE, un marco de Mezcla de Expertos mixto diseñado para entrenar LLMs para TA multilingüe mientras mitiga la interferencia de parámetros. El marco transforma un LLM denso en un modelo MoE disperso con dos grupos distintos de expertos y emplea una estrategia de entrenamiento en dos etapas:

1. Grupos de Expertos Especializados:

   • Expertos de Modelo de Lenguaje (LM): Diseñados para capturar y retener el conocimiento monolingüe aprendido durante el preentrenamiento. Estos se inicializan mediante el "reciclaje ascendente" (upcycling) de los pesos de las capas originales de la Red Neuronal de Alimentación Directa (FFN) del LLM.
   • Expertos de Traducción Automática (MT): Especializados en adquirir y almacenar conocimiento de traducción bilingüe. Estos se inicializan a partir de los Expertos LM preentrenados.
   • El modelo tiene como objetivo las capas FFN para la transformación MoE, ya que estas capas funcionan como memorias clave-valor para el conocimiento lingüístico, manteniendo las capas de Atención densas para preservar la conciencia del contexto.

2. Mecanismo de Enrutamiento Mejorado con FFT:

   • Para facilitar una interacción efectiva entre expertos y capturar diversas señales lingüísticas, los autores introducen un mecanismo de enrutamiento potenciado por características de la Transformada Rápida de Fourier (FFT).
   • Se extraen características espectrales de los estados ocultos del modelo mediante FFT y se concatenan con las representaciones semánticas originales.
   • Redes de enrutamiento separadas (una para expertos LM, otra para expertos MT) utilizan estas representaciones aumentadas para seleccionar expertos. Esto permite que el enrutador considere no solo el contenido semántico, sino también patrones en el dominio de la frecuencia indicativos de la estructura del texto (por ejemplo, ritmo de la oración, complejidad morfológica).

3. Estrategia de Post-Preentrenamiento en Dos Etapas:

   • Etapa 1 (Entrenamiento de Expertos LM): El modelo se entrena en corpus monolingües. Solo se actualizan los Expertos LM y su red de enrutamiento correspondiente. El objetivo es refinar la representación de las estructuras individuales de los idiomas.
   • Etapa 2 (Entrenamiento de Expertos MT): El modelo se entrena en corpus bilingües paralelos. Los Expertos LM y sus parámetros de enrutador se congelan para preservar el conocimiento monolingüe adquirido. Solo se entrenan los Expertos MT y su red de enrutamiento para especializarse en la tarea de traducción.

Contribuciones Clave

1. Arquitectura Mix-MoE: Una arquitectura MoE novedosa que presenta expertos LM y MT especializados, acoplados con un mecanismo de enrutamiento potenciado por FFT que aprovecha tanto señales semánticas como estructurales potenciales del texto.
2. Estrategia de Entrenamiento en Dos Etapas: Un pipeline de entrenamiento adaptado que permite a los Expertos MT beneficiarse del conocimiento preentrenado mientras se especializan en traducción, separando eficazmente los objetivos de aprendizaje monolingüe y bilingüe para mitigar la interferencia de parámetros.
3. Validación Empírica: Extensos experimentos que demuestran que el método propuesto logra resultados de vanguardia en múltiples tareas de traducción y pares de idiomas.

Resultados Experimentales
Los autores evaluaron Mix-MoE en 14 direcciones de idiomas utilizando el conjunto de datos WMT (incluyendo finlandés, checo, alemán, ruso, turco, estonio y chino hacia/desde inglés) y la referencia FLORES-200.

• Rendimiento: Mix-MoE superó consistentemente a las líneas base, incluido el Ajuste Fino Completo, LoRA, LLaMA-Pro y variantes MoE genéricas (por ejemplo, MoE-LPR, LLaMA-MoE v2). Por ejemplo, en la tarea DE-EN, Mix-MoE logró una puntuación BLEU de 31.8, superando significativamente a la línea base de Ajuste Fino Completo en Dos Etapas (20.8).
• Mitigación de Interferencia de Parámetros: Los estudios de ablación confirmaron que la separación de expertos es crucial. Un entrenamiento MoE estándar en dos etapas (actualizando todos los expertos en la Etapa 2) tuvo un rendimiento inferior al de Mix-MoE, lo que indica que el congelamiento específico de los Expertos LM previene el olvido catastrófico.
• Enrutamiento FFT: Las comparaciones con Proyección Aleatoria y la Transformada Discreta del Coseno (DCT) mostraron que las características derivadas de FFT mejoraron significativamente la efectividad del enrutamiento, confirmando que los patrones en el dominio de la frecuencia proporcionan señales estructurales valiosas para la selección de expertos.
• Escalabilidad: El método demostró robustez y escalabilidad al extenderse a modelos más grandes (Llama3.1-8B y Qwen2.5-14B), superando consistentemente a los enfoques de ajuste fino completo.

Significado y Afirmaciones
El artículo afirma que Mix-MoE aborda el desafío crítico de la interferencia de parámetros en el ajuste fino de LLMs para traducción multilingüe. Al separar explícitamente el aprendizaje del modelado de lenguaje monolingüe y la traducción bilingüe en grupos de expertos distintos, y al utilizar un mecanismo de enrutamiento sensible a los patrones estructurales del texto, el marco preserva con éxito las capacidades lingüísticas originales del LLM mientras mejora el rendimiento de traducción. Los autores posicionan este trabajo como un paso adelante en el entrenamiento eficiente de TA, ofreciendo una solución práctica para desplegar sistemas de traducción multilingüe que mantengan una comprensión lingüística de alta calidad sin la redundancia de actualizaciones masivas de parámetros.