Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

Resumo Técnico: Mix-MoE: Melhorando a Tradução Automática Multilíngue de Modelos de Linguagem de Grande Escala através de MoEs Mistas

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem capacidades robustas na tradução automática multilíngue (MT), o ajuste fino deles em corpora paralelos introduz um desafio significativo: interferência de parâmetros. Quando um LLM é ajustado finamente para uma tarefa downstream como tradução, utilizando novos dados, seus parâmetros deslocam-se para otimizar a nova tarefa, frequentemente causando a degradação de suas capacidades originais e robustas de compreensão e geração de linguagem monolíngue. Abordagens existentes, como arquiteturas genéricas de Mistura de Especialistas (MoE) ou métodos de isolamento de parâmetros, muitas vezes carecem de designs específicos para a tarefa que aproveitem explicitamente o conhecimento monolíngue pré-treinado para auxiliar a tradução, ou dependem de mecanismos de roteamento que consideram apenas o conteúdo semântico, potencialmente negligenciando padrões estruturais ou rítmicos subjacentes no texto.

Metodologia
Os autores propõem o Mix-MoE, um framework de Mistura de Especialistas misto projetado para treinar LLMs para MT multilíngue enquanto mitiga a interferência de parâmetros. O framework transforma um LLM denso em um modelo MoE esparsos com dois grupos distintos de especialistas e emprega uma estratégia de treinamento em duas etapas:

1. Grupos de Especialistas Especializados:

   • Especialistas em Modelo de Linguagem (LM): Projetados para capturar e reter o conhecimento monolíngue aprendido durante o pré-treinamento. Estes são inicializados "reciclando para cima" (upcycling) os pesos das camadas originais de Rede Feed-Forward (FFN) do LLM.
   • Especialistas em Tradução Automática (MT): Especializados em adquirir e armazenar conhecimento de tradução bilíngue. Estes são inicializados a partir dos Especialistas LM pré-treinados.
   • O modelo visa as camadas FFN para a transformação MoE, pois essas camadas funcionam como memórias chave-valor para conhecimento linguístico, mantendo as camadas de Atenção densas para preservar a consciência contextual.

2. Mecanismo de Roteamento Aprimorado por FFT:

   • Para facilitar a interação eficaz entre especialistas e capturar pistas linguísticas diversas, os autores introduzem um mecanismo de roteamento aprimorado por características de Transformada Rápida de Fourier (FFT).
   • Características espectrais são extraídas dos estados ocultos do modelo via FFT e concatenadas com as representações semânticas originais.
   • Redes de roteamento separadas (uma para especialistas LM, outra para especialistas MT) utilizam essas representações aumentadas para selecionar especialistas. Isso permite que o roteador considere não apenas o conteúdo semântico, mas também padrões no domínio da frequência indicativos da estrutura do texto (por exemplo, ritmo da frase, complexidade morfológica).

3. Estratégia de Pós-pré-treinamento em Duas Etapas:

   • Etapa 1 (Treinamento de Especialistas LM): O modelo é treinado em corpora monolíngues. Apenas os Especialistas LM e sua rede de roteamento correspondente são atualizados. O objetivo é refinar a representação das estruturas de idiomas individuais.
   • Etapa 2 (Treinamento de Especialistas MT): O modelo é treinado em corpora bilíngues paralelos. Os Especialistas LM e seus parâmetros de roteador são congelados para preservar o conhecimento monolíngue adquirido. Apenas os Especialistas MT e sua rede de roteamento são treinados para se especializar na tarefa de tradução.

Principais Contribuições

1. Arquitetura Mix-MoE: Uma arquitetura MoE novel com especialistas LM e MT especializados, acoplada a um mecanismo de roteamento aprimorado por FFT que aproveita tanto pistas semânticas quanto potenciais pistas estruturais do texto.
2. Estratégia de Treinamento em Duas Etapas: Um pipeline de treinamento adaptado que permite que os Especialistas MT se beneficiem do conhecimento pré-treinado enquanto se especializam na tradução, separando efetivamente os objetivos de aprendizado monolíngue e bilíngue para mitigar a interferência de parâmetros.
3. Validação Empírica: Experimentos extensivos demonstrando que o método proposto alcança resultados state-of-the-art em múltiplas tarefas de tradução e pares de idiomas.

Resultados Experimentais
Os autores avaliaram o Mix-MoE em 14 direções de idiomas utilizando o conjunto de dados WMT (incluindo finlandês, tcheco, alemão, russo, turco, estoniano e chinês para/de inglês) e o benchmark FLORES-200.

• Desempenho: O Mix-MoE superou consistentemente as linhas de base, incluindo Ajuste Fino Completo, LoRA, LLaMA-Pro e variantes genéricas de MoE (por exemplo, MoE-LPR, LLaMA-MoE v2). Por exemplo, na tarefa DE-EN, o Mix-MoE alcançou uma pontuação BLEU de 31,8, superando significativamente a linha de base de Ajuste Fino Completo em Duas Etapas (20,8).
• Mitigação de Interferência de Parâmetros: Estudos de ablação confirmaram que a separação de especialistas é crucial. Um treinamento MoE padrão em duas etapas (atualizando todos os especialistas na Etapa 2) teve desempenho inferior ao Mix-MoE, indicando que o congelamento específico dos Especialistas LM previne o esquecimento catastrófico.
• Roteamento FFT: Comparações com Projeção Aleatória e Transformada Cosseno Discreta (DCT) mostraram que características derivadas de FFT melhoraram significativamente a eficácia do roteamento, confirmando que padrões no domínio da frequência fornecem pistas estruturais valiosas para a seleção de especialistas.
• Escalabilidade: O método demonstrou robustez e escalabilidade quando estendido para modelos maiores (Llama3.1-8B e Qwen2.5-14B), superando consistentemente abordagens de ajuste fino completo.

Significado e Alegações
O artigo alega que o Mix-MoE aborda o desafio crítico da interferência de parâmetros no ajuste fino de LLMs para tradução multilíngue. Ao separar explicitamente o aprendizado de modelagem de linguagem monolíngue e tradução bilíngue em grupos de especialistas distintos, e ao utilizar um mecanismo de roteamento sensível a padrões estruturais de texto, o framework preserva com sucesso as capacidades linguísticas originais do LLM enquanto aprimora o desempenho de tradução. Os autores posicionam este trabalho como um passo à frente no treinamento eficiente de MT, oferecendo uma solução prática para implantar sistemas de tradução multilíngue que mantêm compreensão linguística de alta qualidade sem a redundância de atualizações massivas de parâmetros.