Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation

Resumo Técnico: Aproveitamento da Dinâmica de Roteamento em Modelos de Mistura de Especialistas para Adaptação Eficiente de Idiomas

Declaração do Problema
Modelos de Mistura de Especialistas (MoE) são o padrão para escalar Modelos de Linguagem de Grande Escala (LLMs) devido à sua capacidade de manter contagens massivas de parâmetros enquanto mantêm os custos de inferência gerenciáveis por meio de ativação esparsa. No entanto, o comportamento interno de roteamento de modelos MoE em configurações multilíngues permanece pouco explorado. Embora modelos multilíngues densos sejam conhecidos por depender do inglês como um "pivô" interno nas camadas intermediárias, com neurônios específicos de idioma nas primeiras e últimas camadas, não está claro como os MoE desenvolvem estratégias de roteamento especializadas para diferentes idiomas. Além disso, adaptar grandes MoEs a novos idiomas de baixo recurso é computacionalmente caro. Embora sua estrutura modular permita teoricamente uma adaptação eficiente em termos de parâmetros, atualizando apenas um subconjunto de especialistas, atualmente não se sabe quais especialistas atualizar sem uma compreensão prévia da dinâmica de roteamento multilíngue.

Metodologia
Os autores realizam um estudo controlado usando o modelo OLMoE-Base (um transformador apenas decodificador com 64 especialistas por camada, selecionando os 8 principais) para investigar a dinâmica de roteamento durante o pré-treinamento contínuo.

1. Configuração de Pré-treinamento Contínuo: O modelo OLMoE-Base centrado no inglês é continuamente pré-treinado em um corpus balanceado de 35 bilhões de tokens abrangendo sete idiomas de alto recurso (inglês, árabe, tcheco, espanhol, finlandês, hindi, russo) amostrados do conjunto de dados CulturaX. O modelo resultante é denominado OLMoE-M7.
2. Métricas de Análise de Roteamento: Para caracterizar como a massa de roteamento é distribuída, os autores analisam:
   • Entropia do Roteador: Mede o quão concentrada está a ativação de especialistas para um determinado idioma. Entropia mais baixa implica que os tokens são roteados para um pequeno subconjunto de especialistas.
   • Divergência de Roteamento Cross-lingual (JSD): Divergência de Jensen–Shannon entre as distribuições de uso de especialistas ao nível de idioma para quantificar o quão distintos são os padrões de roteamento entre pares de idiomas.
   • Sobreposição de Vocabulário: A sobreposição de vocabulário ao nível de token entre pares de idiomas é analisada para verificar se ela impulsiona a similaridade de roteamento mais do que a similaridade tipológica ou baseada em família.
3. Estratégia de Adaptação (SSFT): Motivados pela análise de roteamento, os autores propõem o Ajuste Fino de Especialistas Seletivo e Compartilhado (SSFT) para adaptação a idiomas de baixo recurso.
   • Seleção de Especialistas: Eles definem uma "lacuna de ativação" (a diferença na frequência de ativação entre os dois principais idiomas de um especialista) para identificar especialistas específicos de idioma.
   • Atualização Híbrida: O SSFT atualiza apenas as duas últimas camadas do modelo. Ele seleciona um pequeno conjunto de especialistas específicos de idioma (aqueles com uma alta lacuna de ativação para o idioma alvo) e os complementa com um pequeno conjunto de especialistas "compartilhados" (altamente ativos em todos os idiomas).
   • Linhas de Base: O método é comparado com Ajuste Fino de Especialistas Seletivo (SEFT, apenas específico de idioma), Ajuste Fino de Especialistas Aleatório, Ajuste Fino de Todos os Especialistas (AEFT) e Ajuste Fino do Modelo Completo (Full-FT).

Principais Descobertas sobre a Dinâmica de Roteamento

• Especialização por Camada: Contrariando a hipótese de que o treinamento multilíngue balanceado induz separação de idiomas em todo o modelo, o estudo encontra que o roteamento permanece difuso e agnóstico a idiomas nas camadas iniciais e intermediárias. Uma especialização distinta de idioma emerge principalmente nas últimas camadas.
• Sobreposição de Vocabulário vs. Família de Idiomas: Nas últimas camadas, a similaridade de roteamento correlaciona-se mais fortemente com a sobreposição de vocabulário ao nível de token do que com a família do idioma, similaridade sintática ou geográfica. Por exemplo, hindi e marata (alta sobreposição de vocabulário) mostram padrões de roteamento semelhantes, enquanto inglês e holandês (família compartilhada, mas baixa sobreposição) mostram padrões divergentes.
• Domínio do Inglês: O modelo base exibe padrões de roteamento dominados pelo inglês. O pré-treinamento contínuo reduz esse domínio, mas não o elimina; tokens em inglês ainda mantêm padrões de roteamento distintos em comparação com idiomas não ingleses nas últimas camadas.

Resultados sobre Adaptação de Baixo Recurso
Os autores avaliam o SSFT em seis idiomas de baixo recurso (catalão, estoniano, marata, eslovaco, ucraniano, urdu) emparelhados com âncoras de alto recurso.

• Desempenho: O SSFT alcança um forte trade-off entre desempenho e eficiência. No benchmark MultiBLiMP, o SSFT alcança uma precisão média de 83,6%, superando o SEFT (78,7%) e o Random-SEFT (73,8%). Ele se aproxima do desempenho do Full-FT (90,5%) enquanto atualiza significativamente menos parâmetros.
• Eficiência: O SSFT atualiza menos de 2% dos parâmetros do modelo (aproximadamente 75–138M parâmetros). Em termos de custo computacional, o SSFT requer aproximadamente 10x menos horas de GPU e 100x menos FLOPs em comparação com o Full-FT.
• Especialistas Compartilhados: A inclusão de especialistas compartilhados no SSFT é crítica; atualizar apenas especialistas específicos de idioma (SEFT) resulta em desempenho inferior, e simplesmente aumentar o número de especialistas específicos de idioma (SEFT-Top20) não corresponde ao desempenho da abordagem híbrida SSFT.
• Robustez: Os autores observam que, enquanto o Full-FT leva ao esquecimento catastrófico de idiomas previamente aprendidos quando treinado em conjuntos de dados maiores, o SSFT demonstra menos esquecimento catastrófico.

Significado e Alegações
O artigo afirma fornecer insights práticos para adaptação multilíngue de baixo recurso em modelos MoE. Ao demonstrar que a especialização de idiomas em MoEs está concentrada nas últimas camadas e impulsionada pela sobreposição de vocabulário, os autores mostram que a adaptação eficiente não requer ajuste fino completo do modelo. A estratégia proposta SSFT aproveita essas dinâmicas para alcançar desempenho competitivo com atualizações mínimas de parâmetros. O trabalho sugere que a adaptação eficaz depende de uma abordagem híbrida: direcionar especialistas especializados para o novo idioma enquanto preserva especialistas compartilhados para manter a estabilidade cross-lingual. Os autores concluem que essas descobertas oferecem um caminho para adaptação de idiomas escalável e eficiente, sem o ônus computacional do ajuste fino completo.

Limitações
Os autores reconhecem que seus experimentos são limitados à arquitetura OLMoE-Base (1B ativos / 7B parâmetros totais) devido a restrições computacionais. Eles também observam que sua estratégia depende da existência de um idioma "âncora" de alto recurso com sobreposição significativa de vocabulário, o que pode limitar a aplicabilidade a isolados linguísticos ou idiomas de baixo recurso sem parentes próximos nos dados de pré-treinamento. Finalmente, as descobertas são específicas ao pré-treinamento contínuo em corpora balanceados e podem diferir sob outros regimes de treinamento.