Resumo Técnico: Ajuste Fino Alinhado ao Roteamento para Tarefas Descendentes Multilíngues em Modelos de Mistura de Especialistas

Declaração do Problema

Modelos de Mistura de Especialistas (MoE) tornaram-se o paradigma dominante para escalar Modelos de Linguagem de Grande Escala (LLMs) de forma eficiente. No entanto, adaptar esses modelos MoE pré-treinados para tarefas descendentes não em inglês permanece desafiador. Abordagens existentes de ajuste fino tipicamente tratam modelos MoE como aprendizes monolíticos, aplicando Ajuste Fino Supervisionado (SFT) padrão em dados do idioma-alvo. Essa abordagem ignora a estrutura heterogênea de roteamento que se desenvolve durante o pré-treinamento.

Estudos recentes indicam um padrão em forma de "U" na divergência de roteamento cross-linguístico: camadas iniciais e tardias são altamente específicas ao idioma, enquanto camadas intermediárias exibem forte alinhamento cross-linguístico. Apesar desse alinhamento, o desempenho em idiomas não em inglês frequentemente se degrada porque o modelo falha em engajar os especialistas específicos da tarefa para entradas não em inglês. O problema central é como aproveitar essa estrutura de roteamento cross-linguística para melhorar o ajuste fino para tarefas não em inglês sem retreinar todo o modelo ou ignorar as dinâmicas de roteamento esparsas.

Metodologia: RA-MoE

Os autores propõem RA-MoE (Ajuste Fino de MoE Alinhado ao Roteamento), um framework de três estágios projetado para alinhar padrões de roteamento do idioma-alvo com padrões de ativação de especialista-tarefa em inglês nas camadas intermediárias do modelo.

Estágio 1: Construção e Categorização de Dados Paralelos

O método começa construindo um conjunto de dados paralelo onde exemplos de tarefa em inglês $(x_{en}, y_{en})$ são traduzidos para um idioma-alvo $(x_{tgt}, y_{tgt})$. O modelo MoE realiza inferência em ambas as versões, e os exemplos são categorizados em uma taxonomia de quatro vias baseada na correção:

• cc: Correto tanto em inglês quanto no idioma-alvo.
• ci: Correto em inglês, incorreto no idioma-alvo.
• ic: Incorreto em inglês, correto no idioma-alvo.
• ii: Incorreto em ambos.

Os autores hipotetizam que a categoria ci representa uma lacuna de desempenho "dirigida por idioma", onde o modelo possui o conhecimento da tarefa necessário (demonstrado em inglês), mas falha em aplicá-lo no idioma-alvo devido a um desalinhamento de roteamento.

Estágio 2: Identificação de Camada Intermediária e Especialista de Tarefa

Este estágio analisa o comportamento de roteamento do modelo para identificar os alvos ótimos para alinhamento:

1. Identificação de Camada Intermediária: Os autores calculam a divergência de Jensen-Shannon (JS) entre as distribuições de roteamento em inglês e no idioma-alvo através das camadas. Eles confirmam o padrão em forma de U, identificando um intervalo contíguo de camadas intermediárias ($L_{mid}$) onde a divergência é mínima. Essas camadas servem como a "zona de alinhamento universal ao idioma".
2. Identificação de Especialista de Tarefa: Dentro dessas camadas intermediárias, os autores identificam "especialistas de tarefa" contrastando pesos de roteamento em dados de tarefa em inglês (restritos a exemplos respondidos corretamente) contra um corpus geral em inglês. Especialistas que são ativados preferencialmente para a tarefa (alta pontuação de especificidade) são selecionados como o conjunto-alvo ($E_{task}$).

Estágio 3: SFT Alinhado ao Roteamento

O estágio final envolve o ajuste fino do modelo nos dados do idioma-alvo com uma função objetivo modificada:
$$\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{align}$$

• $\mathcal{L}_{CE}$: Perda padrão de entropia cruzada aplicada a todos os exemplos.
• $\mathcal{L}_{align}$: Uma perda de alinhamento de roteamento aplicada seletivamente a exemplos do tipo ci. Para esses exemplos, o modelo é incentivado a rotear entradas do idioma-alvo através dos mesmos especialistas de tarefa nas camadas intermediárias que a referência em inglês. A perda é calculada como a divergência KL entre a distribuição de roteamento renormalizada do idioma-alvo (restrita a $E_{task}$) e a distribuição de referência em inglês.

Essa aplicação seletiva garante que o sinal de alinhamento esteja fundamentado em casos onde o padrão de roteamento em inglês é uma referência válida e confiável para a tarefa.

Contribuições Principais

1. Validação da Divergência em Forma de U em Configurações de Tarefa: O artigo valida empiricamente que o padrão de divergência de roteamento cross-linguístico em forma de U se mantém em configurações específicas de tarefa, demonstrando que a divergência de roteamento em camadas intermediárias prevê de forma confiável lacunas de desempenho de tarefa por idioma.
2. Taxonomia de Quatro Categorias e Preditor: Os autores introduzem a taxonomia cc/ci/ic/ii para diagnosticar lacunas cross-linguísticas. Eles fornecem evidências empíricas de que a proporção de exemplos ci em um par tarefa-idioma é um preditor forte (correlação $r=0,70$) do benefício potencial do alinhamento de roteamento.
3. Identificação de Especialista de Tarefa e Objetivo de Alinhamento: Um procedimento é proposto para localizar especialistas relevantes para a tarefa em camadas intermediárias usando dados em inglês, acoplado a um objetivo de ajuste fino que fecha a lacuna de ativação de especialistas cross-linguística sem exigir reidentificação de especialistas específicos do idioma.
4. Transferibilidade Cross-Linguística: O estudo demonstra que especialistas de tarefa identificados em um idioma (por exemplo, chinês) podem ser transferidos para ajustar fino o modelo para idiomas linguisticamente distantes (por exemplo, árabe, bengali) sem reexecutar o estágio de identificação, sugerindo que a expertise de tarefa em camadas intermediárias é amplamente agnóstica ao idioma.

Resultados Experimentais

Os autores avaliaram o RA-MoE em três modelos MoE (OLMoE-1B-7B, Qwen1.5-MoE, DeepSeek-V2-Lite), três tarefas descendentes (GSM8K, IFEval, MMLU) e seis idiomas-alvo (árabe, bengali, chinês, francês, japonês, espanhol).

• Ganhos de Desempenho: O RA-MoE superou consistentemente o SFT padrão e bases fortes, incluindo Direcionamento de Roteamento (intervenção no tempo de inferência) e RISE (ajuste fino seletivo de sub-redes específicas do idioma).
• Correlação com Proporção CI: Os ganhos de desempenho foram mais pronunciados em pares tarefa-idioma com uma proporção mais alta de exemplos ci, confirmando a hipótese de que o método visa lacunas dirigidas por idioma, e não lacunas de conhecimento.
• Mudanças Mecanísticas: A análise mostrou que o RA-MoE reduziu substancialmente a divergência de roteamento em camadas intermediárias em comparação com o SFT padrão, aproximando o roteamento do idioma-alvo da referência em inglês. Além disso, a taxa de seleção de especialistas de tarefa para idiomas-alvo aumentou mais abruptamente e convergiu para um patamar mais alto sob o RA-MoE.
• Eficiência: O método incorre em sobrecarga computacional negligenciável. A perda de alinhamento adiciona menos de $10^{-3}\%$ aos FLOPs totais, e os estágios preparatórios (anotação de dados e perfil de roteamento) adicionam no máximo 15% ao tempo total de relógio, redutível para menos de 10% se os especialistas de tarefa forem compartilhados entre idiomas.

Significado e Limitações

O artigo afirma que o RA-MoE preenche a lacuna entre o alinhamento cross-linguístico teórico das camadas intermediárias de MoE e o desempenho prático de tarefas descendentes. Ao alinhar explicitamente padrões de roteamento em vez de apenas probabilidades de saída, o método aproveita a estrutura esparsa dos MoEs para melhorar capacidades multilíngues.

Os autores observam limitações específicas:

• Dependência do Desempenho em Inglês: O método pressupõe que o modelo base tenha forte desempenho em tarefas em inglês; se o padrão de roteamento em inglês carecer de informações relevantes para a tarefa, o sinal de alinhamento é pouco confiável.
• Cobertura de Pré-treinamento: Para idiomas severamente sub-representados no corpus de pré-treinamento, o RA-MoE oferece ganhos limitados porque o gargalo é a falta de capacidade linguística fundamental, e não o desalinhamento de roteamento.
• Modalidade: Os experimentos são limitados a modelos de apenas texto; a generalização para LLMs multimodais permanece uma questão em aberto.

O trabalho sugere que, para modelos MoE, as camadas intermediárias servem como uma zona estável e universal ao idioma, onde a expertise de tarefa pode ser efetivamente transferida entre idiomas através do alinhamento de roteamento.