💬 NLP

A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM $\Delta$ Integration into Upcycled MoE

Este artigo apresenta um método eficiente em dados chamado \method que recicla modelos densos em arquiteturas de Mistura de Especialistas e integra deltas de parâmetros pós-treinamento para expandir capacidades multilíngues sem a necessidade de pré-treinamento contínuo custoso ou alinhamento complexo, equilibrando assim efetivamente a aquisição de novas línguas com a preservação das capacidades originais do modelo.

Autores originais: Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Dilema do "Chef Bilíngue"

Imagine que você tem um Chef de classe mundial (um Modelo de Linguagem de Grande Escala) que é especialista em cozinhar pratos em inglês. Eles são incríveis nisso. Agora, você quer que este Chef aprenda a cozinhar pratos em húngaro, sérvio e bengali também.

A maneira tradicional de fazer isso é enviar o Chef para uma escola de culinária massiva por um longo tempo (chamada de Pré-treinamento Contínuo). Eles estudam milhares de livros de receitas nessas novas línguas. Mas há uma pegadinha:

O Chef "Esquecido": Se eles estudarem demais nas novas línguas, podem começar a esquecer suas receitas originais em inglês.
O Chef "Diluído": Se você tentar ser cuidadoso e misturar gentilmente seus antigos conhecimentos em inglês com as novas coisas, eles acabam sendo medíocres em ambos. Eles não esquecem o inglês, mas também não ficam muito bons nas novas línguas.

Esta é a "Troca" de que o artigo fala: Você geralmente tem que escolher entre aprender bem novas línguas ou manter suas habilidades antigas perfeitas. Raramente você consegue ambas.

A Solução: DeltaMoE (A Abordagem da "Cozinha Especializada")

Os autores propõem um novo método chamado DeltaMoE. Em vez de tentar tornar o Chef mais inteligente reeducando todo o seu cérebro, eles dão ao Chef uma atualização especializada de cozinha.

Veja como funciona em três etapas simples:

Etapa 1: Construir uma Cozinha de "Mistura de Especialistas" (Reaproveitamento)

Imagine que a cozinha do Chef é expandida. Em vez de um único balcão grande onde tudo acontece, eles constroem uma cozinha de Mistura de Especialistas (MoE).

O Balcão Original (Especialista Congelado): O Chef mantém seu balcão original em inglês exatamente como estava. Eles o trancam. Nada muda aqui. Isso garante que eles nunca esqueçam suas receitas em inglês.
Os Novos Balcões (Especialistas Treináveis): Eles constroem três balcões totalmente novos especificamente para as novas línguas (húngaro, sérvio, bengali).
O Mordomo Chefe (O Roteador): Eles contratam um Mordomo Chefe esperto. Quando um cliente pede um prato em inglês, o Mordomo o envia para o Balcão Original. Quando um cliente pede em húngaro, o Mordomo o envia para o Balcão Húngaro.

O Chef só aprende nos novos balcões. O balcão original permanece congelado, então as habilidades em inglês são perfeitamente preservadas.

Etapa 2: O Enxerto "Delta" (A Transferência Mágica)

Agora, os novos balcões são bons em cozinhar a comida, mas não sabem como falar com os clientes educadamente ou seguir instruções complexas (isso é chamado de Alinhamento). Geralmente, você teria que treiná-los por meses para aprender isso.

O truque inteligente do artigo é a Fusão Delta.

Imagine que há outro Chef famoso (um modelo "Instruct" pré-treinado) que já é mestre em falar com clientes e seguir regras, mas que só fala inglês.
Em vez de ensinar os novos balcões do zero, os autores pegam a "diferença" (o Delta) entre o Chef famoso e sua base original. Pense nisso como uma "Receita para a Educacão" escrita em um post-it.
Eles colam este post-it nos novos balcões. Como os novos balcões foram feitos da mesma "massa" que o original, esta "Receita para a Educação" funciona instantaneamente.

O Resultado: Os novos balcões agora podem cozinhar comida húngara e falar educadamente, sem precisar passar pelo processo de treinamento caro e pesado em dados.

Por Que Isso é Melhor Do Que a Maneira Antiga

O artigo testou isso contra outros métodos e descobriu:

Sem Mais Trocas:
- Método Antigo A (Média): Tentou misturar as habilidades antigas e novas. Resultado: O Chef ficou pior em inglês e apenas mediano nas novas línguas.
- Método Antigo B (Delta Direto): Tentou apenas colar as novas habilidades por cima. Resultado: O Chef ficou ótimo nas novas línguas, mas esqueceu como falar inglês.
- DeltaMoE: O Chef é ótimo em inglês (porque o balcão original foi congelado) e ótimo em novas línguas (porque os novos balcões aprenderam elas e receberam o enxerto de "educação").
Eficiência em Dados:
- Outros métodos precisam de milhões de exemplos para ensinar ao modelo como ser educado em uma nova língua.
- DeltaMoE obtém essa habilidade gratuitamente ao "enxertá-la" de um modelo existente. Isso economiza uma quantidade massiva de tempo e poder de computação.
Escalabilidade:
- Os autores mostraram que, mesmo se você adicionar mais línguas (como 8 em vez de 3), o sistema não quebra. O Mordomo Chefe (Roteador) apenas aprende a enviar pedidos para o balcão certo, e o sistema permanece estável.

A Conclusão

DeltaMoE é como dar a um chef mestre uma cozinha especializada e modular.

Eles mantêm seu espaço de trabalho original intocado para proteger suas habilidades principais.
Eles adicionam novos espaços de trabalho para novas línguas.
Eles transferem instantaneamente "habilidades de atendimento ao cliente" para os novos espaços de trabalho sem re-treinamento.

Isso permite que modelos de IA falem muitas novas línguas fluentemente e educadamente, sem perder sua inteligência original ou exigir uma quantidade massiva de novos dados.

Resumo Técnico: DeltaMoE – Um Caminho Eficiente em Dados para LLMs Multilíngues

1. Declaração do Problema

A expansão de Modelos de Linguagem de Grande Escala (LLMs) para novas linguagens é atualmente um processo intensivo em recursos. O pipeline padrão envolve Pré-treinamento Contínuo (CPT) em corpora multilíngues massivos, seguido por uma fase complexa de alinhamento pós-treinamento (por exemplo, SFT e RL). Esta abordagem exige replay extensivo de dados para prevenir o esquecimento catastrófico das capacidades originais e requer grandes quantidades de dados de instrução de alta qualidade para o alinhamento.

Técnicas recentes de "fusão sem dados" tentam contornar a fase de alinhamento fundindo um modelo aprimorado por CPT com um modelo de instrução existente. No entanto, esses métodos enfrentam um compromisso crítico:

Média Linear (Model Soups): Dilui o conhecimento linguístico recém-adquirido, limitando os ganhos nas linguagens expandidas.
Fusão Delta: A aplicação direta de alterações de parâmetros frequentemente causa esquecimento catastrófico das capacidades linguísticas originais do modelo.

O desafio central é adquirir novas capacidades linguísticas e de alinhamento de forma eficiente, sem sacrificar o desempenho original do modelo.

2. Metodologia: DeltaMoE

Os autores propõem o DeltaMoE, um framework de duas etapas que reutiliza um modelo denso em uma arquitetura de Mixture-of-Experts (MoE) para resolver o compromisso mencionado acima.

Etapa 1: Pré-treinamento Contínuo via Reutilização Esparsa

O modelo base denso é transformado em uma arquitetura MoE criando cópias profundas das Redes Feed-Forward (FFNs) originais para servir como "especialistas".

Arquitetura: O modelo consiste em $N$ especialistas e um roteador. Os parâmetros originais (especificamente o 0-ésimo especialista) são congelados para atuar como um repositório dedicado ao conhecimento linguístico original.
Treinamento: Apenas os especialistas de expansão recém-adicionados e o roteador são atualizados durante o CPT nos dados da nova linguagem.
Objetivo: O modelo minimiza a perda de Previsão do Próximo Token (NTP) enquanto utiliza uma perda de balanceamento de carga (LLB) para garantir uma distribuição eficiente de tokens entre os especialistas. Isso assegura que o conhecimento original permaneça intacto enquanto novas linguagens são aprendidas pelos especialistas ativos.

Etapa 2: Fusão de Modelo MoE (Integração Delta)

Uma vez que o modelo base MoE é treinado em novas linguagens, ele carece de capacidades de alinhamento. Em vez de um pós-treinamento custoso, os autores enxertam um delta de parâmetro ( $\Delta_{post}$ ) de um modelo de instrução denso e bem alinhado.

Cálculo do Delta: $\Delta_{post} = \theta_{pós-treinado} - \theta_{base}$ , representando o conhecimento de alinhamento adquirido durante o treinamento do modelo de instrução.
Enxertia por Componente:
- Parâmetros Compartilhados: Para camadas comuns a ambas as arquiteturas densa e MoE (por exemplo, Atenção, Embeddings), o delta é aplicado diretamente.
- Parâmetros de Especialistas: Para as camadas FFN, um único delta específico de FFN é computado a partir dos pesos FFN do modelo denso. Este delta é então aplicado uniformemente a todos os especialistas na arquitetura MoE.
Racional: Esta estratégia trata todos os especialistas como herdeiros da mesma estrutura fundamental, permitindo que o conhecimento de alinhamento seja transmitido a todos os especialistas sem diluir o conhecimento linguístico específico armazenado nos especialistas congelados ou treinados.

3. Contribuições Principais

Framework Inovador: Introdução do DeltaMoE, que integra a reutilização MoE com uma estratégia refinada de fusão delta para expandir linguagens e adquirir capacidades de alinhamento sem procedimentos pesados de pós-treinamento.
Resolução de Compromissos: O método desacopla efetivamente a aquisição de conhecimento (via novos especialistas) da retenção de conhecimento (via especialistas congelados) e da transferência de alinhamento (via enxertia delta), resolvendo o conflito entre expandir capacidades e preservar as originais.
Generalizabilidade: A abordagem é validada em diferentes modelos base (Qwen2.5-7B, LLaMA-3.1-8B) e diferentes fontes de deltas de alinhamento (instrução padrão, Tulu3 SFT), demonstrando robustez.

4. Resultados Experimentais

Os experimentos foram conduzidos na expansão de Qwen2.5-7B e LLaMA-3.1-8B para húngaro, sérvio e bengali, avaliados contra baselines com dados, FLOPs e contagens de parâmetros correspondentes.

Desempenho em Linguagens Expandidas: O DeltaMoE alcançou desempenho de Estado da Arte (SOTA), melhorando as pontuações médias em linguagens expandidas em 1,7 pontos sobre outros métodos baseados em delta com parâmetros comparáveis.
Preservação de Capacidades Originais: Diferentemente da fusão delta densa que causou esquecimento significativo, o DeltaMoE preservou o desempenho linguístico original, superando as baselines de delta denso em 1,5 pontos nas métricas de retenção.
Eficiência: Mesmo quando as baselines densas foram treinadas com o dobro da quantidade de dados de CPT (para corresponder aos FLOPs do treinamento MoE), o DeltaMoE manteve uma vantagem significativa (aproximadamente 1,94 pontos) no desempenho em linguagens expandidas.
Estudos de Ablação:
- Estratégia de Fusão: A média linear dentro de uma arquitetura MoE falhou em resolver o compromisso, confirmando a necessidade da abordagem de fusão delta.
- Ajuste do Roteador: Uma estratégia mínima de replay de dados (0,15B tokens) combinada com ajuste do roteador permitiu que o DeltaMoE superasse as baselines de média densa na retenção de conhecimento.
- Escalabilidade: O aumento do número de especialistas treináveis além de três produziu ganhos negligenciáveis, sugerindo que 3 especialistas treináveis são suficientes para múltiplas linguagens expandidas.

5. Significado e Alegações

O artigo alega que o DeltaMoE oferece um caminho prático e escalável para estender o alinhamento multilíngue de LLMs existentes. Ao reutilizar modelos densos em arquiteturas MoE e enxertar deltas de alinhamento, o método:

Elimina a necessidade de conjuntos massivos de dados de instrução e fases complexas de alinhamento por RL para novas linguagens.
Resolve o dilema "esquecimento vs. aprendizado" inerente às técnicas de fusão atuais.
Fornece uma alternativa eficiente em dados que alcança desempenho superior com sobrecarga computacional significativamente menor em comparação com a expansão de dados de treinamento densos.

Os autores reconhecem limitações, observando que as linguagens avaliadas não representam totalmente a diversidade linguística global e que a arquitetura MoE introduz sobrecarga computacional não trivial em comparação com modelos densos durante a inferência. No entanto, o framework é apresentado como uma solução robusta para expansão multilíngue eficiente.