💬 NLP

Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights

Este artigo demonstra que a fusão de modelos (model merging) é uma alternativa eficiente e de baixo custo computacional para adaptar Grandes Modelos de Linguagem a línguas de recursos limitados, transferindo capacidades de instrução ao combinar modelos base específicos de cada idioma com modelos instruídos, sem a necessidade de dados de instrução ou ajuste fino adicionais.

Autores originais: Eneko Valero, Maria Ribalta i Albado, Oscar Sainz, Naiara Perez, German Rigau

Publicado 2026-03-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Eneko Valero, Maria Ribalta i Albado, Oscar Sainz, Naiara Perez, German Rigau

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef de cozinha de classe mundial (um Modelo de Linguagem Grande, ou LLM) que é especialista em cozinhar pratos franceses e americanos (inglês e espanhol). Ele é incrível, sabe seguir receitas complexas e criar pratos deliciosos.

Mas, o problema é que ele não sabe cozinhar pratos bascos, galegos ou catalães. Se você pedir a ele para fazer um "bacalhau à brás" ou um "txangurro", ele vai tentar, mas o resultado será estranho ou ele vai inventar ingredientes que não existem.

Aqui entra o grande desafio: para ensinar esse chef a cozinhar esses novos pratos, a maneira tradicional seria mandá-lo para uma escola de culinária de 6 meses, com ingredientes raros e um professor nativo. Isso custa uma fortuna em dinheiro e tempo (computação cara). Além disso, para cada novo prato que você quer aprender, você teria que repetir esse processo exaustivo.

A Solução Mágica: "Fundir e Conquistar"

Os autores deste artigo, da Universidade do País Basco, descobriram um truque mais inteligente e barato. Em vez de mandar o chef para a escola, eles decidiram fundir o cérebro do chef com o cérebro de um cozinheiro local que só sabe fazer os pratos regionais.

Eles chamam isso de "Model Merging" (Fusão de Modelos).

Como funciona a "Fusão"?

Pense nos modelos de IA como receitas escritas em um livro gigante.

O Chef (Modelo Instruído): Tem um livro cheio de instruções de como seguir pedidos ("faça isso", "não use sal", "escreva em negrito"), mas as receitas são todas em inglês/espanhol.
O Cozinheiro Local (Modelo Base Específico): Tem um livro cheio de receitas autênticas em Basco, Galego ou Catalão, mas não sabe como seguir pedidos complexos do cliente.

A fusão é como pegar as páginas do livro do Cozinheiro Local e colá-las no livro do Chef, ajustando a cola para que as instruções de "como seguir pedidos" não sumam.

O resultado? Um super-chef híbrido:

Ele sabe seguir instruções complexas (como o Chef original).
Ele sabe cozinhar perfeitamente os pratos regionais (graças ao Cozinheiro Local).
O mais importante: Eles fizeram isso sem gastar meses de escola e sem precisar de milhares de receitas de "pedidos em basco". Eles apenas "misturaram" os pesos (as páginas das receitas) dos dois livros.

O Que Eles Descobriram?

Os pesquisadores testaram essa ideia com quatro línguas da Península Ibérica: Basco, Galego, Catalão e Espanhol.

Funciona de verdade? Sim! Ao fundir o modelo instruído com o modelo de língua específica, o resultado aprendeu a falar e entender essas línguas muito melhor do que o modelo original, quase tão bem quanto um especialista nativo.
É barato? Sim! Em vez de gastar milhões de dólares em computadores para treinar um novo modelo do zero, eles apenas "colaram" os modelos existentes. É como fazer um smoothie em vez de plantar uma nova laranjeira.
Dá para misturar várias línguas? Sim! Eles conseguiram fundir o Chef com três cozinheiros locais diferentes ao mesmo tempo. O resultado foi um chef poliglota que consegue cozinhar pratos bascos, galegos e catalães ao mesmo tempo, sem se confundir.

O "Pulo do Gato" (e o Desafio)

A parte mais legal é que, assim que eles criam esse "Cozinheiro Local" (o modelo base em Basco, por exemplo), eles podem usá-lo para ensinar qualquer novo modelo de IA que sair no futuro.

Antes: Toda vez que a OpenAI ou a Google lançava um novo modelo "super inteligente", a comunidade de Basco tinha que gastar meses e dinheiro para ensiná-lo a falar Basco.
Agora: Eles só precisam fazer a fusão uma vez. Quando sair um modelo novo e melhor, é só "fundir" o novo modelo com o Cozinheiro Local que eles já têm. Pronto! O novo modelo já fala Basco.

A única ressalva: Às vezes, ao misturar as receitas, o chef perde um pouquinho da habilidade de "seguir instruções muito específicas" (como escrever apenas em maiúsculas ou usar pontuação exata). Mas, no geral, o ganho na qualidade da língua vale muito a pena.

Resumo em uma frase

Este artigo mostra que, para ensinar IA a falar línguas raras e pouco usadas, não precisamos gastar uma fortuna treinando do zero; basta misturar (fundir) a inteligência de um modelo geral com o conhecimento de um especialista local, criando uma solução rápida, barata e eficiente para salvar e promover línguas ameaçadas.

É como dar um "upgrade" instantâneo em um robô, permitindo que ele fale a língua da sua avó sem precisar reconstruir o robô inteiro.

Resumo Técnico: Merge and Conquer

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) atuais permanecem fortemente centrados no idioma inglês, apresentando desempenho significativamente degradado em idiomas de recursos baixos (low-resource languages), como o Basco, Galego e Catalão. As abordagens tradicionais de adaptação, como o continual pre-training (pré-treinamento contínuo) e o fine-tuning instruído, exigem:

Grandes quantidades de dados de instrução de alta qualidade no idioma alvo (frequentemente indisponíveis).
Recursos computacionais massivos para re-treinar ou ajustar modelos cada vez que uma nova versão mais capaz do modelo base é lançada.

Essa barreira impede que comunidades linguísticas menores acompanhem o ritmo rápido de avanços nos LLMs. O objetivo deste trabalho é investigar se é possível transferir conhecimento linguístico para um LLM já instruído (instruction-tuned) simplesmente mesclando (merging) seus pesos com um modelo base específico do idioma, eliminando a necessidade de novos dados de instrução ou processos de ajuste repetidos.

2. Metodologia

A abordagem proposta baseia-se na técnica de Model Merging (fusão de modelos), que combina os parâmetros de dois ou mais modelos sem necessidade de acesso aos dados de treino originais.

Fluxo de Trabalho:
1. Pré-treinamento Contínuo (Base): Modelos base (Llama 3.1 e Qwen 3) foram adaptados para quatro idiomas ibéricos (Basco, Galego, Catalão e Espanhol) utilizando corpora específicos, mas mantendo o tamanho do corpus controlado para comparação justa.
2. Fusão (Merging): Os modelos base adaptados ao idioma foram fundidos com modelos instruídos genéricos (ex: Llama 3.1 Instruct ou Qwen 3 Instruct).
3. Técnicas de Fusão Avaliadas: O estudo comparou quatro métodos principais:
  - Linear: Interpolação ponderada simples dos pesos.
  - Task Arithmetic: Adição de vetores de tarefa (diferença entre o modelo ajustado e o base) ao modelo base.
  - DARE (Drop And REscale): Esparsificação dos vetores de tarefa para reduzir interferência.
  - Breadcrumbs: Filtragem de atualizações de parâmetros negligenciáveis e extremos.
4. Configurações: Foram testadas fusões monolíngues (um idioma por vez) e multilíngues (combinação de múltiplos especialistas de idioma em um único modelo).
Benchmarks e Avaliação:
- Compreensão de Linguagem: Benchmarks de múltipla escolha (Belebele, EusReading, StoryCloze, CoLA variantes, etc.).
- Geração de Texto: Tradução Automática (Flores-101) e Seguimento de Instruções (IFEval).
- Extensão de Dados: O benchmark IFEval (originalmente em inglês) foi estendido para Basco e Galego com revisão manual por falantes nativos.

3. Contribuições Principais

Viabilidade da Fusão para Idiomas de Recursos Baixos: Demonstra que é possível criar LLMs instruídos específicos para idiomas de recursos baixos fundindo um modelo base adaptado ao idioma com um modelo instruído geral, sem necessidade de dados de instrução no idioma alvo.
Análise Sistemática de Técnicas de Fusão: Oferece uma caracterização experimental abrangente de diferentes algoritmos de fusão e hiperparâmetros (pesos de fusão $w_i$ ) em quatro idiomas e duas famílias de modelos.
Recursos Abertos:
- Liberação dos modelos base e instruídos adaptados para Basco, Galego, Catalão e Espanhol.
- Liberação da versão do dataset IFEval em Basco.
Eficiência Computacional: Propõe uma alternativa de baixo custo computacional para a adaptação de modelos, permitindo que grupos de pesquisa menores adaptem modelos de ponta a seus idiomas locais.

4. Resultados Chave

Desempenho em Benchmarks e Tradução:
- Os modelos fundidos (monolíngues) superaram consistentemente os modelos instruídos originais (não adaptados) nos idiomas alvo, especialmente em Basco, Galego e Catalão.
- Na tarefa de tradução, a fusão melhorou a qualidade do texto gerado, aproximando-se ou igualando o desempenho de métodos de estado da arte que exigem joint pre-training (treinamento conjunto), mas com muito menos custo.
- A fusão multilíngue (vários idiomas em um único modelo) mostrou desempenho equilibrado, embora ligeiramente inferior à fusão monolíngue específica, mas superior ao modelo base não adaptado em todos os idiomas.
Seguimento de Instruções (Instruction Following):
- Os resultados foram mistos. Embora a fusão tenha transferido a capacidade de seguir instruções, os modelos fundidos nem sempre superaram o modelo instruído original em métricas estritas de IFEval.
- Isso sugere que, embora a proficiência linguística seja transferida com sucesso, a "alinhamento" (alignment) das instruções pode ser sensível ao processo de fusão.
Comparação de Métodos:
- Não houve um método "universalmente melhor". O desempenho variou conforme o par idioma-modelo.
- Linear e Task Arithmetic geralmente apresentaram os melhores resultados globais.
- O método Breadcrumbs mostrou-se instável, causando colapso total em alguns cenários de tradução (Galego e Catalão).
- A proporção de fusão ( $w_i$ ) é crítica: valores muito altos favorecem o idioma, mas degradam a capacidade de seguir instruções; valores muito baixos não transferem o idioma adequadamente. A faixa ideal encontrada foi geralmente entre $0.5 $e$ 1.0$.

5. Significado e Conclusão

O trabalho "Merge and Conquer" estabelece que a fusão de modelos é uma alternativa viável, eficiente e escalável para a adaptação de LLMs instruídos a idiomas de recursos baixos.

Impacto: Reduz drasticamente a barreira de entrada para comunidades linguísticas minoritárias, permitindo que elas "ensinem" novos idiomas a modelos de ponta sem precisar de supercomputadores ou grandes conjuntos de dados de instrução.
Limitações: O estudo focou em modelos de até 14B parâmetros e em idiomas ibéricos. A capacidade de seguir instruções ainda requer refinamento para garantir que a fusão preserve totalmente o alinhamento do modelo original.
Futuro: Sugere-se a exploração de técnicas de alinhamento de fusão e algoritmos específicos por idioma para melhorar a retenção de instruções.

Em suma, a fusão de modelos preenche a lacuna entre eficiência computacional e cobertura multilíngue, oferecendo um caminho promissor para democratizar o acesso a modelos de linguagem de alta qualidade.