💬 NLP

One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

Este estudo revela que a fusão de modelos de tradução automática multilíngue em espaço de pesos falha devido à redistribuição das seletividades neuronais durante o ajuste fino, que aumenta a divergência representacional nas camadas superiores e reduz a compatibilidade entre idiomas distintos.

Autores originais: Baban Gain, Asif Ekbal, Trilok Nath Singh

Publicado 2026-04-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Baban Gain, Asif Ekbal, Trilok Nath Singh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem quatro cozinheiros especialistas. Um é mestre em cozinhar pratos indianos, outro em pratos bengalis, um terceiro em tâmeis e o último em telugus. Cada um deles treinou anos apenas na sua especialidade, usando ingredientes frescos e receitas exclusivas. Eles são incríveis no que fazem.

Agora, a pergunta do artigo é: E se tentarmos misturar os "cérebros" desses quatro cozinheiros em uma única pessoa, sem precisar ver as receitas originais deles? Seria como tentar fundir quatro livros de receitas diferentes em um só, apenas olhando para as páginas e somando os ingredientes, sem reescrever nada do zero.

Os autores chamam isso de "Fusão de Modelos". A ideia é ótima: em vez de ter quatro cozinheiros (e quatro cozinhas) ocupando espaço e gastando energia, você teria apenas um "Super-Chefe" que sabe cozinhar tudo.

O Que Eles Descobriram? (A Grande Surpresa)

A resposta curta é: Não funciona bem.

Quando eles tentaram fundir esses modelos de tradução (que traduzem de línguas indianas para inglês e vice-versa), o resultado foi um desastre, especialmente quando os idiomas de destino eram diferentes. O "Super-Chefe" resultante cozinhou pratos ruins, misturando sabores de forma estranha ou esquecendo completamente como cozinhar certos pratos.

Por Que Isso Acontece? (A Analogia da Montanha)

Para entender o porquê, os pesquisadores olharam para dentro do "cérebro" do modelo (que é feito de milhões de neurônios artificiais). Eles descobriram três coisas principais:

O Fundo é Igual, o Topo é Caótico:
Imagine que o modelo é uma montanha.
- Na base (camadas iniciais): Todos os cozinheiros usam os mesmos utensílios básicos (facas, panelas, fogo). Eles concordam sobre o que é "arroz", "tempero" ou "carne". Essa parte é compartilhada e estável.
- No topo (camadas finais): É aqui que a mágica acontece. O cozinheiro indiano, no topo da montanha, aprendeu a fazer Biryani. O bengali aprendeu a fazer Korma. Quando você tenta fundir os dois, o topo da montanha entra em colapso. O "Super-Chefe" não sabe se deve fazer Biryani ou Korma, e acaba fazendo uma sopa sem gosto.
O Treinamento Muda a Geografia, Não Cria Novas Ilhas:
Você poderia pensar que, ao treinar cada cozinheiro, eles criaram "ilhas" separadas no cérebro para cada língua. Mas não é isso.
Na verdade, o treinamento redistribui a atenção. Os neurônios que antes eram genéricos agora se tornam muito específicos para a língua de destino, mas eles continuam usando os mesmos "caminhos" internos. O problema é que, quando você tenta juntar dois modelos que focaram em destinos diferentes, esses caminhos se cruzam de forma errada, como se você tentasse fundir duas estradas que vão para cidades opostas. O resultado é um atoleiro.
A Assimetria é a Chave:
O artigo descobriu algo curioso:
- Se você fundir modelos que traduzem de várias línguas para o Inglês (vários cozinheiros indo para a mesma cidade), funciona razoavelmente bem. É como se todos estivessem indo para a mesma capital.
- Mas se você fundir modelos que traduzem do Inglês para várias línguas (um cozinheiro tentando ir para quatro cidades diferentes ao mesmo tempo), é um desastre total. O modelo fica confuso sobre para qual direção ir.

A Lição Final

O artigo nos ensina que, embora a tecnologia de "fusão de modelos" funcione bem para tarefas simples ou quando os objetivos são parecidos, ela falha miseravelmente em tradução multilíngue complexa.

É como tentar fundir quatro mapas de navegação diferentes em um único papel. Se todos os mapas apontam para o mesmo lugar, você tem um mapa melhor. Mas se um mapa vai para o Norte, outro para o Sul, e outro para o Leste, o mapa resultante não leva a lugar nenhum.

Em resumo: Os modelos de IA, quando treinados separadamente para línguas diferentes, reorganizam seus "caminhos internos" de formas que são incompatíveis entre si. Tentar colá-los sem reensiná-los do zero é como tentar costurar um casaco de inverno com uma camiseta de verão: o resultado não protege de frio nem de calor, e o tecido se rasga.

Resumo Técnico: Um Modelo para Traduzir Todos? Uma Jornada ao Monte da Perdição para a Fusão de Modelos Multilíngues

1. O Problema

O treinamento de Grandes Modelos de Linguagem (LLMs) multilíngues que performam bem em pares de idiomas diversos é computacionalmente caro e intensivo em dados. Uma alternativa comum é fine-tunar (ajustar) modelos monolíngues ou específicos para tarefas de forma independente. No entanto, hospedar e manter múltiplos modelos especializados é custoso.

A fusão de modelos (model merging) surge como uma solução para combinar pesos de modelos ajustados independentemente sem acesso aos dados originais de treinamento. Embora técnicas de fusão tenham tido sucesso em cenários de multitarefa (ex: visão computacional ou tarefas em inglês), o comportamento dessa fusão em contextos de tradução automática multilíngue permanece pouco compreendido. O artigo investiga se é possível fundir modelos de tradução bilíngue ajustados independentemente para criar um sistema multilíngue unificado sem degradação severa de desempenho.

2. Metodologia

Os autores realizaram um estudo sistemático utilizando o modelo base Qwen-2.5-3B-Instruct e o corpus Samanantar.

Ajuste Fino (Fine-tuning): Foram ajustados modelos independentemente em oito pares de idiomas bilíngues (Hindi, Bengali, Tamil, Telugu $\leftrightarrow$ Inglês), utilizando atualizações de parâmetros completos em corpora de escala de milhões de sentenças.
Configurações de Fusão: Avaliaram três cenários:
1. Muitos para Um (Many $\to$ One): Vários idiomas fonte para um único idioma alvo (ex: Indic $\to$ Inglês).
2. Um para Muitos (One $\to$ Many): Um idioma fonte para vários idiomas alvo (ex: Inglês $\to$ Indic).
3. Construção Bidirecional: Fusão de modelos direcionais opostos para criar sistemas bidirecionais.
Estratégias de Fusão: Compararam métodos padrão de espaço de pesos, incluindo Task Arithmetic, TIES, DARE e SCE-Merging.
Análise Interna: Para entender o porquê da falha, utilizaram três técnicas de análise de representações internas:
1. Seletividade de Neurônios Condicionada a Span: Identificação de neurônios específicos por idioma.
2. Alinhamento de Uso de Neurônios (NUA): Medição de quais neurônios são ativados em diferentes modelos.
3. Alinhamento de Kernel Centralizado (CKA): Medição da similaridade geométrica das representações entre camadas.

3. Principais Contribuições

Estudo Pioneiro: Um dos primeiros estudos sistemáticos sobre fusão de espaço de pesos para tradução automática multilíngue usando ajuste fino de parâmetros completos em larga escala.
Descoberta de Assimetria Direcional: Demonstração de que a fusão em tradução multilíngue sofre de uma degradação muito maior e uma assimetria direcional severa em comparação com a fusão de tarefas gerais.
Análise Estrutural: Evidência de que o ajuste fino redistribui a especialização linguística para as camadas superiores do modelo, criando um desalinhamento geométrico que prejudica a fusão.

4. Resultados Experimentais

Desempenho de Fusão:

Cenário Many $\to$ One (Indic $\to$ Inglês): A fusão melhorou a cobertura multilíngue e a estabilidade em comparação ao modelo base, mas falhou em preservar o desempenho de pico dos modelos ajustados individualmente.
Cenário One $\to$ Many (Inglês $\to$ Indic): A fusão falhou drasticamente. O desempenho caiu abaixo da linha de base pré-treinada. Por exemplo, ao fundir modelos para Hindi, Bengali, Tamil e Telugu, a retenção de BLEU foi de apenas ~22% para Hindi e <5% para Tamil e Telugu.
Cenário Bidirecional: A construção de modelos bidirecionais resultou em degradação ainda mais severa, especialmente na direção de geração (alvo), indicando conflitos severos nas atribuições de papel "fonte-alvo" no espaço de parâmetros.

Análise de Representações Internas:

Localização da Especialização:
- Camadas de Entrada (Embedding): A especialização para o idioma de entrada (fonte) ocorre principalmente nas camadas iniciais.
- Camadas Superiores (Upper Blocks): A especialização para o idioma de saída (geração) concentra-se fortemente nas camadas superiores do transformador (camadas finais).
Redistribuição vs. Sharpening: O ajuste fino não apenas "afina" a seletividade, mas redistribui a especialização. Neurônios para idiomas supervisionados tornam-se menos exclusivos, enquanto os para idiomas não supervisionados tornam-se mais isolados.
Desalinhamento Geométrico (CKA e Ângulos Principais):
- Embora os modelos ajustados ativem conjuntos de neurônios muito semelhantes (alta similaridade de uso), a geometria das representações nas camadas finais diverge significativamente quando os idiomas alvo são diferentes.
- No cenário Inglês $\to$ Indic, a geometria de geração (target span) nas camadas finais (34-36) torna-se altamente específica do idioma e incompatível entre checkpoints ajustados independentemente.
- Isso viola a premissa da fusão de espaço de pesos, que assume que os modelos ocupam a mesma "bacia" geométrica (basin) até simetrias de permutação.

5. Significado e Conclusão

O trabalho conclui que a fusão de modelos de tradução multilíngue falha não porque os modelos usam neurônios diferentes, mas porque o ajuste fino reorganiza a geometria representacional nas camadas de geração de maneiras incompatíveis.

Mecanismo de Falha: A fusão linear combina subespaços gerativos que foram reorganizados de forma divergente para idiomas alvo específicos. Isso resulta na supressão de características de geração condicionadas ao idioma, levando ao colapso do desempenho.
Implicação Prática: Estratégias de fusão padrão (como média simples ou TIES) não são suficientes para consolidar sistemas de tradução bilíngue ajustados independentemente em um único modelo multilíngue robusto.
Contribuição Teórica: O estudo oferece uma explicação baseada em geometria e dinâmica de neurônios para a fragilidade da fusão em cenários de especialização linguística, sugerindo que a especialização multilíngue reshape a estrutura interna do modelo de forma a violar as suposições de alinhamento necessárias para a fusão de pesos.

Em resumo, a "Jornada ao Monte da Perdição" (referência a O Senhor dos Anéis) simboliza a dificuldade extrema e o fracasso atual de tentar fundir modelos de tradução especializados em um único modelo unificado sem técnicas de alinhamento geométrico mais sofisticadas.