💬 NLP

Transport and Merge: Cross-Architecture Merging for Large Language Models

Este trabalho propõe um framework de fusão de modelos baseado em transporte ótimo que alinha ativações para inferir correspondências entre neurônios de arquiteturas heterogêneas, permitindo a transferência eficaz de conhecimento de grandes modelos de linguagem para modelos menores e de recursos limitados.

Autores originais: Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

Publicado 2026-02-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio da matemática (um modelo de IA gigante e muito inteligente) que fala fluentemente inglês e sabe tudo sobre o mundo. Agora, imagine que você precisa ensinar um estudante local (um modelo menor, mais rápido e barato) a falar uma língua específica, como o malaio ou o cantonês, e resolver problemas daquela região.

O problema é que o gênio e o estudante falam "idiomas" diferentes por dentro. O gênio tem uma estrutura de cérebro complexa e grande, enquanto o estudante tem uma estrutura menor e diferente. Tentar simplesmente "colar" o conhecimento do gênio no estudante é como tentar encaixar uma peça de Lego gigante em um buraco pequeno: não funciona, e pode até quebrar o estudante.

Aqui entra o artigo "Transporte e Fusão" (Transport and Merge). Os autores criaram uma maneira inteligente de fazer essa transferência de conhecimento sem precisar reensinar tudo do zero.

A Analogia Principal: O "Mudança de Casa" Inteligente

Pense no processo de mover a casa de uma pessoa rica (o modelo grande) para uma casa menor (o modelo pequeno).

O Problema Tradicional (Destilação):
Normalmente, para transferir conhecimento, você teria que pedir ao gênio para dar uma aula ao estudante, e o estudante teria que estudar, tomar notas e tentar memorizar. Isso é demorado, custa muito dinheiro (computação) e o estudante pode esquecer detalhes importantes. É como tentar copiar um livro inteiro de um para o outro.
A Solução do Artigo (Transporte Ótimo):
Os autores usam uma técnica chamada Transporte Ótimo. Imagine que você não quer copiar o livro, mas sim mover os móveis da casa grande para a casa pequena de forma que tudo continue funcionando perfeitamente.
- O "Mapa de Correspondência": O computador analisa o que o gênio e o estudante "pensam" quando veem a mesma frase. Ele descobre que, embora os "móveis" (os neurônios) tenham tamanhos e formas diferentes, eles fazem a mesma função.
- O "Mudança de Casa" (Fusão): Em vez de treinar o estudante, eles pegam os "móveis" (pesos) do gênio que são mais úteis e os transportam diretamente para os lugares certos na casa do estudante. Eles usam um mapa matemático para dizer: "Este móvel grande do gênio deve ir para este canto da sala do estudante".

Como Funciona na Prática (Passo a Passo Simples)

Olhar para o que acontece dentro: Eles dão uma pequena lista de exemplos (como frases em malaio) para ambos os modelos. Eles observam como os "cérebros" reagem.
Desenhar o Mapa: Usando matemática avançada (Transporte Ótimo), eles desenham um mapa que conecta os "pensamentos" do modelo grande com os do modelo pequeno. Eles descobrem qual parte do cérebro grande corresponde a qual parte do cérebro pequeno.
A Fusão Direta: Eles pegam os pesos (o conhecimento) do modelo grande e os misturam diretamente nos pesos do modelo pequeno, seguindo esse mapa. É como se eles estivessem injetando a inteligência do gênio diretamente nos músculos do estudante.
Ajuste Fino (Opcional): Depois de mover os móveis, eles fazem um pequeno ajuste (como organizar a sala) para garantir que tudo fique perfeito, mas sem precisar reconstruir a casa inteira.

Por que isso é incrível?

Economia: Você não precisa de milhões de dados ou de computadores superpotentes para treinar o modelo pequeno do zero.
Velocidade: O processo é muito mais rápido do que treinar um modelo novo.
Precisão: O modelo pequeno ganha a inteligência do modelo grande, mas mantém sua agilidade e capacidade de rodar em dispositivos menores.
Versatilidade: Funciona mesmo quando os modelos têm arquiteturas totalmente diferentes (como misturar um modelo da família LLaMA com um da família Qwen).

Resumo em uma Frase

Este trabalho cria uma "ponte mágica" que permite pegar o conhecimento de um supercomputador gigante e injetá-lo diretamente na estrutura de um computador menor e diferente, sem precisar reensinar tudo, permitindo que modelos pequenos e baratos falem línguas raras e entendam tópicos complexos com a mesma inteligência dos gigantes.

É como se você pudesse pegar a experiência de vida de um sábio de 100 anos e transferi-la instantaneamente para a mente de um jovem de 20 anos, apenas ajustando a "fiação" interna, sem precisar que o jovem viva 80 anos de novo.

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) alcançaram capacidades notáveis através do escalonamento de parâmetros e dados de treinamento massivos. No entanto, muitas aplicações do mundo real dependem de modelos menores, treinados ou adaptados a partir de dados de baixo recurso (ex: idiomas como malaio, cantonês, tailandês, ou domínios especializados como medicina e finanças).

O desafio central é transferir conhecimento desses modelos grandes e ricos em recursos para modelos-alvo menores e com arquiteturas heterogêneas (diferentes).

Limitação das abordagens atuais: A maioria dos métodos de "fusão de modelos" (model merging) assume que os modelos compartilham a mesma arquitetura, permitindo operações diretas no espaço de pesos.
Limitação da destilação: Métodos baseados em destilação de conhecimento exigem treinamento intensivo e não realizam uma fusão direta de parâmetros.
Questão: É possível realizar a transferência de conhecimento de alto para baixo recurso através da fusão direta de modelos com arquiteturas diferentes?

2. Metodologia Proposta

Os autores propõem um framework de fusão baseado em Transporte Ótimo (Optimal Transport - OT) que alinha modelos heterogêneos no espaço de ativações para inferir correspondências entre neurônons e, subsequentemente, fundir os pesos diretamente.

O processo segue as seguintes etapas principais:

A. Alinhamento no Espaço de Ativações

Em vez de tentar alinhar pesos diretamente (o que é difícil devido a arquiteturas diferentes), o método utiliza um pequeno conjunto de dados de entrada ( $D$ ) para extrair ativações intermediárias tanto do modelo fonte (alto recurso) quanto do modelo alvo (baixo recurso).

Correspondência de Características (Feature-level): Para cada camada do alvo e do fonte, calcula-se uma matriz de custo baseada na correlação das ativações dos canais. Resolve-se um problema de Transporte Ótimo regularizado entropicamente para obter uma matriz de transporte $Q_{\ell m}$ , que indica como os canais de ativação do modelo fonte podem ser recombinados para corresponder aos do modelo alvo.
Correspondência de Camadas (Layer-level): Agregam-se as similaridades de características para criar uma matriz de custo entre camadas e resolvem-se novamente problemas de OT para obter uma matriz global de correspondência de camadas $P$ .

B. Fusão de Pesos (Weight Fusion)

As relações inferidas no espaço de ativações são "elevadas" para o espaço de pesos para criar operadores de mistura de neurônons.

Substituição Seletiva (Top-k): Para evitar interferência desnecessária e garantir robustez, a fusão é restrita a um subconjunto pequeno de neurônons altamente ativados no modelo alvo (selecionados via top-k).
Operador de Fusão: Os pesos do modelo fonte são transformados para o espaço do alvo usando as matrizes de transporte ( $Q_{in}, Q_{out}$ ) e a correspondência de camadas ( $P_{eff}$ ). A fórmula de fusão combina os pesos originais do alvo com uma versão "transportada" dos pesos do fonte:
$W^{fused} = W^{base} + \alpha \cdot M \odot \left( \sum P_{eff} \cdot Q_{out} W^{source} Q_{in}^T - W^{base} \right)$
Onde $M$ é uma máscara binária para os neurônons selecionados e $\alpha$ controla a força da substituição.

C. Adaptação com Congelamento de Resíduos (Residual-Frozen Adaptation)

Após a fusão, o modelo passa por uma etapa de ajuste fino (fine-tuning) leve:

Os parâmetros residuais transportados (a parte adicionada pela fusão) são congelados.
Apenas os parâmetros base originais do modelo alvo são atualizados.
Isso garante que o conhecimento transferido não seja sobrescrito, permitindo que o modelo se adapte à distribuição da tarefa sem perder a estrutura aprendida.

3. Contribuições Principais

Framework de Fusão Cross-Arquitetura: Primeira abordagem que permite a fusão direta de parâmetros entre LLMs de arquiteturas e capacidades diferentes sem necessidade de treinamento massivo ou destilação.
Inferência de Correspondência via Transporte Ótimo: Uso inovador do OT para mapear a similaridade estrutural entre neurônons de modelos heterogêneos apenas com um pequeno conjunto de dados de entrada.
Interpretação Teórica: Demonstra que a fusão de pesos pode ser interpretada como uma transferência no espaço de representações, onde as características do alvo são mapeadas para o espaço do fonte, processadas e mapeadas de volta.
Eficiência: O método requer apenas um pequeno conjunto de dados para estimar o transporte e evita o custo computacional de treinar grandes modelos do zero ou realizar destilação complexa.

4. Resultados Experimentais

Os autores avaliaram o método em diversos cenários de baixo recurso e domínios especializados:

Idiomas de Baixo Recurso: Testes em Malaio, Indonésio, Tailandês e Cantonês (usando benchmarks como MalayMMLU, Belebele, CMMLU).
- O modelo fundido com adaptação superou consistentemente o modelo base em todas as categorias (Humanidades, STEM, Ciências Sociais, etc.).
- Exemplo: No MalayMMLU, houve ganhos de até +6.51 pontos em Humanidades em relação ao modelo base.
Transferência de Domínio Geral para Especializado:
- Finanças e Medicina: Fusão de modelos gerais (LLaMA-3) com modelos especializados. O método melhorou o desempenho em benchmarks como MMLU (Ética Empresarial, Microeconomia, Anatomia, Genética Médica) sem degradar as capacidades gerais do modelo.
Comparação com SFT e Destilação:
- O método proposto superou consistentemente o Supervised Fine-Tuning (SFT) e a destilação de conhecimento em avaliações normalizadas, especialmente em cenários onde os dados de treinamento são escassos.
Robustez: O método mostrou-se robusto a diferentes arquiteturas de fonte (LLaMA vs. Qwen) e ao tamanho do modelo fonte (escalando de 1B para 32B, o desempenho melhorou).
Preservação de Capacidades Gerais: A fusão não degradou significativamente as capacidades gerais de raciocínio e compreensão do modelo alvo.

5. Significado e Impacto

Este trabalho oferece uma alternativa prática e teoricamente fundamentada para a transferência de conhecimento em cenários de recursos limitados.

Democratização de IA: Permite que modelos grandes e caros "ensinem" modelos menores e mais eficientes para idiomas e domínios específicos sem a necessidade de recriar o treinamento massivo.
Eficiência Computacional: Elimina a necessidade de grandes conjuntos de dados de treinamento ou processos de destilação iterativos, reduzindo drasticamente o custo computacional e de energia.
Flexibilidade: Abre caminho para a criação de ecossistemas de modelos onde diferentes arquiteturas podem ser combinadas para aproveitar os pontos fortes de cada uma, superando as barreiras impostas pela incompatibilidade arquitetural.

Em resumo, o "Transport and Merge" demonstra que é possível alinhar e fundir inteligentemente modelos de linguagem heterogêneos, transferindo conhecimento de alta qualidade para modelos de baixo recurso de forma direta e eficiente.