🤖 machine learning

Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers

Este artigo propõe um novo framework de aprendizado duplo que aplica transformações de pesos preservadoras de funcionalidade para alinhar Transformers de bilhões de parâmetros treinados independentemente, permitindo uma conectividade de modo linear quase livre de barreiras e uma fusão de modelos eficaz em ambos os domínios de linguagem e visão.

Autores originais: Tianyi Li, Zhiqiang Shen

Publicado 2026-06-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tianyi Li, Zhiqiang Shen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Fundindo Duas Receitas Diferentes

Imagine que você tem dois mestres chefs que passaram anos aperfeiçoando exatamente o mesmo prato: um bolo de chocolate. Ambos sabem como fazê-lo ficar delicioso. No entanto, eles aprenderam suas habilidades em cozinhas diferentes, usaram xícaras de medida diferentes e organizaram seus ingredientes de maneiras completamente distintas.

Chef A coloca a farinha em uma tigela à esquerda e o açúcar à direita.
Chef B coloca a farinha à direita e o açúcar à esquerda.

Se você tentar simplesmente "misturar" suas receitas no meio do caminho (um processo chamado interpolação linear), o resultado é um desastre. Você pode acabar com meia xícara de farinha e meia xícara de açúcar na mesma tigela, mas como as instruções deles não coincidem, o bolo desmorona. No mundo da IA, isso é chamado de barreira de perda (loss barrier) — um ponto onde o modelo combinado para de funcionar e a taxa de erro dispara.

O Problema: As Diferenças "Ocultas"

Por muito tempo, os cientistas pensaram que esses dois chefs estavam apenas fazendo bolos diferentes. Mas este artigo argumenta que eles estão, na verdade, fazendo o mesmo bolo; eles apenas têm simetrias diferentes.

Na IA, "simetria" significa que você pode embaralhar as coisas sem alterar o resultado.

Permutação: Você pode trocar a ordem das etapas (como misturar ovos antes do leite vs. leite antes dos ovos), desde que ajuste as outras etapas para corresponder.
Escalonamento: Você pode usar uma colher gigante ou uma colher pequena, desde que ajuste a quantidade de ingredientes para corresponder.

O problema é que, quando dois modelos de IA são treinados separadamente, eles naturalmente caem em diferentes "embaralhamentos". Se você tentar misturá-los sem corrigir esses embaralhamentos primeiro, a IA fica confusa.

A Solução Antiga: Ajuste Unilateral

Métodos anteriores tentavam corrigir isso pegando a receita do Chef B e forçando-a a parecer com a do Chef A. Eles diziam: "Ok, Chef B, mova seu açúcar para a esquerda para corresponder ao Chef A".

Isso ajuda um pouco, mas é como forçar uma peça quadrada em um buraco redondo. O Chef B tem que contorcer todo o seu estilo para se ajustar ao layout da cozinha específica do Chef A. Funciona, mas a receita "intermediária" resultante ainda tem um alto risco de falha.

A Nova Solção: A "Dança Dupla" (LMC-DM)

Este artigo apresenta um novo método chamado Correspondência Aprendida Dupla (Dual Learned Matching). Em vez de forçar um chef a copiar o outro, ambos concordam em se encontrar no meio do caminho.

Imagine uma pista de dança. Em vez de o Chef A ficar parado e o Chef B tentar acompanhar seus passos, ambos os chefs começam a dançar um em direção ao outro.

Ambos aprendem novas maneiras de organizar seus ingredientes (ajustando suas "simetrias").
Eles se movem em direção a um layout de cozinha comum e neutro, onde seus passos se alinham perfeitamente.
Uma vez alinhados, eles podem misturar suas receitas suavemente.

Como ambos os chefs são flexíveis e se movem em direção a um objetivo comum, o ponto "intermediário" não é mais uma zona de desastre. Torna-se um caminho suave e seguro onde o bolo tem o mesmo sabor do original.

O Que Eles Realmente Descobriram

Os pesquisadores testaram isso em modelos de IA massivos (alguns com bilhões de parâmetros, o que é como ter uma cozinha com milhões de ingredientes).

O Resultado: Quando usaram este método de "Dança Dupla", a "zona de desastre" (a barreira de perda) quase desapareceu completamente.
Modelos de Visão: Eles testaram em modelos de reconhecimento de imagem (como os que identificam gatos e cachorros). Mesmo misturando dois modelos diferentes, o modelo combinado manteve sua precisão alta (acima de 69%) o tempo todo.
Modelos de Linguagem: Eles testaram em modelos de geração de texto (como os que escrevem histórias). Para modelos de tamanho médio, a taxa de erro foi praticamente zero. Mesmo para modelos gigantes de bilhões de parâmetros, o erro foi muito pequeno.

A Conclusão

O artigo prova que grandes modelos de IA não são ilhas isoladas. Eles estão, na verdade, conectados por caminhos ocultos. Se você parar de tentar forçar um modelo a copiar o outro e, em vez disso, permitir que ambos os modelos se ajustem para se encontrarem no meio, você pode fundi-los perfeitamente.

Isso significa que podemos pegar dois modelos de IA diferentes e altamente treinados e combiná-los em um único modelo poderoso sem precisar treiná-los do zero ou construir estruturas complexas novas. É como perceber que duas línguas diferentes são, na verdade, apenas dialetos da mesma língua e que, se você as falar com um pouco de flexibilidade, poderá entendê-las perfeitamente.

Resumo Técnico: Escalando a Conectividade de Modo Linear e a Fusão para Transformers Pré-treinados de Bilhões de Parâmetros

Declaração do Problema
A Conectividade de Modo Linear (LMC) postula que redes neurais treinadas independentemente podem ser conectadas via um caminho linear de baixa perda no espaço de pesos, permitindo a fusão eficiente de modelos sem necessidade de ensembles ou retreinamento. No entanto, os métodos existentes têm dificuldade em escalar esse conceito para Transformers pré-treinados de bilhões de parâmetros. O obstáculo principal é que modelos treinados independentemente frequentemente ocupam regiões distantes no espaço de pesos devido a simetrias preservadoras de função (ex: permutações de neurônios, rotações de pesos) e diferenças na inicialização ou dinâmica de treinamento. A interpolação linear ingênua entre tais modelos encontra barreiras de perda elevadas. Embora técnicas de alinhamento anteriores (Weight Matching, Learned Matching) tenham mostrado promessa para redes menores, elas tipicamente dependem de uma otimização unilateral (alinhando um modelo a uma referência fixa) e frequentemente falham em explorar plenamente os complexos grupos de simetria inerentes às arquiteturas Transformer, limitando sua eficácia em escala.

Metodologia
Os autores propõem o Dual Learned Matching (LMC-DM), um framework escalável projetado para revelar caminhos lineares de baixa perda em Transformers pré-treinados de grande escala, otimizando conjuntamente as transformações de simetria para ambos os modelos de extremidade.

Simetrias Preservadoras de Funcionalidade: O artigo formula sistematicamente uma ampla família de simetrias específicas para Transformers, estendendo-se além de simples permutações de neurônios. Estas incluem:
- Absorção de Normalização: Conversão de LayerNorm/RMSNorm com parâmetros afins em operadores sem parâmetros, absorvendo ganhos e vieses em camadas lineares adjacentes.
- Simetria Global do Espaço Residual: Aplicação de rotações ortogonais globais e escalonamentos ao fluxo residual, que são preservados pelo RMSNorm.
- Permutações de Cabeças de Atenção: Reordenação de cabeças de atenção.
- Simetrias de Circuito: Transformações invertíveis internas dentro dos circuitos Query-Key (QK) e Value-Output (OV) das cabeças de atenção.
- Simetrias de FFN: Permutações de canais ocultos e simetrias de escalonamento do tipo GLU.
Parametrização: Para tornar essas simetrias treináveis via gradiente descendente, os autores parametrizam transformações contínuas usando:
- Transformada de Cayley para matrizes ortogonais (eficiente e estável).
- Decomposição Polar (combinando Cayley para partes ortogonais e Cholesky para partes simétricas definidas positivas) para matrizes invertíveis.
- Simetrias discretas (permutações de cabeça/FFN) são inicializadas via Weight Matching e mantidas fixas durante a fase de aprendizado para garantir eficiência.
Procedimento de Aprendizado Dual: Diferente de abordagens anteriores de "lado único" que otimizam um modelo ( $\Theta_B$ ) para corresponder a um alvo fixo ( $\Theta_A$ ), o LMC-DM introduz uma otimização bidirecional. Ambos os modelos aprendem seus próprios parâmetros de transformação ( $\pi_A$ e $\pi_B$ ) em direção a um caminho de interpolação linear compartilhado:
$\Theta_{interp} = \lambda \pi_A(\Theta_A) + (1 - \lambda) \pi_B(\Theta_B)$
Os parâmetros de simetria são otimizados diretamente para minimizar a perda ao longo do caminho de interpolação, permitindo que ambos os modelos se movam em direção a um poço de baixa perda compartilhado, em vez de forçar um a conformar-se ao sistema de coordenadas do outro.

Principais Contribuições

Formulação Abrangente de Simetria: O artigo define uma ampla família de transformações que preservam a funcionalidade para Transformers, incluindo absorção de normalização, rotações do espaço residual e simetrias de circuito específicas de atenção/FFN.
Dual Learned Matching: A introdução de um framework de otimização bidirecional onde ambos os endpoints são transformados, resultando em um cenário de otimização melhor condicionado e barreiras de interpolação de perda mais baixas em comparação com métodos de lado único.
Demonstração de Escalabilidade: A aplicação bem-sucedida de fusão baseada em LMC em modelos com até bilhões de parâmetros, uma escala anteriormente inexplorada para conectividade quase livre de barreiras.

Resultados Experimentais
Os autores avaliam o LMC-DM em Vision Transformers (ViT-S, ViT-B, ViT-L) e Modelos de Linguagem (Pythia e OLMo) variando de 14M a 6.9B de parâmetros.

Barreiras de Perda: No WikiText, o LMC-DM alcança barreiras de perda próximas de zero para modelos de 160M de parâmetros (0.18), superando significativamente o Weight Matching (0.27) e o Learned Matching de lado único (0.27). Para modelos de 1B de parâmetros, a barreira permanece baixa (0.23).
Domínio de Visão: O ViT-L mantém mais de 69% de precisão top-1 no ImageNet ao longo de todo o caminho de interpolação, uma melhoria substancial sobre a interpolação ingênua (que cai significativamente) e métodos de lado único.
Comportamento de Escala: Embora os modelos Pythia de até 6.9B de parâmetros exibam pequenas barreiras de perda, o OLMo-7B mostra barreiras mais altas, sugerindo que o LMC em grandes modelos é influenciado por fatores além da escala, como dados de treinamento e dinâmica de otimização.
Estudos de Ablação: Remover simetrias de QK ou OV aumenta significativamente as barreiras de perda, particularmente para ViTs. A abordagem de aprendizado dual supera consistentemente as variantes de lado único, e a parametrização baseada em Cayley para simetrias ortogonais mostra-se mais eficaz do que abordagens não restringidas ou de exponencial de matriz.

Significância e Alegações
O artigo afirma fornecer a primeira demonstração de conectividade linear quase livre de barreiras para modelos de linguagem de tamanho médio (160M) e mostrar que LLMs de bilhões de parâmetros podem ser conectados com apenas pequenas barreiras de perda quando devidamente alinhados.

Os autores argumentam que seus resultados sugerem que os Transformers pré-treinados de grande escala não são pontos isolados no espaço de pesos, mas sim "representações relacionadas por simetria" que podem ser efetivamente alinhadas e fundidas através de caminhos lineares simples. Ao resolver simetrias de parâmetros via otimização dual, o método permite a fusão de modelos confiável e a composição em escalas anteriormente consideradas intratáveis para a conectividade de modo linear. O trabalho preenche a lacuna entre a geometria teórica do cenário de perda e o reuso prático de modelos, oferecendo uma base para a composição escalável de grandes modelos pré-treinados.