🤖 machine learning

Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling

O artigo apresenta o Nexusformer, uma nova arquitetura que substitui as projeções lineares de atenção por uma camada não linear chamada Nexus-Rank, permitindo a expansão estável e sem perdas de modelos Transformer através de blocos inicializados com zeros, o que reduz significativamente o custo computacional de treinamento e estabelece uma lei de escalabilidade geométrica.

Autores originais: Weijie Zhao, Mingquan Liu, Bolun Wang, Simo Wu, Nuobei Xie, Rui-Jie Zhu, Peng Zhou

Publicado 2026-04-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Weijie Zhao, Mingquan Liu, Bolun Wang, Simo Wu, Nuobei Xie, Rui-Jie Zhu, Peng Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está construindo um prédio de apartamentos (um modelo de Inteligência Artificial) para abrigar conhecimento.

Até hoje, a regra era simples: se você quisesse um prédio maior e mais inteligente, você tinha que demolir o antigo e construir um novo do zero, do alicerce ao telhado. Isso gastava uma quantidade absurda de dinheiro e tempo, e todo o conhecimento que você tinha aprendido no prédio pequeno era jogado fora.

Os autores deste paper, o Nexusformer, propuseram uma revolução: como expandir o prédio sem demoli-lo, mantendo os moradores felizes e adicionando novos andares de forma estável.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Tubo Rígido"

Os modelos de IA atuais (como o Transformer) têm um gargalo. Imagine que a parte do cérebro que processa informações (chamada de "Atenção") funciona como um tubo de mangueira de jardim.

O problema: A mangueira tem um tamanho fixo. Se você tentar passar mais água (mais informações complexas) ou mudar a direção da água, ela não consegue. Ela é rígida e linear.
Consequência: Para fazer o modelo aprender coisas mais difíceis, os cientistas tinham que trocar a mangueira inteira por uma maior, mas isso exigia reconectar tudo do zero, perdendo o que já foi aprendido.

2. A Solução: O "Nexusformer" (O Tubo Mágico)

O Nexusformer troca essa mangueira rígida por um sistema de expansão inteligente chamado Nexus-Rank.

Em vez de um tubo reto, imagine um cano de esgoto que se expande em três etapas:

Entrada: A água entra num tubo normal.
Expansão (O Pulo): O tubo se abre para um espaço gigante (como um tanque de armazenamento). Aqui, a água é agitada e misturada de formas complexas (não-lineares). É como se você tivesse uma sala de estar enorme onde as ideias podem se chocar e criar novas combinações.
Retorno: Depois de processado nesse espaço gigante, a água volta para um tubo do tamanho original para sair.

Por que isso é genial?
Mesmo que o tubo de saída seja do mesmo tamanho, a água que saiu foi processada em um "universo" muito maior e mais complexo. Isso permite que o modelo entenda nuances e raciocínios muito mais profundos sem precisar aumentar o tamanho físico do prédio inteiro.

3. O Truque de Crescimento: "Adicionar com o Chão Zero"

A parte mais mágica é como eles aumentam o prédio.

O jeito antigo: Adicionar um novo andar exigia reforçar todas as colunas e rebobinar a estrutura, o que fazia o prédio tremer e cair (o modelo "esquecia" o que sabia).
O jeito Nexusformer: Eles adicionam novos blocos de concreto que começam totalmente vazios (peso zero).
- Imagine que você adiciona um novo quarto ao lado da sala de estar, mas o quarto está vazio e a porta está trancada.
- A sala de estar continua funcionando exatamente como antes. Ninguém é perturbado.
- À medida que o prédio continua sendo "treinado" (habitado), esse quarto vazio começa a ser preenchido com novos móveis e ideias, aprendendo a se conectar com o resto da casa sem bagunçar o que já estava lá.

Isso permite que o modelo cresça sem perder nenhum conhecimento prévio.

4. A Dança do Crescimento (Centrífuga e Centrípeta)

Os autores descobriram algo curioso sobre como esse crescimento acontece. Eles chamam de "Dança Centrífuga-Centrípeta":

Fase Centrífuga (Afastar-se): Quando você adiciona o novo quarto vazio, ele começa a se mexer e explorar o espaço (afastando-se do centro). É um momento de caos controlado, onde o novo bloco tenta entender como se encaixar.
Fase Centrípeta (Atrair-se): Depois de explorar, o novo bloco é "puxado" de volta para o centro, alinhando-se perfeitamente com o resto da casa.
O Segredo: Se você encher o novo quarto com móveis aleatórios antes de começar (inicialização com ruído), a dança falha e o prédio desmorona. Mas, se você começar vazio (zero), a dança acontece perfeitamente, e o modelo se estabiliza rapidamente.

5. Os Resultados: Mais Inteligência, Menos Custo

O paper mostra que, ao usar essa técnica:

O Nexusformer aprende tão bem quanto os modelos antigos, mas usando 41,5% menos energia de computador para crescer.
Ele é especialmente bom em raciocínio (resolver problemas lógicos), porque consegue "pensar" em espaços mais complexos antes de dar a resposta.
Eles criaram uma "lei de crescimento" que permite prever exatamente como o modelo vai se comportar ao ficar maior, como se fosse uma bússola para engenheiros de IA.

Resumo em uma frase

O Nexusformer é como um crescimento orgânico e seguro para a Inteligência Artificial: ele permite que os modelos fiquem maiores e mais inteligentes adicionando novas "partes vazias" que aprendem a se encaixar perfeitamente, sem precisar demolir e reconstruir tudo do zero, economizando tempo, dinheiro e mantendo a estabilidade.

Resumo Técnico: Nexusformer

1. O Problema: Limitações de Escalonamento em Transformers

O artigo identifica que o paradigma atual de escalar modelos de linguagem (LLMs) envolve treinar modelos maiores do zero, o que é computacionalmente ineficiente e desperdiça representações aprendidas em escalas menores. O principal gargalo reside no mecanismo de Atenção Multi-Cabeça (MHA) padrão:

Restrição Linear: As projeções lineares para Query (Q), Key (K) e Value (V) confinam a extração de características a subespaços de dimensão fixa e linear. Isso limita a expressividade do modelo e impede o desacoplamento de semânticas complexas.
Capacidade Rígida: Expandir as matrizes de projeção lineares existentes causa deslocamentos de distribuição significativos, degradando o desempenho e exigindo retreinamento massivo.
Incapacidade de Crescimento Não Destrutivo: Métodos existentes (como LoRA ou Net2Net) são fundamentalmente lineares ou não oferecem um mecanismo unificado para aumentar a expressividade e permitir o crescimento incremental sem perda de conhecimento pré-treinado.

2. Metodologia: A Arquitetura Nexusformer

Para superar essas limitações, os autores propõem o Nexusformer, que substitui as projeções lineares Q/K/V por uma camada de expansão não linear chamada Nexus-Rank.

Mapeamento Não Linear de Três Estágios:
Em vez de uma projeção direta $D \to D$ , o Nexus-Rank utiliza uma hierarquia dimensional $D < M < A$ , onde:
1. Estágio 1 (Uplift): Mapeia a entrada da dimensão original $D$ para um espaço intermediário $M$ ( $M > D$ ) seguido de uma ativação não linear (GeLU).
2. Estágio 2 (Expansão): Projeta o espaço intermediário para um espaço de "sobre-capacidade" $A$ ( $A > M$ ) com outra ativação não linear. Este é o reservatório principal de capacidade para modelagem de interações de alta ordem.
3. Estágio 3 (Redução): Projeta as características profundas de volta para a dimensão original $D$ para manter a compatibilidade com o restante do Transformer.
- Fórmula: $\tilde{Q} = \sigma(\sigma(XW_M)W_A)W_D$ (e análogo para K e V).
Mecanismo de Crescimento Dual-Eixo com Inicialização Zero:
O Nexusformer permite um crescimento estruturado e incremental:
- Expansão Simultânea: O modelo cresce ao longo de dois eixos: a dimensão intermediária ( $M$ ) e a dimensão de expansão ( $A$ ).
- Inicialização Zero: Novos blocos de parâmetros são inicializados com zeros. Isso garante que, no momento da expansão, a saída do modelo permaneça idêntica à do modelo pré-treinado (sem perturbação), permitindo a herança perfeita do conhecimento. O treinamento contínuo absorve a nova capacidade de forma estável.

3. Contribuições Principais

Arquitetura Nexusformer: Substituição estrutural das projeções lineares por camadas não lineares profundas (Nexus-Rank), aumentando a capacidade representacional e quebrando o gargalo linear.
Mecanismo de Crescimento Não Destrutivo: Introdução de um mecanismo de crescimento dual-eixo com inicialização zero, permitindo expansão de parâmetros sem perda de desempenho e com treinamento contínuo eficiente.
Lei de Escalonamento Geométrica: Análise estatística não paramétrica que revela uma trajetória de convergência estável ("divergir-então-convergir") induzida pela inicialização zero. Os autores derivam uma lei de escalonamento que correlaciona a energia radial ( $R$ ) no espaço de parâmetros com a perplexidade, permitindo prever o desempenho em diferentes escalas de expansão.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de raciocínio (PIQA, OBQA, HellaSwag, ARC-E, ARC-C) e modelagem de linguagem, variando de 170M a 640M parâmetros.

Eficiência Computacional: Ao escalar progressivamente de uma base de 240M para 440M, o Nexusformer atingiu a mesma perplexidade do Tokenformer (um baseline de crescimento) utilizando 41,5% menos computação de treinamento.
Desempenho Superior:
- Em escalas maiores (640M), o Nexusformer superou consistentemente o Qwen3 e o Tokenformer em todos os benchmarks.
- No benchmark ARC-Easy (640M), alcançou 59,67, superando o Tokenformer em 15,8% e o Qwen3 em 33,4%.
- Mostrou ganhos significativos em raciocínio lógico complexo (ARC-Challenge).
Análise de Dinâmica de Crescimento:
- A inicialização zero induz uma trajetória de evolução centrífuga-para-centrípeta: o modelo diverge inicialmente para explorar o novo espaço de características e depois converge de volta para um núcleo de alta qualidade, minimizando a perda de conhecimento.
- Perturbações (ruído gaussiano) na inicialização quebram essa estrutura, levando a uma exploração desordenada e pior desempenho, validando a necessidade da inicialização zero.

5. Significado e Impacto

O trabalho do Nexusformer representa um avanço significativo na eficiência e sustentabilidade do treinamento de LLMs:

Mudança de Paradigma: Transita do "treinamento do zero" para um paradigma de crescimento incremental herdável, reduzindo drasticamente o custo computacional e energético para escalar modelos.
Quebra de Limites Lineares: Demonstra que a introdução de não-linearidades profundas nas camadas de projeção de atenção permite uma modelagem de características de alta ordem mais eficiente do que simplesmente aumentar a largura ou profundidade de redes lineares.
Previsibilidade: A descoberta de uma lei de escalonamento baseada na geometria do espaço de parâmetros (energia radial) oferece uma ferramenta teórica para otimizar o momento e a magnitude da expansão de modelos, tornando o desenvolvimento de LLMs mais previsível e controlável.

Em suma, o Nexusformer oferece uma arquitetura prática para fundar modelos que podem crescer de forma estável, eficiente e com alta expressividade, superando as limitações fundamentais das arquiteturas Transformer tradicionais.