💬 NLP

Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate

Este artigo demonstra que Transformers apenas com decodificador podem continuar a aprender de forma eficaz ao empilhar novos blocos sobre um substrato congelado com um orçamento limitado de parâmetros ativos, comprovando a viabilidade da expansão modular e por camadas mesmo sob restrições extremas, como uma interface de token binária de baixo posto, ainda que com uma compensação na perplexidade final em comparação com modelos monolíticos totalmente treináveis.

Autores originais: A. Bochkov

Publicado 2026-05-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: A. Bochkov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está construindo um arranha-céu, mas tem uma regra muito estrita: você só pode trabalhar no último andar a qualquer momento. Assim que um andar é concluído, você o sela com concreto, tranca as portas e nunca mais tem permissão para entrar novamente para corrigir ou alterar qualquer coisa. Você também tem um orçamento limitado para trabalhadores da construção, então não pode contratar uma equipe inteira nova cada vez que adiciona um andar; você apenas move sua pequena equipe para o novo nível.

Este artigo faz uma pergunta simples: É possível ainda construir um arranha-céu útil e alto sob essas regras extremas?

Aqui está a análise da pesquisa usando analogias do dia a dia:

1. O Problema da "Fundação Congelada"

Normalmente, ao treinar uma IA gigante (como um modelo de linguagem grande), o computador precisa lembrar como ajustar cada parte única do edifício à medida que aprende. Isso requer uma quantidade massiva de memória, como precisar de um enorme armazém para armazenar plantas de cada tijolo.

Os pesquisadores queriam ver se podiam treinar um modelo mantendo a parte "ativa" (a parte que podem alterar) pequena e constante.

A Estratégia: Eles começam com um prédio pequeno. Treinam-no, depois congelam-no (trancam-no). Em seguida, adicionam um novo andar no topo e apenas treinam esse novo andar.
O Problema: Eles nunca voltam aos andares antigos para ajustá-los. Eles também mantêm o número de "trabalhadores" (parâmetros treináveis) aproximadamente o mesmo, não importa o quão alto o prédio fique.

2. O Teste do "Elevador Defeituoso"

Para testar realmente essa ideia até o limite, os pesquisadores criaram um cenário extremo. Imagine que o térreo (onde o prédio se conecta à rua) está quebrado.

O Cenário: Em vez de uma entrada rica e detalhada, o prédio tem apenas um pequeno código binário de 16 bits (como um simples interruptor "ligado/desligado") para identificar em qual sala você está. É uma interface muito pobre e de baixa qualidade.
A Pergunta: Se a entrada é tão ruim e os andares inferiores estão congelados solidamente, os andares superiores ainda podem aprender a realizar tarefas complexas?
O Resultado: Surpreendentemente, sim. Mesmo com essa entrada terrível e congelada, a IA conseguiu crescer e aprender coisas úteis. Provou-se que você não necessariamente precisa de uma entrada perfeita e flexível para que todo o prédio funcione; os andares superiores podem descobrir como dar sentido às informações limitadas que recebem.

3. O Compromisso da "Reforma" (LoRA)

Nos experimentos mais longos, os pesquisadores perceberam que, se os andares inferiores estão demais congelados, o prédio fica um pouco rígido. Para corrigir isso sem quebrar sua regra de "orçamento pequeno", eles usaram uma técnica chamada LoRA.

A Analogia: Pense no LoRA como adicionar andaimes finos e flexíveis ou post-its às paredes de cada andar. Você não está reconstruindo as paredes (a estrutura principal ainda está congelada), mas pode fazer pequenos ajustes temporários em como os cômodos se conectam.
O Benefício: Isso permitiu que o modelo se "reajustasse" globalmente sem precisar destravar e retreinar todo o edifício massivo.

4. O Trade-off: Qualidade vs. Eficiência

O artigo é muito honesto sobre os resultados. Ele não afirma que este método é melhor do que a maneira padrão de construir (onde você pode ajustar cada andar de uma vez).

A Maneira Padrão: Se você tiver memória e dinheiro suficientes, construir tudo de uma vez (treinamento monolítico) produz um prédio ligeiramente "mais inteligente" (perplexidade menor, melhores pontuações).
A Nova Maneira: O método "crescer-conforme-você-vai" produz um prédio ligeiramente menos perfeito, mas muito mais eficiente. Ele usa significativamente menos "trabalhadores ativos" (cerca de 105 milhões versus 247 milhões em seus testes) e requer menos memória.

A Conclusão

O artigo conclui que aprendizado útil pode ocorrer mesmo sob restrições muito estritas.

Você pode manter a base do modelo congelada.
Você pode manter o número de partes treináveis pequeno.
Você pode até começar com uma interface de entrada muito pobre e fixa.

Embora esta não seja a "melhor" maneira de construir a IA mais inteligente possível, prova que você não precisa destravar todo o prédio para continuar adicionando altura útil. É uma estratégia viável para situações onde a memória é limitada ou você deseja fazer um modelo crescer em etapas sem custos computacionais massivos.

O que o artigo NÃO diz:

Não afirma que esta é a melhor maneira de construir IA para uso geral.
Não afirma que este método produz a inteligência mais alta possível.
Não sugere que isso está pronto para implantação clínica ou comercial sem testes adicionais.

Ele simplesmente prova que o crescimento é possível mesmo quando você está algemado por regras estritas de memória e treinamento.

Resumo Técnico: Transformers em Crescimento: Composição Modular e Expansão Camada por Camada sobre um Substrato Congelado

1. Declaração do Problema

O treinamento de modelos de linguagem em grande escala é frequentemente limitado pelo estado do otimizador em memória, e não apenas pela contagem de parâmetros. No pré-treinamento denso monolítico padrão, manter os estados do otimizador para todos os parâmetros treináveis cria um gargalo de escalabilidade sob orçamentos fixos de memória de aceleradores.

Este artigo investiga um regime de treinamento restrito para responder a uma questão específica de viabilidade: A profundidade do modelo pode continuar a crescer se a interface de tokens for fixa, blocos densos previamente treinados permanecerem congelados e o conjunto ativo de parâmetros treináveis for mantido aproximadamente constante? Os autores posicionam explicitamente isso como um estudo de trade-offs e viabilidade, e não como uma afirmação de que este regime supera o pré-treinamento denso monolítico ajustado.

2. Metodologia

O regime proposto, denominado "Crescimento Construtivo", opera sob quatro restrições estritas:

Interface de Tokens Fixa: A camada de incorporação de entrada é fixa e determinística durante todo o treinamento. O artigo estuda duas variantes:
- Uma interface visual Unicode congelada (de trabalhos anteriores).
- Um teste de estresse extremo: um código de ID de token binário congelado de 16 dimensões. Aqui, cada token é representado por um código binário de 16 bits (seu ID de token) elevado deterministicamente à dimensão do modelo ( $d_{model}$ ) via repetição de coordenadas. Isso resulta em uma matriz de incorporação de entrada com rank de no máximo 16, garantindo que não existam semânticas de alta dimensão aprendidas na entrada.
Substrato Congelado: Uma vez que um bloco (ou grupo de blocos) é treinado, ele é congelado. Nunca é reaberto para atualizações de parâmetros completos.
Orçamento Ativo Limitado: À medida que a profundidade aumenta, apenas os novos blocos adicionados e a cabeça do Modelo de Linguagem (LM) são treinados. O número de parâmetros treináveis ativos permanece aproximadamente constante.
Reajuste Opcional com LoRA: Em execuções mais longas, estágios LoRA (Adaptação de Baixo Rank) são intercalados entre as fases de crescimento. Esses estágios realocam o mesmo orçamento de parâmetros treináveis ativos para adaptadores em todas as camadas, permitindo um reajuste global limitado sem reabrir os pesos densos.

Procedimento de Treinamento:

Inicializar um modelo raso acima da interface fixa.
Treinar a pilha atual no topo.
Congelar os blocos densos treinados.
Adicionar um novo grupo de blocos no topo.
Treinar apenas o novo grupo e a cabeça do LM.
(Opcional) Intercalar estágios LoRA para ajustar representações globais enquanto mantém o orçamento de parâmetros ativos.

3. Contribuições e Afirmações Principais

O artigo faz afirmações estreitas e fundamentadas empiricamente, em vez de afirmações amplas de superioridade algorítmica:

Definição de um Regime Restrito: Os autores definem um protocolo de treinamento específico que combina uma interface de tokens fixa e determinística, blocos inferiores congelados e um orçamento de parâmetros ativos limitados.
Viabilidade de Crescimento sobre Interfaces Mínimas: O estudo demonstra que aprendizado contínuo útil é possível mesmo acima de uma interface de ID de token binário de 16 dimensões, onde a dimensão do subespaço de entrada é de no máximo 16. Isso sugere que incorporações de entrada treináveis semanticamente ricas não são um pré-requisito estrito para formar representações internas úteis em camadas mais profundas.
Trade-off Qualidade-Memória: O artigo quantifica o trade-off entre a contagem de parâmetros ativos e a perplexidade final.
- Em um estudo controlado de 9 camadas, o modelo congelado construtivo utiliza 105,0M de parâmetros treináveis ativos, comparado a 180,5M para uma linha de base monolítica congelada correspondente à interface e 247,6M para uma linha de base monolítica totalmente treinável.
- Essa redução nos parâmetros ativos tem um custo: a perplexidade de treinamento final aumenta de 3,71 (monolítico congelado) para 4,12 (construtivo congelado).
Viabilidade de Crescimento de Longo Alcance: Um experimento de 16 camadas em um conjunto de dados de 68,9B de tokens (FineWeb-Edu + Cosmopedia), usando a interface binária de 16 dimensões e estágios LoRA intercalados, atingiu 28,92% MMLU. Isso serve como uma demonstração de viabilidade de que o crescimento pode prosseguir sob restrições extremas, embora a mistura de dados em mudança impeça uma comparação causal limpa.

4. Resultados

Estudo Controlado de 9 Camadas:
- O crescimento construtivo foi estável, mostrando picos transitórios de perda ao empilhar novas camadas, seguidos de recuperação rápida.
- O modelo construtivo (105M de parâmetros ativos) alcançou desempenho downstream (MMLU, ARC, SQuAD) na mesma faixa ampla das linhas de base monolíticas, embora com perplexidade mais alta.
- O modelo construtivo treinado acima da interface binária de 16 dimensões convergiu de forma estável, provando que a restrição extrema de rank (rank $\le$ 16) não impede o modelo de aprender representações úteis nas camadas superiores.
Execução de Longo Alcance de 16 Camadas:
- Um modelo de 269,7M de parâmetros (tamanho base) treinado com estágios LoRA intercalados atingiu 28,92% MMLU.
- Os autores observam que, como a mistura de dados mudou entre os estágios (aumentando a mistura de instruções/SFT), este resultado é interpretado como uma demonstração de viabilidade e não como uma estimativa causal da eficiência do crescimento.

5. Significado e Limitações

Significado:
A principal contribuição do artigo é uma "afirmação estreita, mas útil": aprendizado contínuo útil pode prosseguir acima de uma interface mínima fixa sob um orçamento limitado de parâmetros treináveis ativos. Isso é significativo para praticantes com orçamentos de memória limitados que desejam expandir a profundidade do modelo sem a sobrecarga de memória de manter estados do otimizador para todo o modelo. Isso desafia a suposição de que incorporações de entrada aprendidas e de alta capacidade são estritamente necessárias para o crescimento da profundidade.

Modéstia e Limitações:
Os autores são explícitos sobre o que o artigo não afirma:

Não afirma que o crescimento construtivo iguala a qualidade do pré-treinamento denso monolítico ajustado (a perplexidade é pior).
Não afirma que o empilhamento inicializado aleatoriamente é a melhor estratégia genérica de crescimento em comparação com métodos que preservam a função (por exemplo, Net2Net).
As comparações controladas são experimentos de execução única; pequenas diferenças nas métricas não são estabelecidas estatisticamente.
O estudo de 9 camadas usa um protocolo comum sem ajuste de hiperparâmetros específico da linha de base, tornando-o uma comparação de regime e não uma comparação otimizada de melhor-against-melhor.
A execução de longo alcance confunde a atribuição causal devido às mudanças nas misturas de dados.
A interface binária de 16 dimensões usa uma atribuição de código determinística específica; comparações sistemáticas de atribuições de código alternativas são deixadas para trabalhos futuros.

Em conclusão, o artigo estabelece que, embora o treinamento denso monolítico permaneça a linha de base mais forte para qualidade quando os recursos permitem, um regime restrito de expansão camada por camada sobre um substrato congelado é uma alternativa viável para cenários onde os orçamentos de parâmetros ativos devem ser estritamente limitados.