💬 NLP

Efficient Construction of Model Family through Progressive Training Using Model Expansion

Este trabalho propõe um método eficiente de treinamento progressivo com expansão de modelos para construir famílias de modelos de linguagem, reduzindo o custo computacional em cerca de 25% e melhorando a consistência comportamental em comparação ao treinamento independente.

Autores originais: Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

Publicado 2026-03-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef de cozinha e precisa criar uma linha de pratos para um restaurante. Você quer oferecer três versões: um prato pequeno (para quem tem pouco tempo), um médio e um gigante (para quem quer uma experiência completa).

O jeito antigo (Treinamento Independente):
Normalmente, os chefs treinam cada prato do zero.

Eles pegam ingredientes frescos e cozinham o prato pequeno.
Depois, jogam tudo fora, pegam novos ingredientes frescos e cozinham o prato médio do zero.
Jogam tudo fora de novo e cozinham o prato gigante do zero.
O problema: Isso gasta uma quantidade enorme de ingredientes (dinheiro e energia) e demora muito, porque você está cozinhando a base de cada prato repetidamente.

A ideia deste artigo (Treinamento Progressivo):
Os autores propõem um jeito mais inteligente, como se fosse uma "escada de crescimento":

Você cozinha o prato pequeno do zero.
Em vez de jogar fora, você pega esse prato pequeno, aumenta o tamanho da panela e adiciona mais ingredientes para transformá-lo no prato médio. Você não começa do zero; você expande o que já existe.
Depois, pega o prato médio, aumenta a panela de novo e transforma no prato gigante.

A mágica:
No final, você tem os três pratos (pequeno, médio e gigante) prontos, mas gastou quase a mesma quantidade de ingredientes que gastaria para fazer apenas o prato gigante do zero. O artigo diz que essa técnica economiza cerca de 25% de recursos (computação e tempo) em comparação ao jeito antigo.

Por que isso é legal? (As Metáforas)

1. A Família Coesa (Consistência)
Quando você treina cada modelo do zero, é como se cada membro da família tivesse crescido em casas diferentes, com pais diferentes. Eles podem falar a mesma língua, mas têm sotaques e personalidades muito diferentes.
Com o "Treinamento Progressivo", é como se a família crescesse junta na mesma casa. O modelo pequeno é o "filho", o médio é o "adolescente" e o grande é o "pai". Como eles compartilham a mesma "memória" e base, eles se comportam de forma muito mais consistente. Se o pai diz "sim", o filho também tende a dizer "sim" da mesma maneira. Isso é ótimo para quando você precisa trocar de um modelo para outro sem confundir o usuário.

2. A Aceleração (Decodificação Especulativa)
Imagine que o modelo grande é um corredor de elite e o modelo pequeno é um velocista de 100 metros.

Jeito antigo: O corredor grande olha para o velocista pequeno, que é muito diferente dele, e diz: "Não, sua ideia de corrida está errada". O corredor tem que parar e pensar de novo.
Jeito novo: Como o corredor grande foi "criado" a partir do velocista pequeno, eles pensam de forma muito parecida. O velocista faz uma previsão ("vamos correr assim!"), e o corredor grande diz: "Perfeito, concordo!" e continua correndo. Isso torna tudo muito mais rápido.

3. O Segredo do "Ajuste de Velocidade" (Taxa de Aprendizado)
Os autores descobriram que, ao fazer essa expansão, eles podiam ajustar a "velocidade" de aprendizado.

Para o modelo pequeno (que é mais ágil), eles usaram uma velocidade de aprendizado mais alta para ele aprender rápido.
Para o modelo grande (que é mais pesado e complexo), eles reduziram a velocidade para garantir que ele não "caísse" ou ficasse instável.
Essa combinação fez com que o método novo não só fosse mais barato, mas também mais inteligente do que os modelos treinados do zero.

Resumo Final

Este artigo apresenta uma nova forma de criar "famílias" de Inteligência Artificial. Em vez de gastar dinheiro e tempo treinando cada tamanho de modelo separadamente, eles ensinam o modelo pequeno e vão "crescendo" ele até ficar gigante.

Resultado: Economiza 25% de dinheiro e tempo.
Qualidade: Os modelos ficam tão bons (ou até melhores) que os treinados do zero.
Vantagem Extra: Todos os modelos da família "pensam" de forma mais parecida, o que facilita o uso em aplicativos do dia a dia e torna a execução mais rápida.

É como aprender a andar de bicicleta: primeiro você usa rodinhas (modelo pequeno), depois tira uma rodinha (modelo médio) e por fim anda livre (modelo gigante). Você não precisa aprender a andar de bicicleta três vezes do zero; você apenas evolui o que já aprendeu.

Resumo Técnico: Construção Eficiente de Famílias de Modelos via Treinamento Progressivo

1. O Problema

Com a popularização dos Grandes Modelos de Linguagem (LLMs), tornou-se prática padrão oferecer famílias de modelos com arquiteturas consistentes, mas com tamanhos de parâmetros variados (ex: 1B, 4B, 8B, 70B). Isso permite atender a diferentes restrições computacionais, desde dispositivos móveis até servidores de grande escala.

No entanto, a abordagem convencional para construir essas famílias é treinar cada modelo independentemente do zero (from scratch).

Custo Computacional: O custo total escala aditivamente com o número de modelos. Treinar uma família de 1B a 8B parâmetros independentemente exige uma quantidade massiva de FLOPs (operações de ponto flutuante).
Ineficiência: Este método desperdiça recursos, pois não aproveita o conhecimento adquirido nos modelos menores para inicializar os maiores, resultando em um custo total que é a soma de todos os treinamentos individuais.

2. Metodologia: Treinamento Progressivo

Os autores propõem um método chamado Treinamento Progressivo, que utiliza a expansão de modelos para construir uma família de forma incremental, reduzindo drasticamente o custo total.

Conceito Central: Em vez de treinar cada modelo do zero, o método treina o menor modelo primeiro e, em seguida, utiliza expansão de modelo para inicializar o próximo modelo maior, usando os parâmetros do modelo anterior como base.
Processo de Expansão:
- Utilizam o método bert2BERT para expansão, que permite aumentar tanto a largura (dimensões ocultas) quanto a profundidade (número de camadas) do Transformer.
- Os pesos são duplicados e esticados para preencher a nova arquitetura maior, servindo como uma inicialização superior ao aleatório.
Alocação de Tokens (Dados de Treino):
- O objetivo é que o custo computacional total do treinamento progressivo seja igual ao custo de treinar apenas o maior modelo da família do zero.
- A quantidade de tokens ( $T$ ) para cada modelo intermediário é calculada de forma que a soma dos FLOPs de todos os estágios iguale os FLOPs do treinamento do maior modelo.
- Exemplo: Se treinar o modelo de 8B do zero custa $X$ , o treinamento progressivo da família (1B, 2B, 4B, 8B) também custará $X$ , mas entregará quatro modelos treinados.
Ajuste de Taxa de Aprendizado (Learning Rate):
- Os autores observaram que modelos menores podem suportar taxas de aprendizado mais altas, enquanto modelos maiores exigem taxas menores para estabilidade.
- Propõem um ajuste estratégico da taxa de aprendizado máxima, diminuindo-a linearmente conforme o tamanho do modelo aumenta (ex: de $1.5 \times 10^{-3}$ para o modelo de 1B até $3.0 \times 10^{-4}$ para o de 8B).

3. Contribuições Principais

Redução de Custo Computacional: Demonstração empírica de que o treinamento progressivo reduz o custo total de construção de uma família de modelos em aproximadamente 25% em comparação com o treinamento independente, mantendo a mesma performance.
Superioridade de Performance: O método não apenas iguala, mas frequentemente supera os modelos treinados independentemente, especialmente quando combinado com o ajuste da taxa de aprendizado.
Consistência Comportamental: Os modelos treinados progressivamente exibem maior consistência entre si (menor divergência de distribuição de probabilidade), o que é crucial para técnicas como speculative decoding.
Validação de Dados Únicos: Os autores provaram que a melhoria não se deve ao uso de mais dados únicos, mas sim à eficiência da inicialização e do processo de treinamento, mesmo quando o total de dados únicos é limitado ao mesmo volume do treinamento do maior modelo.

4. Resultados Experimentais

Os experimentos foram realizados em uma família de modelos de 1B a 8B parâmetros, utilizando a arquitetura Llama e dados do FineWeb-Edu.

Eficiência Computacional:
- O treinamento progressivo alcançou a mesma perda (loss) de treinamento que o método independente, mas com uma redução de 26% a 31% nos FLOPs totais (dependendo do ajuste da taxa de aprendizado).
Desempenho em Benchmarks:
- Os modelos progressivos alcançaram perplexidade (PPL) e acurácia em tarefas downstream (como WinoGrande, PIQA, HellaSwag) comparáveis ou superiores aos modelos independentes.
- O modelo de 8B treinado progressivamente com ajuste de taxa de aprendizado superou consistentemente o modelo independente em todas as métricas.
Consistência e Divergência KL:
- A divergência de Kullback-Leibler (KL) entre modelos adjacentes (ex: 4B vs 8B) foi significativamente menor nos modelos treinados progressivamente. Isso indica que os modelos compartilham mecanismos internos mais similares.
Aplicação Prática (Speculative Decoding):
- Devido à maior consistência, o uso de um modelo "rascunho" (draft) de 4B treinado progressivamente com um gerador de 8B (também progressivo) resultou em uma taxa de aceitação de 93,2% (vs 87,2% no método independente) e reduziu o tempo de inferência em 14,8%.

5. Significado e Impacto

Este trabalho oferece uma solução prática e eficiente para um dos maiores gargalos no desenvolvimento de LLMs: o custo proibitivo de criar famílias de modelos.

Viabilidade Econômica: Permite que pesquisadores e empresas construam famílias completas de modelos com recursos computacionais limitados, aproximando-se do custo de treinar apenas o maior modelo.
Ecossistema de Modelos: A maior consistência entre os tamanhos facilita a implantação flexível (troca dinâmica de tamanho de modelo sem re-treinamento de usuários) e melhora técnicas de aceleração de inferência como speculative decoding.
Futuro da Pesquisa: O método é modular e pode incorporar futuras técnicas de expansão de modelos, sugerindo um caminho escalável para o treinamento de LLMs cada vez maiores e mais diversos.

Em resumo, o artigo valida que o treinamento progressivo via expansão de modelos é uma estratégia superior ao treinamento independente, oferecendo ganhos simultâneos em eficiência computacional, desempenho e consistência comportamental.