💻 computer science

Closed-Form Residual-Space Rotation for Offline Transformer Width Growth

Este artigo propõe uma receita offline para expandir progressivamente a largura de Transformers que combina um Operador de Integração de Pequenos Resíduos (SRIO) de forma fechada com políticas de expansão específicas por bloco e um portão de aquecimento escalar para melhorar significativamente a perda de treinamento e preservar comportamentos aprendidos durante o crescimento do modelo.

Autores originais: Ramasubramanian B

Publicado 2026-08-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ramasubramanian B

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a escrever histórias. Você começa com um robô minúsculo que tem um cérebro muito pequeno. Ele aprende o básico rapidamente, mas é simples demais para escrever uma obra-prima. Para torná-lo melhor, você poderia simplesmente jogar fora o robô pequeno e construir um gigante do zero, mas isso leva uma eternidade e custa uma fortuna em eletricidade. Alternativamente, você poderia tentar "cultivar" o cérebro do robô pequeno, adicionando novos neurônios para torná-lo mais largo e inteligente. Isso é chamado de expansão de modelo.

A parte difícil de cultivar um cérebro é que as novas partes não sabem como conversar com as partes antigas. Se você apenas aparafusar uma nova seção, o cérebro antigo pode ignorá-la, ou o novo cérebro pode acidentalmente embaralhar as memórias que o antigo trabalhou tanto para construir. É como adicionar uma nova asa a uma casa sem conectar o corredor; o novo cômodo está lá, mas ninguém consegue entrar, ou pior, a casa inteira começa a tremer. Cientistas têm tentado descobrir a "cola" perfeita para conectar essas partes antigas e novas do cérebro para que o robô mantenha suas habilidades antigas enquanto aprende novas. Este artigo é sobre encontrar essa cola perfeita.

A Receita para Impulsionar o Cérebro: Uma Nova Maneira de Crescer a IA

O autor deste artigo, Ramasubramanian B, da Tech-Aarvam, criou uma "receita" inteligente para cultivar modelos de IA (cérebros de robôs) offline. Em vez de deixar a IA aprender como crescer enquanto está rodando, eles fazem o trabalho pesado antecipadamente, como um chef preparando os ingredientes antes da chegada dos convidados. O objetivo deles é pegar um modelo menor e expandi-lo para ser mais largo sem perder nenhum do progresso que já havia feito.

Pense no modelo de IA como uma equipe de trabalhadores passando um balde de água em uma linha. A "largura" do modelo é o número de pessoas nessa linha. Quando você adiciona mais pessoas à linha, precisa garantir que as novas pessoas saibam exatamente como segurar o balde e passá-lo adiante sem derramar uma única gota. O artigo sugere que a melhor maneira de fazer isso é com três ingredientes específicos: um truque de rotação especial, regras de crescimento diferentes para tarefas diferentes e um "aquecimento" suave para os novos trabalhadores.

1. O Giro Mágico: SRIO

A estrela do show é algo chamado SRIO (Operador de Integração Residual Pequeno). Imagine que a parte antiga do cérebro e a parte nova do cérebro são dois idiomas diferentes. Quando você adiciona novos neurônios, eles falam um dialeto ligeiramente diferente. Se você apenas os conectar, os neurônios antigos podem não entender os novos, e os novos podem ficar confusos com os antigos.

O SRIO atua como um tradutor que realiza uma "rotação" ou giro preciso nos dados. Ele não altera a informação em si, mas rotaciona a direção dos novos dados para que se alinhem perfeitamente com os dados antigos. Especificamente, ele rotaciona a direção "média" dos novos neurônios em direção aos antigos. Isso faz com que os pesos antigos (as memórias do cérebro) leiam as novas entradas com muito mais força. O autor descobriu que esta rotação é uma solução matemática de forma fechada, o que significa que é uma fórmula fixa que eles podem calcular instantaneamente, em vez de algo que a IA tenha que aprender lentamente. É como ter um mapa pré-fabricado que diz exatamente como virar o novo cômodo para que ele se conecte ao corredor antigo.

2. Regras Diferentes para Trabalhos Diferentes

O artigo descobriu que você não pode tratar cada parte do cérebro da mesma forma. A IA tem dois tipos principais de trabalhadores: trabalhadores de Atenção (que decidem a que prestar atenção) e trabalhadores FFN (que processam a informação).

Para os trabalhadores de Atenção: O autor usou uma "expansão convexa". Imagine pegar os trabalhadores existentes e criar novos através da mistura de suas habilidades, como misturar duas cores de tinta para obter um novo tom. Isso cria novos trabalhadores que são uma mistura suave dos antigos.
Para os trabalhadores FFN: Eles usaram uma "cópia em mosaico" (tiled copy). Isso é como pegar um único trabalhador e fotocopiá-lo para preencher o novo espaço. Como esses trabalhadores lidam com características específicas, copiar diretamente funciona melhor do que misturar.

O artigo mostra que misturar essas duas estratégias — misturar para a atenção e copiar para o processamento — funciona muito melhor do que usar apenas um método para tudo.

3. O Aquecimento Suave

Mesmo com a rotação perfeita e o crescimento correto, os novos trabalhadores podem ser entusiasmados demais e começar a gritar por cima dos antigos imediatamente. Para corrigir isso, o autor adicionou um portão de aquecimento escalar (scalar warmup gate). Pense nisso como um botão de volume. Quando os novos trabalhadores entram, o volume deles é baixado totalmente para zero. Durante um curto período (cerca de 40 milhões de palavras de treinamento), o volume é aumentado lentamente. Isso permite que o cérebro antigo continue fazendo seu trabalho enquanto o novo cérebro aprende lentamente como contribuir sem causar o caos.

O Que Eles Descobriram

O autor testou esta receita crescendo um modelo de uma largura de 256 para 384. Eles compararam o método deles contra duas outras abordagens: não fazer nada de especial (apenas adicionar novas partes aleatórias) e usar um método diferente chamado LiGO (que tenta aprender as regras de crescimento em tempo real).

Os resultados foram claros:

A abordagem de "Não Fazer Nada" resultou em uma perda de treinamento de 4.2527.
A abordagem LiGO (reimplementada em seu código) resultou em uma perda de 4.2606.
A receita completa deles (SRIO + expansão específica + aquecimento) alcançou uma perda de 4.2111.

No mundo do treinamento de IA, um número de "perda" (loss) mais baixo significa que o modelo está cometendo menos erros. Portanto, o método deles foi o vencedor claro, superando os outros por uma margem perceptível. Eles também mostraram que isso funciona mesmo quando o modelo é crescido várias vezes, levando-o de 24 milhões de parâmetros até chegar a 120 milhões de parâmetros, provando que é uma receita que pode ser usada repetidamente.

O Que Eles Descartaram

O artigo também testou várias outras ideias para ver se funcionavam. Eles testaram diferentes tamanhos do operador de rotação (versões Média e Grande) e descobriram que a versão "Pequena" (SRIO) era tão boa quanto, se não melhor, e muito mais simples. Eles também testaram se a IA deveria aprender as regras de rotação durante o treinamento (um modo de "aprendizado") versus usar sua fórmula matemática fixa (um modo "estático"). Eles descobriram que a fórmula estática, pré-calculada, funcionava tão bem quanto aquela que a IA tentava aprender, o que significa que você não precisa perder tempo ensinando a IA como crescer; você pode apenas dar as instruções.

Por Que Isso Importa

A beleza deste método é que ele é offline. A matemática complexa e as rotações acontecem antes do modelo começar a treinar novamente. Uma vez que o modelo é crescido, os truques de rotação especiais são "dobrados" nos pesos do modelo e desaparecem. Isso significa que a IA não precisa de nenhum poder computacional extra para rodar; ela é apenas uma versão ligeiramente maior e mais inteligente da original que aprendeu de forma mais rápida e barata.

Em resumo, o autor encontrou uma maneira de adicionar novos cômodos a uma casa sem derrubar as paredes ou confundir os moradores. Ao usar um giro matemático preciso, misturar as estratégias de expansão corretas e aumentar o volume lentamente, eles mostraram que é possível cultivar modelos de IA de forma eficiente, economizando tempo e energia enquanto mantém a inteligência do modelo intacta.

Resumo Técnico: Rotação de Espaço Residual de Forma Fechada para Crescimento de Largura de Transformers Offline

Declaração do Problema

O treinamento progressivo de modelos visa reduzir custos computacionais e o tempo de execução (wall-clock time) ao iniciar com um modelo menor e expandi-lo para o tamanho desejado ao longo de múltiplos estágios. No entanto, a expansão de largura apresenta um desafio crítico: equilibrar a preservação dos comportamentos previamente aprendidos com a eficácia de aprendizado dos novos parâmetros. Se a interação entre os subespaços antigos e novos for muito limitada, os pesos pré-treinados contribuem pouco para as novas entradas; se forem misturados sem controle, a expansão pode interromper a função aprendida. Métodos existentes focam primariamente em transformações de preservação de função ou operadores de crescimento aprendidos, frequentemente negligenciando a interação geométrica específica entre as direções de "todos os uns" (média) dos subespaços antigos e novos.

Metodologia

O autor propõe uma receita de crescimento offline composta por três componentes principais projetados para gerenciar a transição de uma largura menor ( $d_{old}$ ) para uma largura maior ( $d_{new}$ ).

1. Operador de Integração de Pequeno Resíduo (SRIO)

A inovação central é uma rotação ortogonal offline de forma fechada aplicada nas fronteiras residuais de entrada e saída dos blocos de transformer.

Mecanismo: O SRIO opera no plano bidimensional gerado pelos vetores unitários de todos os uns dos subespaços antigos ( $u_{old}$ ) e novos ( $u_{grow}$ ).
Transformação:
- Lado de Saída: Rotaciona o componente do subespaço antigo ao longo de $u_{old}$ em direção a $u_{grow}$ .
- Lado de Entrada: Aplica a rotação inversa, rotacionando o componente do novo subespaço ao longo de $u_{grow}$ em direção a $u_{old}$ . Isso melhora a "força de leitura" dos pesos antigos para as novas entradas.
Solução de Forma Fechada: O operador é definido por uma matriz de soma de linhas $2 \times 2$ compacta ( $RSIO_{2\times2}$ ) derivada de um único hiperparâmetro $\epsilon$ . Este parâmetro controla o ganho do novo bloco de entrada ( $RT_{new} = \epsilon$ ). Um $\epsilon$ mais baixo rotaciona agressivamente a direção média do novo subespaço em direção ao subespaço antigo, priorizando o uso dos pesos existentes enquanto limita a influência dos novos pesos sobre as entradas antigas e novas.
Transformação de LayerNorm: A mesma matriz ortogonal ( $SRIO\_R$ ) é aplicada aos parâmetros de escala ( $\gamma$ ) e deslocamento ( $\beta$ ) do LayerNorm para aumentar as razões de RMS de gradiente em favor dos novos blocos.

2. Políticas de Expansão Estáticas Específicas por Bloco

O autor descobriu que os blocos de Atenção e de Rede Feed-Forward (FFN) se beneficiam de estratégias de expansão distintas:

Blocos de Atenção: Utilizam uma expansão convexa (inspirada pelo LiGO). Novas colunas de entrada e linhas de saída são criadas via combinações convexas das colunas e linhas existentes usando coeficientes não negativos que somam um.
Blocos FFN: Utilizam uma estratégia de cópia por blocos (tiled-copy). Os pesos antigos são replicados e recortados na porção "novo-novo" das matrizes de pesos para ambas as camadas de projeção ascendente ($fc1$) e projeção descendente ($fc2$). Isso preserva a função dos neurônios existentes enquanto os replica.

3. Portão de Warmup Escalar

Um portão escalar ( $new\_dim\_alpha\_gate$ ) é aplicado na saída dos blocos de atenção e FFN antes da adição residual.

Função: Ele começa em zero e aumenta gradualmente para um ao longo de uma curta duração inicial de treinamento (2 shards, aprox. 40 milhões de tokens).
Propósito: Isso favorece inicialmente a preservação da função ao suprimir as novas saídas, introduzindo gradualmente a nova parte do fluxo residual.

Contribuições Principais e Configuração Experimental

O estudo avalia esses componentes usando um protocolo de treinamento progressivo nos datasets OpenWebText, FineWeb e FineWeb-Edu. Os modelos variam de 24M a 120M de parâmetros, com um comprimento de contexto de 256 tokens. O treinamento segue uma contagem de tokens otimizada pela Chinchilla (20x a contagem de parâmetros) por estágio.

Variantes Comparativas:
O artigo avalia vários variantes do Operador de Integração Residual (RIO):

NRIO: Sem operador (baseline).
SRIO: Pequeno RIO (proposto de forma fechada).
MRIO: Médio RIO (considera múltiplos estágios/idades de crescimento).
LRIO: Grande RIO (totalmente denso, aprendido ao longo de 100 passos, similar ao LiGO).

Resultados

Em experimentos correspondentes crescendo a largura residual de 256 para 384 ( $d256 \to d384$ ):

Desempenho: A receita completa (SRIO + expansão específica por bloco + warmup gate) alcançou uma perda de treinamento de 4.2111.
Baselines: Isso superou o baseline sem operador (4.2527) e uma reimplementação dos controles do LiGO (4.2606) dentro do mesmo código.
Comparação de Operadores: Entre os operadores, a ordenação de desempenho foi geralmente $NRIO > LRIO > SRIO$. A variante ortogonal aprendida (SRIO-LO) teve um desempenho ligeiramente superior à variante ortogonal estática (SRIO-SO), mas a diferença estava dentro da faixa de variabilidade de semente (seed) entre execuções, sugerando que a solução estática de forma fechada é suficiente.
Viabilidade Multi-Estágio: O método foi aplicado com sucesso a repetidos estágios de crescimento de 24M para 120M de parâmetros, demonstrando viabilidade para escalonamento progressivo.
Impacto dos Componentes: O operador SRIO e as políticas de expansão específicas por bloco forneceram o impacto positivo mais significativo. O warmup gate mostrou benefícios dependentes de configuração, sendo mais útil com LRIO e menos crítico quando combinado com SRIO.

Significância e Alegações

O artigo afirma que o método proposto oferece uma alternativa computacionalmente eficiente aos operadores de crescimento aprendidos. Ao derivar uma rotação ortogonal de forma fechada (SRIO) que visa especificamente a interação entre as direções médias antiga e nova, o autor alcança a preservação da função e melhora a eficácia de aprendizado sem o overhead de tempo de execução de operadores aprendidos durante a fase de expansão.

O autor enfatiza que:

Eficiência Offline: O SRIO e as políticas de expansão são incorporados aos pesos do modelo offline, não exigindo operadores de tempo de execução persistentes durante o treinamento ou inferência (apenas o breve warmup gate está ativo).
Interação de Subespaços: O trabalho destaca a importância de gerenciar a relação geométrica entre os subespaços antigo e novo, especificamente as direções de "todos os uns", para evitar que os novos parâmetros dominem a função aprendida ou permaneçam isolados.
Escopo Modesto: O estudo é limitado à expansão de largura (não de profundidade), usa um vocabulário específico (GPT-2 BPE) e opera em modelos de até 120M de parâmetros. O autor observa que a verificação em escalas de bilhões de parâmetros e com diferentes vocabulários permanece como trabalho futuro. O autor também reconhece que, embora o método funcione bem, o impacto específico dos desvios residuais no ajuste fino (SFT) requer mais estudos.