🤖 machine learning

RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers

O RecurrentGPT introduz uma arquitetura de transformer de profundidade recorrente que itera uma única camada central compartilhada com modulação por portão, alcançando precisão e eficiência de memória superiores em comparação com transformers profundos padrão ao trocar efetivamente a contagem de parâmetros pelo reuso de profundidade adaptativo.

Autores originais: Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A inteligência artificial moderna atingiu um ponto em que tornar os modelos mais inteligentes muitas vezes significa torná-los mais pesados. Para compreender uma frase ou escrever uma história, esses sistemas dependem de vastas redes de conexões matemáticas, conhecidas como parâmetros. Em designs padrão, cada etapa do processo de pensamento utiliza um conjunto único dessas conexões. Essa abordagem funciona bem, mas cria um fardo pesado: para adicionar mais profundidade ao raciocínio, os engenheiros precisam adicionar mais memória, o que rapidamente se torna caro e difícil de gerenciar em hardware físico. Existe uma tensão crescente entre o desejo por um pensamento profundo e complexo e os limites físicos da memória do computador.

Por décadas, cientistas sabem que repetir o mesmo processo simples repetidamente pode resolver problemas incrivelmente complexos. Essa ideia, enraizada no trabalho fundamental de Alan Turing, sugere que um sistema não precisa de uma biblioteca massiva de ferramentas únicas para pensar; ele pode alcançar a inteligência aplicando uma única ferramenta refinada repetidamente. Embora os modelos de linguagem modernos tenham se afastado amplamente desse estilo repetitivo em favor do empilhamento de muitas camadas diferentes, uma nova abordagem busca trazer de volta o poder da repetição, não retardando o sistema, mas tornando a repetição mais inteligente. O objetivo é criar um modelo que possa "pensar" mais profundamente sem precisar armazenar mais partes únicas.

Pesquisadores da Universidade Alemã de Cairo, da Universidade Técnica de Munique e da Cerebras Systems desenvolveram uma nova arquitetura chamada RecurrentGPT para resolver este problema. Em vez de construir uma longa cadeia de camadas únicas, eles projetaram um sistema com um conjunto pequeno e fixo de camadas que são reutilizadas várias vezes. Imagine uma linha de montagem de uma fábrica onde um único trabalhador altamente qualificado realiza uma tarefa, depois passa o produto para si mesmo para refiná-lo, e então o passa de volta novamente. Neste novo sistema, o "trabalhador" é um bloco compartilhado do cérebro do modelo. Ele processa a entrada, depois pega sua própria saída e a processa novamente, e novamente, por um número definido de vezes. Isso permite que o modelo realize o trabalho de um sistema muito maior enquanto armazena apenas uma fração das partes únicas.

No entanto, simplesmente repetir o mesmo processo cria um novo problema: se o trabalhador fizer exatamente a mesma coisa todas as vezes, o produto nunca mudará verdadeiramente. Os pesquisadores descobriram que, sem um mecanismo para variar o processo, as etapas repetidas colapsariam em uma única transformação inútil. Para corrigir isso, eles introduziram um portão dinâmico (dynamic gate) — um mecanismo de tomada de decisão aprendido que controla quanto da nova informação substitui a antiga. Este portão observa o estado atual do modelo, a entrada original e uma pequena quantidade de ruído aleatório para decidir exatamente o que manter e o que atualizar em cada etapa. Isso garante que, mesmo que os mesmos pesos sejam usados repetidamente, o modelo se comporte de forma diferente a cada turno, permitindo que ele especialize seu pensamento à medida que se aprofunda.

Os resultados desta abordagem são impressionantes. Quando testado sob restrições rigorosas onde a quantidade total de poder computacional usado para treinar e rodar o modelo foi mantida igual à de modelos padrão maiores, o novo sistema desempenhou tão bem quanto eles. Em um teste específico, um modelo com apenas três camadas de pesos únicos, repetido dez vezes, igualou a precisão de um modelo padrão de doze camadas. Isso significa que o novo design alcançou a mesma qualidade utilizando 64 por cento menos parâmetros únicos. Quando os pesquisadores permitiram que o modelo usasse mais poder computacional durante o processo de pensamento, mas manteve o número de partes armazenadas o mesmo, o sistema repetido na verdade superou o padrão, mostrando que profundidade e repetição podem ser uma forma poderosa de melhorar a inteligência sem inflar os custos de memória.

O sistema também descobriu um efeito colateral útil por conta própria. Como o modelo foi treinado para ser capaz de parar em qualquer ponto de seu ciclo de repetição, ele aprendeu a produzir respostas de alta qualidade mesmo se parasse precocemente. Isso permite que o sistema atue como um controle deslizante de velocidade versus qualidade: ele pode fornecer uma resposta rápida e bruta em uma fração do tempo, ou gastar mais ciclos para refinar essa resposta em algo mais preciso, tudo a partir do mesmo modelo treinado. Esta flexibilidade é rara nos sistemas atuais, que geralmente exigem modelos separados para diferentes velocidades.

Em termos práticos, isso significa que um dispositivo com memória limitada poderia rodar um modelo de linguagem muito mais capaz do que consegue atualmente. Os pesquisadores mediram que sua versão de larga escala exigiu 59 por cento menos memória de pico durante a geração do que um modelo padrão de capacidade semelhante. Embora o tempo para gerar texto tenha aumentado ligeiramente devido às etapas repetidas, a troca é significativa para ambientes onde a memória é o gargalo. O estudo sugere que o futuro da inteligência artificial eficiente pode não residir na construção de cérebros maiores e mais pesados, mas em ensinar cérebros menores a pensar mais profundamente ao revisitar seus próprios pensamentos.

Resumo Técnico: RecurrentGPT

Declaração do Problema

Escalar modelos de linguagem transformer cria uma tensão fundamental entre expressividade e eficiência de memória. Arquiteturas padrão acoplam profundidade e parâmetros de forma rígida; cada camada adicional introduz um conjunto único de pesos, criando um gargalo de memória que limita a profundidade efetiva sob orçamentos de hardware fixos. Inversamente, estratégias de compartilhamento de pesos padrão (ex: compartilhar todas as camadas através da profundidade) impõem transformações uniformes em representações em evolução. Essa abordagem estática colapsa a diversidade funcional que torna a profundidade valiosa, pois o estado oculto após a primeira recorrência difere fundamentalmente do estado após a oitava, embora ambos sejam forçados através da mesma transformação estática.

O artigo postula que o poder de um sistema de raciocínio reside não na amplitude dos parâmetros, mas na profundidade da iteração (citando Turing [2] e paradigmas modernos de computação em tempo de teste [3–5]). O desafio é alcançar um refinamento iterativo profundo das representações de entrada sem o custo de memória de pesos únicos para cada camada, evitando ao mesmo tempo o colapso representacional causado pelo simples compartilhamento de pesos.

Metodologia: Arquitetura RecurrentGPT

Os autores propõem o RecurrentGPT, um transformer de profundidade recorrente que desacopla a profundidade do modelo da contagem de parâmetros ao iterar um núcleo compartilhado, cercando-o com blocos fixos de prelúdio e coda.

1. Layout da Arquitetura

O modelo segue uma configuração $n_{pre} + n_{rec} \times R + n_{coda}$ :

Prelúdio ( $n_{pre}$ blocos): Aplicado uma única vez para gerar um sinal de condicionamento estável e consciente do contexto ( $h^{(pre)}$ ) a partir da entrada.
Núcleo Compartilhado ( $n_{rec}$ blocos): Um conjunto de blocos transformer aplicados recorrentemente $R$ vezes. Ao contrário do compartilhamento de pesos padrão, este núcleo não é aplicado uniformemente; ele é modulado a cada etapa.
Coda ( $n_{coda}$ blocos): Processa o estado final refinado para produzir logits.

A contagem total de parâmetros únicos escala como $\Theta((n_{pre} + n_{rec} + n_{coda}) \cdot d^2)$ , independente da contagem de recorrência $R$ .

2. Gating Adaptativo e Projeção Recorrente

Para evitar o colapso representacional e permitir que um único tensor de pesos se comporte como múltiplas camadas especializadas, o RecurrentGPT introduz um gate aprendido por elemento e uma projeção recorrente.

Em cada etapa de recorrência $r$ :

Preparação da Entrada: O estado oculto anterior $h^{(r-1)}$ é projetado junto com o prelúdio fixo $h^{(pre)}$ e ruído estocástico injetado $\epsilon_x$ .
$\tilde{h}^{(r)} = W_{proj} [h^{(r-1)} + \epsilon_x, h^{(pre)}]$
Transformação Compartilhada: Os blocos compartilhados ( $B_{shared}$ ) processam esta entrada para produzir uma proposta $o^{(r)}$ .
$o^{(r)} = B_{shared}(\tilde{h}^{(r)})$
Gating Elementwise: Um gate aprendido $g^{(r)}$ determina quanto da proposta substitui o estado atual. O gate é condicionado no estado normalizado atual, no prelúdio normalizado e no ruído injetado $\epsilon_g$ .
$g^{(r)} = \sigma(f_{gate}([LN(h^{(r-1)}), LN(h^{(pre)})]/\tau + \epsilon_g))$
$h^{(r)} = g^{(r)} \odot h^{(r-1)} + (1 - g^{(r)}) \odot o^{(r)}$

Escolhas de Design Chave:

Inicialização: O viés do gate é inicializado para $+4$ , resultando em $g^{(r)} \approx 0.98$ no início do treinamento. Isso garante que o fluxo residual passe quase inalterado inicialmente, permit vez de o modelo aprender quais elementos sobrescrever gradualmente.
Ruído: Ruído aditivo ( $\epsilon_x$ ) e ruído de gate ( $\epsilon_g$ ) evitam padrões de correspondência exata frágeis e o colapso do gate.
Amostragem de Profundidade: Durante o treinamento, a profundidade de recorrência $r$ é amostrada uniformemente de $\{1, \dots, R\}$ . Isso treina implicitamente cada ponto de saída, permitindo a saída antecipada emergente (emergent early exit) na inferência sem perdas auxiliares.

Principais Contribuições

Arquitetura: O RecurrentGPT utiliza gating por elemento e perturbações estocásticas para evitar o colapso representacional, permitindo que um núcleo compartilhado se comporte distintamente através das etapas de recorrência.
Avaliação Unificada: O modelo é avaliado sob regimes de isoFLOPS (iguala o computo, reduz os parâmetros) e isoPARAMS (iguala os parâmetros, aumenta o computo).
- isoFLOPS: O RecurrentGPT lidera a Mistura de Recorrências (MoR) e a amostragem de profundidade de cauda pesada em todas as nove células de escala por orçamento. Em pequena escala, ele iguala a linha de base densa do GPT-2 Small usando 64% menos parâmetros. Em escala média e grande, ele se aproxima da qualidade densa conforme o orçamento de tokens cresce.
- isoPARAMS: Uma recorrência mais profunda gera ganhos consistentes de perda de validação (ex: 2.76 vs 2.84 para um contraparte não recorrente com contagem de parâmetros igual).
Saída Antecipada Emergente: Sem perdas auxiliares, o modelo suporta naturalmente a saída antecipada durante a inferência, retendo $\sim92\%$ de sua precisão ao executar apenas metade de suas etapas de recorrência.

Resultados Experimentais

Desempenho: Sob restrições de isoFLOPS, um RecurrentGPT de 3 camadas iguala a precisão de uma linha de base densa de 12 camadas do GPT-2 Small. Em escala média (equivalente a 24 camadas), ele atinge uma perda de validação de 2.89 comparado à perda de 2.84 da linha de base densa, enquanto usa apenas 124M de parâmetros vs. 354M.
Eficiência: Sob isoFLOPS, o modelo armazena apenas 36–37% dos parâmetros únicos da linha de base densa.
Tarefas de Downstream: Em benchmarks de larga escala, a variante isoPARAMS supera a linha de base densa em 8 de 9 tarefas, com uma melhoria média de +2.10 pontos. A variante isoFLOPS iguala o desempenho médio da linha de base (42.08 vs. 42.05) com apenas 37% dos parâmetros.
Latência e Memória: Sob torch.compile, o RecurrentGPT-Large incurre em apenas um aumento de 10% na latência de geração enquanto reduz a memória GPU de pico em 59% e os parâmetros em 63%.
Insights Mecanísticos: A análise revela uma estratégia de computação de duas fases:
- Etapas Iniciais (Pesadas em Escrita): O gate está mais aberto, e o modelo realiza uma reestruturação rápida, resolvendo ~77% da redução de perda nas duas primeiras etapas.
- Etapas Tardias (Pesadas em Cópia): O gate se fecha, e o modelo realiza correções direcionadas.
- Roteamento de Tokens: O modelo aloca implicitamente mais computação para tokens difíceis (aqueles com alta perda inicial) sem sinais explícitos de roteamento.

Significância e Alegações

O artigo alega que o reuso adaptativo de profundidade é uma estratégia fundamentada para trocar parâmetros por qualidade. Ao condicionar a recorrência no estado oculto atual, no prelúdio fixo e no ruído, o modelo alcança diversidade funcional sem pesos únicos.

Os autores enfatizam que o RecurrentGPT resolve a tensão entre eficiência de memória e expressividade ao permitir que um único tensor de pesos se comporte como múltiplas camadas especializadas. Os resultados demonstram que:

Eficiência de Parâmetros: Reduções significativas de parâmetros (até 63%) podem ser alcançadas com overhead de latência mínimo.
Tradeoff Computação-Qualidade: A arquitetura permite um tradeoff contínuo entre velocidade de inferência e qualidade via saída antecipada, com um único checkpoint servindo múltiplos pontos operacionais.
Leis de Escala: A abordagem melhora as leis de escala para perda versus contagem de parâmetros e perda versus FLOPs de treinamento, mostrando ganhos consistentes em pequenas, médias e grandes escalas.

O artigo conclui que, embora a implementação atual utilize profundidade de recorrência fixa na inferência, o mecanismo de gating aprendido fornece uma base robusta para trabalhos futuros em interrupção dinâmica por token e destilação de conhecimento.