🤖 machine learning

Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior

Este artigo apresenta o Latent Recurrent Transformer (LRT), uma arquitetura leve que aprimora modelos autoregressivos ao reutilizar estados ocultos de alto nível como memória recorrente sem aumentar a profundidade de inferência, e propõe uma estratégia de treinamento intercalada e paralela para escalar eficientemente essa abordagem, resultando em melhorias no modelamento de linguagem e no desempenho de aprendizado em contexto com sobrecarga mínima de parâmetros.

Autores originais: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a escrever uma história, uma palavra de cada vez. Na maneira padrão de fazer isso (chamada de "Transformador Autoregressivo"), o robô observa as palavras que já escreveu, pensa sobre elas e, em seguida, escolhe a próxima palavra. Assim que escolhe essa palavra, ele avança imediatamente. É como uma linha de montagem de fábrica: cada item recebe uma passagem rápida pela máquina e, então, está concluído.

O artigo apresenta uma nova ideia chamada Transformador Recorrente Latente (LRT). Eis como funciona, usando analogias simples:

1. O Problema: A "Amnésia" da Linha de Montagem

No robô padrão, assim que ele termina de processar uma palavra, esquece os pensamentos profundos e de alto nível que teve sobre essa palavra. Ele mantém apenas uma "nota" básica (o estado oculto) para ajudar com a próxima palavra. Se o robô precisar lembrar de uma ideia complexa de algumas palavras atrás para entender a frase atual, terá que revirar uma pilha de notas básicas. É como tentar lembrar de uma reviravolta do enredo de um filme olhando apenas os ingressos, e não as cenas reais.

2. A Solução: O "Caderno Inteligente" (LRT)

O LRT fornece ao robô um caderno inteligente.

Como funciona: Quando o robô termina de processar a palavra nº 1, ele não joga fora seus pensamentos profundos. Em vez disso, escreve um "resumo de alto nível" desses pensamentos em seu caderno.
A Magia: Quando começa a trabalhar na palavra nº 2, ele imediatamente abre esse caderno e lê o resumo da palavra nº 1. Usa esse resumo como um "impulso de memória" para ajudar a processar a palavra nº 2.
O Resultado: O robô obtém uma segunda opinião de seu eu passado sem precisar parar a linha de montagem ou fazer trabalho extra. É como um chef que, enquanto pica o próximo vegetal, lança um olhar às anotações que acabou de fazer sobre o vegetal anterior para garantir que o perfil de sabor permaneça consistente.

3. O Truque: Como Aprender Sem Ficar Preso

Você pode perguntar: "Se o robô precisa ler o caderno do passado para aprender, isso não significa que ele tem que esperar o passado terminar antes de começar o futuro? Isso tornaria o treinamento super lento!"

Geralmente, sim. Se você tentar ensinar um robô a aprender passo a passo (palavra 1, depois palavra 2, depois palavra 3), perde a capacidade de fazer tudo de uma vez (paralelismo), o que faz o treinamento levar uma eternidade.

Os autores inventaram um truque de treinamento engenhoso chamado Treinamento Paralelo Intercalado. Pense nisso como um revezamento com um toque diferente:

Passo 1 (O Aquecimento): O robô percorre toda a corrida (a frase inteira) em velocidade normal apenas para obter um rascunho grosseiro das anotações.
Passo 2 (O Revezamento): Em vez de correr a corrida inteira novamente, o robô divide a corrida em dois grupos de corredores: os corredores "Pares" e os corredores "Ímpares".
- Primeiro, os corredores "Pares" têm a chance de olhar as anotações dos corredores "Ímpares" (que terminaram o aquecimento) e melhorar seu próprio desempenho.
- Em seguida, os corredores "Ímpares" olham as anotações melhoradas dos corredores "Pares" e melhoram as suas.
O Benefício: Dessa forma, cada palavra tem a chance de aprender com seus vizinhos, mas o computador ainda pode fazer grande parte do trabalho ao mesmo tempo. É como um grupo de estudantes estudando juntos: eles não esperam que uma pessoa termine o livro inteiro; eles trocam anotações em pequenos grupos para aprender mais rápido.

4. Os Resultados: Mais Inteligente por Menor Custo

O artigo testou esse novo robô contra o robô padrão antigo.

Eficiência: O novo robô (LRT) aprendeu a escrever melhor (taxas de erro mais baixas) e entendeu melhor o contexto (melhor em responder perguntas) do que o robô antigo, mesmo quando receberam a mesma quantidade de "poder cerebral" (tempo de computação).
Pequena Atualização: O novo robô precisou adicionar apenas uma quantidade minúscula de memória extra (cerca de 0,3% a mais de tamanho) para obter essas grandes melhorias. É como adicionar um pequeno e poderoso GPS a um carro em vez de comprar um motor totalmente novo.
O Ponto Ideal: Eles descobriram que o melhor "caderno" não era o pensamento mais recente do robô (que estava muito focado apenas na próxima palavra), mas um pensamento do meio de seu cérebro. Era de alto nível o suficiente para ser útil, mas não muito especializado.

Resumo

O Transformador Recorrente Latente é uma maneira de tornar os modelos de IA mais inteligentes, permitindo que eles reutilizem seus próprios "pensamentos de alto nível" da palavra anterior para ajudar a processar a próxima palavra. Eles alcançaram isso sem desacelerar o processo de treinamento, usando um método engenhoso de "revezamento" para ensinar o modelo. O resultado é um modelo que aprende mais rápido e performa melhor sem precisar ser muito maior.

Resumo Técnico: Transformer Recorrente Latente (LRT)

Declaração do Problema

Os transformers autoregressivos são o padrão para modelagem de linguagem, mas dependem de computações feedforward de profundidade fixa para cada token gerado. Embora a recorrência possa teoricamente aumentar a capacidade computacional para refinamento iterativo, as abordagens existentes introduzem custos significativos de inferência. Métodos que adicionam recorrência em profundidade (aplicando blocos repetidamente ao mesmo token) ou em tempo (inserindo tokens de pausa ou pensamento) aumentam a latência de inferência por meio de etapas de decodificação adicionais ou aplicações de blocos.

Os autores observam que a decodificação autoregressiva já computa sinais recorrentes de alto nível "de graça": os estados ocultos do token anterior. Especificamente, estados de camadas superiores treinados para previsão do próximo token contêm contexto latente útil. A questão central de pesquisa é se essas representações de alto nível já computadas do token anterior podem ser reutilizadas como memória recorrente para o próximo token sem adicionar etapas de decodificação extras.

Metodologia

Arquitetura: Transformer Recorrente Latente (LRT)

O LRT é um aprimoramento leve de transformers autoregressivos padrão que introduz um caminho latente entre camadas e entre tokens.

Mecanismo: Na posição do token $t$ , o LRT reutiliza um estado oculto de uma camada fonte da posição anterior, $m_{t-1} = h^{\ell_{src}}_{t-1}$ , como memória recorrente. Aqui, $\ell_{src}$ é uma camada fonte selecionada (tipicamente uma camada médio-superior).
Injeção: A memória $m_{t-1}$ $m_{t - 1}$ é injetada nas camadas do transformer do token atual $t$ $t$ por meio de dois mecanismos complementares:
1. Projeção KV: Projeta a memória nos espaços de chave-valor da atenção ( $\tilde{k}_{rec}, \tilde{v}_{rec}$ ) e combina-os com chaves/valores locais usando portas dependentes da entrada. Isso fornece uma rota direta para a representação do token anterior no mecanismo de atenção.
2. Injeção Residual: Adiciona a memória diretamente ao fluxo residual ( $\bar{x}^{(\ell)}_t = \alpha_\ell x^{(\ell)}_t + \gamma_\ell m_{t-1}$ ), expondo todo o bloco ao sinal recorrente.
Eficiência de Inferência: Crucialmente, o LRT preserva a espinha dorsal apenas do decodificador, o mecanismo de atenção e a interface de cache KV padrão. Não insere tokens de memória, tokens de pausa ou loops de profundidade. Cada token gerado ainda utiliza exatamente uma passagem forward normal do transformer, com o estado recorrente sendo simplesmente atualizado e passado para a próxima etapa. A variante padrão adiciona apenas 0,3% de parâmetros.

Estratégia de Treinamento: Treinamento Paralelo Intercalado

Um grande desafio é pré-treinar essa recorrência em escala. O treinamento exato exigiria desenrolar sequencialmente o transformer sobre toda a sequência (Backpropagation Through Time), destruindo o paralelismo essencial para o pré-treinamento eficiente de transformers. O treinamento em blocos (processando blocos contíguos sequencialmente) preserva algum paralelismo, mas propaga memória apenas através das fronteiras dos blocos, oferecendo uma aproximação grosseira.

Os autores introduzem o Treinamento Paralelo Intercalado para aproximar a recorrência ao nível do token, mantendo o cálculo paralelo:

Passagem de Inicialização: Uma única passagem forward de sequência completa constrói um buffer compartilhado contendo chaves, valores e estados recorrentes de camadas fonte para todas as posições.
Passagens de Refinamento: As posições da sequência são particionadas em $S$ subconjuntos disjuntos (por exemplo, partições com passo). Esses subconjuntos são refinados em paralelo.
Gravação de Volta: Estados atualizados de um subconjunto são gravados de volta no buffer compartilhado. Subconjuntos subsequentes podem consumir a memória refinada de subconjuntos anteriores.
Objetivo: A perda é a média da perda de inicialização e das perdas de refinamento para cada subconjunto.

Essa estratégia garante que cada token receba um passo de supervisão consciente da memória recorrente. Em termos de computação, custa aproximadamente 2× uma atualização padrão de transformer (uma inicialização + um refinamento efetivo), mas imita a recorrência ao nível do token mais de perto do que o treinamento em blocos.

Contribuições Principais

Arquitetura LRT: Uma extensão recorrente leve que reutiliza estados ocultos de alto nível de camadas fonte do token anterior como memória, permitindo recorrência entre camadas sem etapas de decodificação extras ou alterações arquitetônicas na interface de cache KV.
Treinamento Paralelo Intercalado: Uma aproximação de treinamento paralelo que refina subconjuntos disjuntos de tokens para imitar a recorrência ao nível do token sob um orçamento de treinamento fixo, evitando o desenrolamento sequencial exigido pelo treinamento estilo RNN padrão.
Validação Empírica: Demonstração de que o LRT melhora o compromisso entre computação e qualidade em vários tamanhos de modelo e orçamentos de tokens por parâmetro, com a variante padrão de projeção compartilhada adicionando uma sobrecarga mínima de parâmetros (0,3%).

Resultados

Os experimentos foram conduzidos em backbones GPT estilo nanochat (20L e 24L camadas) pré-treinados no FineWeb-Edu.

Comportamento de Escala: Sob computação de treinamento equivalente à linha de base (considerando o custo 2× do treinamento intercalado), o LRT desloca as curvas de escala para Bits por Byte (BPB) mais baixos e CORE mais altos (uma métrica para aprendizado em contexto em 22 tarefas).
Ganhos de Desempenho:
- No backbone de 24L em computação equivalente à linha de base 80, o LRT-shared alcançou 0,695 BPB comparado aos 0,699 da linha de base.
- O aprendizado em contexto (CORE) também melhorou; no backbone de 20L em computação 80, o LRT-shared atingiu 0,274 versus 0,271 da linha de base.
Descobertas de Ablação:
- Camada Fonte: Uma camada médio-superior (por exemplo, camada 12 em um modelo de 20L) desempenha melhor do que a camada final, sugerindo que a memória útil deve ser de alto nível, mas não excessivamente especializada para logits.
- Fonte Temporal: O estado imediatamente anterior ( $m_{t-1}$ ) é a única fonte de memória mais forte que preserva a restrição de uma única passagem forward.
- Injeção: A Projeção KV e a Injeção Residual são complementares; usar ambas produz os melhores resultados.
- Treinamento: O treinamento paralelo intercalado supera significativamente o treinamento em blocos, que fornece uma aproximação mais grosseira da recorrência.

Significado e Afirmações

O artigo afirma que o LRT desloca com sucesso o compromisso entre computação e qualidade para transformers autoregressivos. Ao reutilizar sinais de alto nível "gratuitos" do token anterior e treiná-los por meio de uma aproximação paralela, o LRT permite refinamento iterativo e melhor utilização de contexto sem as penalidades de latência de inferência de métodos de recorrência em profundidade ou tokens de pausa.

Os autores enfatizam que o LRT é um aprimoramento leve que preserva a interface padrão do transformer. Os ganhos são atribuídos ao próprio mecanismo de memória recorrente, e não simplesmente à adição de parâmetros ou portas extras, pois adições arquitetônicas genéricas (como atenção com portas ou escalonamento de camadas) na mesma linha de base forte produziram melhorias negligenciáveis. O trabalho sugere que a memória recorrente útil deve ser de alto nível, mas não a camada final especializada em logits, e que a recorrência ao nível do token pode ser efetivamente aproximada em paralelo durante o pré-treinamento.