🤖 machine learning

Simply Stabilizing the Loop via Fully Looped Transformer

O artigo propõe o Fully Looped Transformer, uma arquitetura sem parâmetros que estabiliza a dinâmica de treinamento e melhora o desempenho em tarefas subsequentes ao introduzir uma estrutura totalmente em loop e injeção de atenção para mitigar a oscilação do gradiente e a explosão residual em blocos de Transformer reutilizados iterativamente.

Autores originais: Rao Fu, Zixuan Yang, Jiankun Zhang, Jing Ma, Hechang Chen, Yu Li, Yi Chang

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rao Fu, Zixuan Yang, Jiankun Zhang, Jing Ma, Hechang Chen, Yu Li, Yi Chang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: A Estratégia de "Reler"

Imagine que você está tentando resolver um problema de matemática muito difícil. Você tem um amigo inteligente (o modelo de IA) que é brilhante, mas tem uma memória limitada.

Geralmente, para tornar seu amigo mais inteligente, você contrata mais amigos (adiciona mais parâmetros) ou dá a eles um caderno maior (aumenta o comprimento do contexto). Mas há um problema: estamos ficando sem livros didáticos de alta qualidade (dados) para ensiná-los, e contratar mais amigos fica caro demais.

A Ideia do Loop:
Em vez de contratar mais pessoas, e se você apenas pedisse ao mesmo amigo para ler o problema, pensar sobre ele e depois lê-lo novamente? Este é o Transformer em Loop. Ele pega o mesmo conjunto de células cerebrais (camadas), permite que elas pensem e, em seguida, devolve o resultado ao início do cérebro para pensar novamente.

O Benefício: Você obtém uma resposta mais inteligente sem contratar novas pessoas ou comprar um caderno maior. Você apenas gasta mais tempo pensando (computação).
O Problema: Se você pedir para eles pensarem muitas vezes (demasiados loops), o cérebro começa a ter um curto-circuito. Eles ficam confusos, seus pensamentos tornam-se caóticos e param de aprender.

O Problema: Por Que o Cérebro Quebra

Os autores descobriram que, quando você força o modelo a loopar muitas vezes, duas coisas específicas dão errado:

O "Grito" (Oscilação do Gradiente): Imagine o amigo tentando explicar seu processo de pensamento de volta para si mesmo. Nos estágios iniciais, eles começam a gritar de um lado para o outro tão alto que não conseguem ouvir o problema real. O sinal fica tão ruidoso e saltitante que o modelo não consegue aprender.
O "Balão" (Explosão do Residual): Imagine que os pensamentos do amigo são como um balão. Cada vez que eles fazem um loop, adicionam um pouco de ar. Em um loop normal, o balão mantém o mesmo tamanho. Mas nesta versão quebrada, o balão infla descontroladamente a cada loop até estourar. Os números internos do modelo ficam tão grandes que a matemática quebra.

A Solução: O "Fully Looped Transformer" (FLT)

Os autores criaram uma nova versão deste modelo que corrige esses dois problemas sem adicionar novas "células cerebrais" (parâmetros). Eles usaram dois truques inteligentes:

Truque 1: A Reunião "Todos Presentes" (Arquitetura Fully Looped)

A Maneira Antiga: No modelo quebrado, quando o amigo faz o loop de volta, o resultado do pensamento anterior só é sussurrado para a primeira camada do cérebro. As camadas mais profundas têm que esperar a mensagem viajar por uma longa cadeia de pessoas para ouvi-la. Quando chega lá, está distorcida.
O Conserto: O novo modelo garante que o resultado do loop anterior seja transmitido para todas as camadas individuais ao mesmo tempo. É como realizar uma reunião geral onde todos ouvem a atualização instantaneamente, em vez de passar um bilhete ao longo de uma longa fila. Isso impede que o "balão" infle porque a informação é distribuída uniformemente.

Truque 2: O "Filtro Inteligente" (Injeção de Atenção)

A Maneira Antiga: Para parar o "grito", você poderia apenas dizer ao amigo para ficar quieto (clipping de gradiente). Mas isso é um instrumento tosco.
O Conserto: Os autores perceberam que o modelo já possui um "filtro" embutido chamado Atenção (que decide quais partes de uma frase são importantes). Eles reaproveitaram esse filtro.
- Em vez de apenas despejar o pensamento antigo diretamente no novo (o que causa a explosão), eles usam o pensamento antigo como uma consulta de pesquisa.
- O modelo pergunta: "Com base no que pensei da última vez, quais partes do meu pensamento atual devo focar?"
- Isso age como um botão de volume. Permite que o modelo reutilize a informação antiga, mas a mistura cuidadosamente com a nova informação, impedindo que o sinal fique muito alto ou caótico.

Os Resultados: Um Loop Estável

Os autores testaram este novo "Fully Looped Transformer" contra a versão antiga e quebrada:

Estabilidade: O modelo antigo travaria (pararia de aprender) se você pedisse para ele fazer 9 ou 12 loops. O novo modelo permaneceu calmo e estável mesmo com 12 loops.
Desempenho: Como podia fazer loops com segurança por mais tempo, ficou mais inteligente. Em média, melhorou seu desempenho em tarefas de raciocínio em cerca de 13% comparado ao método antigo.
Flexibilidade: A melhor parte é que você pode decidir o quão "inteligente" o modelo é no momento em que o usa.
- Precisa de uma resposta rápida e barata? Execute com 1 loop.
- Precisa de uma resposta profunda e complexa? Execute com 12 loops.
- Você não precisa retreinar o modelo; apenas muda o número de vezes que ele pensa.

Resumo

Pense no Fully Looped Transformer como uma maneira de transformar uma única pessoa inteligente em um supergênio permitindo que ela pense em círculos, mas com um novo conjunto de regras (a reunião "Todos Presentes" e o "Filtro Inteligente") que a impede de ficar tonta ou gritar consigo mesma. Isso nos permite obter respostas melhores da mesma quantidade de dados e hardware, simplesmente permitindo que o modelo pense um pouco mais.

Resumo Técnico: Simplesmente Estabilizando o Loop via Transformer Completamente em Loop

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado generalização notável, o paradigma tradicional de escalonamento, que aumenta o tamanho do modelo, está cada vez mais constrained pela oferta limitada de dados de texto público de alta qualidade. Abordagens alternativas, como o escalonamento em tempo de teste por meio de raciocínio estendido em cadeia de pensamento, frequentemente acarretam aumentos substanciais no comprimento do contexto e nos custos de inferência.

O Transformer em Loop (LT) oferece uma alternativa eficiente em parâmetros, reutilizando iterativamente os mesmos blocos de backbone Transformer, trocando computação adicional por desempenho aprimorado sem aumentar a contagem de parâmetros. No entanto, o LT sofre de instabilidade de treinamento significativa à medida que o número de iterações do loop aumenta. Os autores identificam que simplesmente aumentar as iterações do loop frequentemente leva ao colapso do treinamento, impedindo que o modelo aproveite efetivamente orçamentos computacionais mais profundos.

Diagnóstico da Instabilidade

Através de uma análise da dinâmica inicial do treinamento (os primeiros 2.000 passos do otimizador), os autores diagnosticam dois fenômenos específicos responsáveis pela instabilidade do LT:

Oscilação de Gradiente: Durante o treinamento inicial, os gradientes exibem fortes oscilações. Isso é atribuído ao acúmulo de gradientes através de blocos em loop compartilhados, semelhante aos desafios enfrentados por Redes Neurais Recorrentes (RNNs) treinadas com Retropropagação através do Tempo (BPTT).
Explosão Residual: À medida que as iterações do loop aumentam, a norma dos estados residuais cresce rapidamente. Como o modelo desenrola um backbone de profundidade fixa em um grafo de computação efetivo muito mais profundo, mesmo uma ampliação leve em cada passo se acumula, levando a normas residuais explosivas que dificultam a otimização.

Metodologia: Transformer Completamente em Loop (FLT)

Para abordar essas questões sem introduzir parâmetros aprendíveis adicionais ou sobrecarga computacional, os autores propõem o Transformer Completamente em Loop (FLT). Esta arquitetura incorpora duas modificações sem parâmetros:

1. Arquitetura Completamente em Loop (FLA)

No LT padrão, a saída de uma iteração anterior do loop é passada apenas para a primeira camada da próxima iteração. Isso força camadas mais profundas a acessar estados recorrentes através de uma longa cadeia de transformações.

Mecanismo: A FLA distribui o sinal recorrente da iteração anterior do loop ( $h^{(t-1)}_L$ ) para todas as camadas na iteração atual ( $t$ ).
Formulação: Para cada camada $l$ , a atualização é definida como $h^{(t)}_l = f^{(l)}_\theta(h^{(t)}_{l-1}, h^{(t-1)}_L)$ .
Objetivo: Isso imita as conexões de atalho encontradas em redes residuais profundas, mitigando as dificuldades de otimização associadas à profundidade recorrente efetiva e reduzindo a explosão residual.

2. Injeção de Atenção (AI)

Para suprimir a oscilação de gradiente, os autores introduzem um mecanismo para controlar o fluxo do sinal recorrente, inspirado nos mecanismos de portão em LSTMs e GRUs.

Mecanismo: Em vez de adicionar diretamente o estado oculto anterior ao fluxo residual, a AI reutiliza o bloco de Atenção Self existente como um bloco de Atenção Cruzada.
Implementação:
- No primeiro loop ( $t=1$ ), é usada a Atenção Self padrão.
- Em loops subsequentes ( $t>1$ ), o estado oculto da iteração anterior ( $h^{(t-1)}_L$ ) é usado como Query (Q).
- A saída da camada atual ( $z^{(t)}_l$ ) serve como Key (K) e Value (V).
- Fórmula: $a^{(t)}_l = \text{Attention}(Q = W_Q h^{(t-1)}_L, K = W_K z^{(t)}_l, V = W_V z^{(t)}_l)$ .
Objetivo: Ao rotear o estado recorrente através da Query, o sinal injetado é uma mistura normalizada dos vetores de valor atuais (controlada pelo Softmax) em vez de uma amplificação direta do estado residual anterior. Isso fornece um mecanismo de mistura controlada que suprime a oscilação de gradiente.

Contribuições Principais

Diagnóstico: Identificação da oscilação de gradiente e da explosão residual como as causas primárias da instabilidade de treinamento em Transformers em Loop.
Arquitetura: Proposta do Transformer Completamente em Loop, uma melhoria sem parâmetros que estabiliza o treinamento via FLA e AI.
Validação Empírica: Demonstração de que o FLT pode ser treinado de forma estável até 12 iterações de loop, um regime onde os Transformers em Loop de linha de base colapsam.

Resultados Experimentais

Os autores avaliaram o FLT contra linhas de base (LT Original, LT com Injeção de Entrada e LT com Injeção de Atenção na primeira camada) em pré-treinamento (FineWeb-Edu) e tarefas downstream (Wikitext-2, benchmarks de Raciocínio Comum).

Estabilidade: Enquanto os modelos LT de linha de base colapsaram em 9 ou 12 iterações de loop (exibindo platôs de alta perda e resíduos explosivos), o FLT manteve dinâmicas de treinamento estáveis com redução de perda mais suave e normas residuais limitadas.
Desempenho:
- Em configurações "mais brandas" onde as linhas de base não colapsaram, o FLT melhorou o desempenho médio em tarefas downstream em até 13,2% (por exemplo, em 6 loops no modelo de tamanho Base).
- No tamanho Base (318M parâmetros), o FLT alcançou a melhor pontuação média (41,72) e a menor Perplexidade Wiki2 (38,44) em 9 loops, enquanto o LT original colapsou.
Estudos de Ablação:
- A FLA sozinha reduziu a explosão residual, mas não impediu totalmente o colapso do treinamento.
- A Injeção de Atenção sozinha (na primeira camada) atuou de forma semelhante à Injeção de Entrada, mas foi insuficiente para altos números de loops.
- A combinação de FLA e AI foi necessária para treinamento estável em altos números de loops (por exemplo, 12 loops).
Adaptação em Tempo de Teste: Modelos treinados com iterações de loop fixas (por exemplo, 9 ou 12) mostraram correlação positiva entre desempenho e contagem de loops de inferência quando a contagem de inferência permaneceu dentro da faixa de treinamento. No entanto, o desempenho tornou-se imprevisível quando os loops de inferência excederam a contagem de treinamento, sugerindo que o treinamento explícito sobre contagens de loops variáveis pode ser necessário para adaptação robusta.

Significado e Alegações

O artigo alega que o Transformer Completamente em Loop fornece uma solução simples e sem parâmetros para a instabilidade de treinamento de modelos em loop. Seu significado reside em:

Habilitar Loop Profundo: Permitir que os modelos utilizem significativamente mais computação em tempo de teste (até 12 iterações) sem aumentar a contagem de parâmetros ou o comprimento do contexto.
Eficiência: Oferecer um mecanismo para trocar computação por ganhos de desempenho em um ambiente de dados com recursos restritos.
Adaptabilidade: Fornecer evidências preliminares de que as iterações de loop podem ser ajustadas no momento da inferência para equilibrar desempenho e orçamento computacional, desde que o orçamento de inferência permaneça dentro da distribuição de treinamento.

Os autores concluem que suas descobertas aprofundam a compreensão da dinâmica de treinamento do Transformer em Loop e oferecem um caminho para arquiteturas estáveis, eficientes em parâmetros e adaptativas.