🤖 machine learning

CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability

O artigo introduz o CART, um modelo de linguagem eficiente em parâmetros que reutiliza um único bloco central por meio de mecanismos de estabilidade aprendidos, mas constata que, embora a profundidade do prelúdio domine o desempenho, a arquitetura acaba subperformando em relação aos baselines densos com parâmetros equivalentes e falha em suportar uma escala de profundidade eficaz em tempo de teste.

Autores originais: Chad A. Capps

Publicado 2026-06-02

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chad A. Capps

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Um Modelo de Linguagem de "Looping"

Imagine que você está tentando escrever uma história. A maneira padrão como a IA faz isso (chamada de Transformer) é como contratar uma equipe de 12 editores diferentes. O Editor 1 lê a primeira frase, o Editor 2 lê o que o Editor 1 escreveu, o Editor 3 lê o que o Editor 2 escreveu, e assim por diante. Cada editor tem seu próprio estilo e notas únicas. Isso funciona bem, mas é caro porque você tem que pagar por 12 pessoas diferentes.

O CART (Context-Anchored Recurrent Transformer) tenta uma abordagem diferente. Ele contrata apenas um editor e pede para ele ler a história seis vezes (ou mais).

O Objetivo: Obter a mesma qualidade de escrita, mas com uma equipe muito menor (menos parâmetros), economizando dinheiro e memória.
O Problema: Se você pedir à mesma pessoa para ler a mesma coisa seis vezes, ela pode acabar ficando entediada e repetindo os mesmos erros. O desafio é fazer com que esse único editor fique mais inteligente a cada passagem sem precisar de novas pessoas.

Como o CART Funciona: A "Âncora" e o "Portão"

O CART possui três truques especiais para fazer este looping funcionar:

A "Âncora" (O Mapa Congelado):
- Looping Padrão: Em outros modelos de looping, toda vez que o editor lê a história, ele redesenha o mapa de onde estão as palavras importantes. Isso é lento e redundante.
- O Jeito do CART: Antes do looping começar, uma pequena equipe de "pré-editores" (chamados de Prelude) lê a história uma vez e desenha um mapa perfeito e detalhado das palavras importantes. Este mapa é congelado.
- O Loop: O editor de looping único então olha para este mesmo mapa congelado toda vez que lê a história. Ele não redesenha o mapa; ele apenas o usa como uma âncora estável para refinar sua compreensão. Isso economiza muita capacidade de processamento.
O "Portão" (O Interruptor de Estabilidade):
- O Problema: Se você pedir a alguém para pensar sobre algo repetidamente, a pessoa pode ficar confusa ou começar a ter alucinações (enlouquecer).
- A Solução do CART: Existe um "portão" que controla o quanto o editor mantém do pensamento anterior. É como um botão de volume. Se o editor estiver ficando muito caótico, o portão diminui o volume ligeiramente.
- A Descoberta: O artigo descobriu que este portão aprende a se estabelecer em um "ponto ideal" muito específico (um número entre 0,79 e 0,83). Não foi forçado pelos engenheiros; a IA aprendeu essa configuração específica por conta própria para manter a estabilidade.
O "Índice de Loop" (O Contador de Passos):
- O editor recebe um contador (1, 2, 3...) para saber em qual passagem ele está. Isso o ajuda a saber se está nos estágios iniciais do pensamento ou no polimento final.

Os Experimentos: O Que Aconteceu?

Os pesquisadores testaram isso em uma única placa de vídeo de consumo (como um PC gamer de alto desempenho) usando dois estágios de treinamento.

Estágio 1: O Teste Rápido (A "Intuição")

Eles treinaram muitas versões pequenas do CART rapidamente.
A Intuição: Eles pensaram que, para modelos maiores e mais complexos, o looping mais vezes (por exemplo, 8 vezes em vez de 6) seria muito melhor. Parecia que "mais loops = IA mais inteligente".

Estágio 2: O Treinamento Completo (O "Choque de Realidade")

Eles treinaram os modelos por muito mais tempo (usando cerca de 1 bilhão de palavras de texto).
A Surpresa: A intuição estava errada. Quando treinaram totalmente, o looping mais vezes tornou o modelo ligeiramente pior ou não melhorou em nada.
A Analogia: Imagine pedir a um aluno para ler um capítulo de um livro de texto 10 vezes. Em um teste rápido, parece que 10 vezes é ótimo. Mas depois de estudar por um semestre inteiro, você percebe que ler 6 vezes é o suficiente. Ler 8 ou 10 vezes leva apenas a retornos decrescentes ou até confusão. O modelo aprendeu que "mais loops" não significava "mais inteligência" neste setup específico.

O Veredito Final: Ele Venceu?

Os pesquisadores compararam seu modelo de "Um Editor, Seis Loops" contra um modelo de "Transformer Denso" padrão (com 6 editores diferentes) que tinha a mesma quantidade de memória.

O Resultado: O modelo padrão (6 editores diferentes) venceu o modelo CART.
- O modelo padrão foi cerca de 10% melhor na compreensão da linguagem.
- Mesmo quando deram ao modelo padrão o mesmo "poder efetivo" (tornando-o longo como 12 editores), ele ainda esmagou o CART.

Por que o CART perdeu?
Os pesquisadores realizaram uma "autópsia" (ablação diagnóstica) para descobrir o porquê:

O Mapa Congelado não era o problema: Mesmo que permitissem que o editor redesenhasse o mapa a cada vez, isso não ajudou muito.
A "Maquinaria" era inútil: Os dispositivos especiais que adicionaram (o portão de estabilidade, o contador de passos, a mistura de pensamentos passados) revelaram-se majoritariamente decorativos. Removê-los não prejudicou muito o desempenho.
O Problema Real: O principal problema foi o compartilhamento dos mesmos pesos. A ideia de que "um editor fazendo seis passagens" é tão bom quanto "seis editores diferentes" simplesmente não se sustentou. Os pesos compartilhados foram um gargalo. O design "heterogêneo" (misturando pré-editores, uma âncora congelada e um editor de looping) era apenas complexo demais e menos eficiente do que uma pilha simples e uniforme de editores.

Resumo em Uma Sentença

O CART é uma ideia inteligente e eficiente em termos de memória que tenta fazer um bloco de IA "pensar" repetidamente usando um mapa de referência congelado, mas, no fim das contas, torna-se que ter uma equipe de especialistas únicos (o modelo padrão) ainda funciona melhor do que um especialista dando voltas, e os acessórios extras adicionados para tornar o looping estável foram, em sua maioria, desnecessários.

Lição Principal para o Futuro:
O artigo conclui que, embora a "âncora congelada" economize algum poder computacional, a promessa de obter ganhos massivos de inteligência simplesmente através do looping de um bloco de código compartilhado não se concretizou nesta escala. A arquitetura é estável e interessante, mas não superou a abordagem padrão em termos de desempenho bruto por dólar.

Resumo Técnico: CART (Context-Anchored Recurrent Transformer)

Declaração do Problema

O paradigma dominante na modelagem de linguagem, o transformer empilhado, escala o número de parâmetros linearmente com a profundidade ( $L$ camadas únicas), criando gargalos de memória para implantação em hardware restrito. Transformers de profundidade recorrente (ou em loop) tentam abordar isso reutilizando um único conjunto de parâmetros através de múltiplas passagens ( $R$ ) por um bloco compartilhado. No entanto, o compartilhamento de pesos ingênuo muitas vezes performa abaixo de modelos de profundidade única correspondente, pois um único bloco aplicado identicamente não consegue adaptar seu comportamento ao longo das iterações do loop. Soluções anteriores, como hiperconexões, embeddings de índice de loop e restrições de estabilidade explícitas, tentaram mitigar isso, mas uma lacuna arquitetônica crítica permanece: a maioria das arquiteturas concorrentes de loop (ex: Hyperloop, Parcae, OpenMythos) recomputa as representações de chave-valor (K, V) a partir do estado oculto em evolução a cada iteração, falhando em separar a codificação de contexto do refinamento iterativo.

Metodologia: Arquitetura CART

O CART introduz uma arquitetura eficiente em parâmetros que reutiliza um único núcleo compartilhado $R$ vezes na profundidade, distinguindo-se por três contribuições arquitetônicas específicas:

Âncora KV Computada Uma Vez: Diferente de trabalhos anteriores que recomputam K e V em cada passo do loop, o CART computa K e V uma única vez a partir de um "prelúdio" multi-camada (um conjunto único de $P$ camadas transformer) e os mantém fixos. O núcleo recorrente então realiza a atenção cruzada contra esses tensores congelados. Isso separa a codificação de contexto (prelúdio) do refinamento iterativo (núcleo), reduzindo os FLOPs por loop ao eliminar projeções KV redundantes.
Estabilidade Aprendida via LTI com Portão Sigmoide: Para garantir que a computação recorrente converja, o CART emprega um filtro Linear Invariante no Tempo (LTI) aprendido: $h_{\ell} = \sigma(a) \odot h_{in} + f_{transformer}(h)$ . Ao contrário de restrições arquitetônicas (ex: discretização de retenção de ordem zero) usadas em outros trabalhos, este portão aprende sua taxa de convergência (raio espectral $\varrho$ ) diretamente dos dados, garantindo $\varrho < 1$ sem rigidez estrutural.
Restrição de Atenção Cruzada Causal: O artigo identifica uma restrição crítica para modelos recorrentes autorregressivos: a atenção cruzada do núcleo para o prelúdio deve ser causal. A atenção não-causal vaza tokens futuros (do contexto do prelúdio) para o estado recorrente, causando colapso de perda.

A arquitetura segue uma topologia "prelúdio $\to$ âncora $\to$ núcleo $\to$ coda". O prelúdio ( $P$ camadas únicas) gera a âncora de contexto $e$ . O núcleo (pesos compartilhados, $R$ iterações) refina o estado usando o K, V congelado de $e$ . Uma única camada "coda" única produz os logits finais.

Configuração Experimental

Os autores avaliaram o CART em dois estágios em GPUs de nível de consumidor (RTX 3050 e RTX 3090) usando um corpus de passagem única de $\sim$ 1B de tokens (TinyStories, Wikipedia, FineWeb-Edu).

Estágio 1: Uma triagem de hiperparâmetros de 64 configurações ( $d \in \{256, 512, 768, 1024\}$ , $R \in \{2, 4, 6, 8\}$ , $P \in \{2, 3, 4, 6\}$ ) treinada por 3.000 passos ( $\sim$ 49M tokens).
Estágio 2: Treinamento completo de 36 configurações ( $P=6$ , $R \in \{6, 8, 10\}$ , 3 sementes cada) por 30.500 passos ( $\sim$ 1B tokens).
Baselines: No nível de vinculação ( $d=1024$ ), o CART foi comparado contra transformers Densos pareados tanto em parâmetros armazenados (7 camadas) quanto em parâmetros efetivos (12 camadas).

Principais Resultados

1. Estabilidade e Raio Espectral

Em todas as 36 configurações do Estágio 2, o raio espectral $\varrho$ do portão LTI aprendido estabilizou-se em uma banda estreita de $[0.79, 0.83]$ . Este valor não é um alvo de design fixo, mas emerge do treinamento. $\varrho$ aumenta monotonicamente com a largura do modelo ( $d$ ) e fracamente com o número de loops ( $R$ ). O $\varrho \approx 0.893$ "universal" observado no Estágio 1 foi identificado como um transiente de meio de treinamento que decai durante o treinamento completo.

2. A Reversão do Benefício da Recorrência ( $R$ )

Uma descoberta crítica é a reversão de tendências entre o Estágio 1 e o Estágio 2:

Estágio 1 (3k passos): Sugeriu que a profundidade de recorrência ( $R$ ) torna-se mais valiosa conforme a largura do modelo ( $d$ ) aumenta, com $R=8$ superando significamente $R=2$ em $d=1024$ .
Estágio 2 (30.5k passos): Esta tendência se inverteu. No treinamento completo, $R=6$ foi a melhor configuração para todas as escalas $d \ge 512$ . Aumentar $R$ para 8 ou 10 resultou em degradação de performance (regressão de até 1% na perplexidade).
Escalabilidade de Inferência: A inferência de variável- $R$ no melhor modelo $d=1024$ (treinado em $R=6$ ) mostrou que rodar mais iterações do que o treinado degradou consistentemente a performance em HellaSwag, LAMBADA e PIQA. Isso indica um resultado negativo claro para o escalonamento de computação em tempo de teste sob a receita de treinamento atual.

3. Alegações de Eficiência de Parâmetros

No teste de vinculação ( $d=1024$ , $\sim$ 1B tokens):

Paridade de Parâmetros Armazenados: Um modelo Denso de 7 camadas (pareado aos parâmetros armazenados do CART) superou o CART ( $P=6, R=6$ ) em 1–2% nas métricas de perplexidade.
Paridade de Parâmetros Efetivos: Um modelo Denso de 12 camadas (pareado aos parâmetros efetivos do CART) superou o CART em $\sim$ 10% em conjuntos de linguagem natural.
Conclusão: A hipótese de que a recorrência de pesos compartilhados fornece capacidade $R$ -vez maior não se sustentou neste nível de escala e orçamento de treinamento.

4. Ablações Diagnósticas

Os autores decomporam a lacuna de performance entre o baseline Denso e o CART:

K, V Congelados: Descongelar K, V (recomputando-os em cada passo) não melhorou significativamente a performance, descartando o âncoramento congelado como o principal gargalo.
Profundidade de Recorrência: Reduzir $R$ para 1 (removendo a recorrência) causou apenas uma queda de $\sim$ 1%, sugerindo que o núcleo recorrente contribui marginalmente além da primeira iteração.
Pesos Compartilhados: Não compartilhar os pesos do núcleo (dando a cada iteração parâmetros únicos) melhorou a performance em $\sim$ 5%, confirmando que o compartilhamento de pesos é um gargalo significativo de capacidade.
Componentes de Maquinaria: Ablações da HyperConnection, do portão LTI e do Loop Index Embedding (LIE) mostraram que eles são vestigiais na configuração de pesos compartilhados; removê-los individualmente não teve efeito mensurável na perplexidade.
Lacuna Residual: A lacuna restante de $\sim$ 5% em relação ao baseline Denso é atribuída ao próprio enquadramento heterogêneo "prelúdio $\to$ âncora $\to$ núcleo $\to$ coda", e não a qualquer mecanismo específico.

Significância e Alegações

O artigo apresenta o CART como uma investigação empírica rigorosa sobre transformers de profundidade recorrente, oferecendo três contribuições principais:

Distinção Arquitetônica: O CART é o primeiro de sua família a computar K, V uma única vez a partir de um prelúdio e reutilizá-los como uma âncora congelada, separando a codificação de contexto do refinamento.
Estabilidade Aprendida: Demonstra que um filtro LTI com portão sigmoide pode aprender uma taxa de convergência estável ( $\varrho \in [0.79, 0.83]$ ) sem restrições estruturais, adaptando-se à largura do modelo e ao número de loops.
Verificação de Realidade Empírica: O artigo fornece um "resultado negativo limpo" em relação à eficiência de parâmetros da recorrência de pesos compartilhados na escala testada. Ele demonstra que:
- O benefício da profundidade de recorrência ( $R$ ) não necessariamente cresce com a largura do modelo no treinamento completo; de fato, pode se inverter.
- O escalonamento de computação em tempo de teste (aumentar $R$ na inferência) é prejudicial se não for compatível com o treinamento.
- A tese do "alavancagem de peso compartilhado" (que $R$ iterações de um bloco compartilhado equivalem a $R$ camadas únicas) falha em $d=1024$ com $\sim$ 1B de tokens, com a arquitetura perdendo para um baseline Denso pareado em parâmetros.

Os autores concluem que, embora o CART ofereça latência determinística e uso de memória fixo (benéficos para implantação), sua formulação atual não entrega a eficiência de parâmetros necessária para superar os transformers Densos padrão na escala testada. Os achados sugerem que o enquadramento arquitetônico heterogêneo e o compartilhamento de pesos são os principais gargalos, não a maquinaria de recorrência específica (HyperConnection, LTI, LIE).