🤖 machine learning

A Controlled Study of Attention-Only Transformers

Este estudo demonstra que redes de alimentação direta não são estritamente necessárias para o desempenho de transformers, uma vez que modelos de apenas atenção (SANs) pareados em parâmetros, computação e profundidade alcançam perda quase idêntica aos transformers padrão, com a lacuna menor restante sendo atribuível unicamente a diferenças em recall paramétrico, em vez de limitações arquiteturais.

Autores originais: Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Publicado 2026-07-22

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir o cérebro definitivo para um robô. Durante anos, cientistas têm empilhado dois tipos de "neurônios" uns sobre os outros para tornar esses robôs mais inteligentes. O primeiro tipo é como um mensageiro que observa o que está acontecendo agora e decide onde prestar atenção. O segundo tipo é como um caderno que armazena fatos e regras aprendidos no passado. O cérebro do robô é construído com um padrão repetitivo: um mensageiro, depois um caderno, depois um mensageiro, depois um caderno.

No mundo da inteligência artificial, esses "mensageiros" são chamados de mecanismos de atenção, e os "cadernos" são chamados de redes de alimentação direta (FFNs). Por muito tempo, todos assumiram que o caderno era essencial. De fato, nos cérebros de robôs modernos, esses cadernos ocupam cerca de dois terços do espaço total (parâmetros). A grande questão era: O caderno é realmente necessário? Ou o mensageiro poderia fazer todo o trabalho se lhe déssemos espaço suficiente? Este artigo é um experimento controlado gigante para descobrir se podemos construir um robô superinteligente usando apenas mensageiros, sem nenhum caderno.

O Experimento de Cirurgia Cerebral

Os pesquisadores da Cactus Compute, Inc. decidiram realizar uma "cirurgia cerebral" muito precisa em um modelo de IA padrão. Eles pegaram um modelo padrão e, camada por camada, arrancaram o "caderno" (a rede de alimentação direta) inteiramente, deixando apenas o "mensageiro" (o mecanismo de atenção). Eles chamaram este novo modelo, simplificado, de Rede de Atenção Simples (SAN).

Mas aqui está a parte complicada: você não pode simplesmente deletar uma grande parte de um cérebro e esperar que ele funcione da mesma forma. Se você remover o caderno, de repente terá muito espaço vazio. Por isso, os pesquisadores realizaram três versões diferentes do experimento para ver o que realmente importa:

Mesma Profundidade: Eles mantiveram o número de camadas igual, mas deletaram os cadernos. (Isso tornou a SAN muito menor e mais fraca).
Mesmo Computo: Eles ajustaram o tamanho para que ambos os modelos usassem exatamente a mesma quantidade de eletricidade (FLOPs) para pensar.
Mesmo Tamanho: Eles pegaram o espaço vazio deixado pela exclusão dos cadernos e o usaram para adicionar mais camadas de mensageiros. Este é o teste mais justo: "Se dermos ao mensageiro o mesmo poder cerebral total que o caderno, ele pode fazer o trabalho?"

O Resultado Chocante: O Caderno Não é Mágico

Os resultados foram surpreendentes. Quando eles apenas deletaram os cadernos sem dar mais espaço aos mensageiros, o robô ficou significativamente mais burro. Mas quando pegaram esse poder cerebral "deletado" e o usaram para construir pilhas de mensageiros mais profundas, a lacuna quase desapareceu completamente.

No teste mais justo (combinando o tamanho total), o modelo padrão com cadernos e o novo modelo de "apenas mensageiro" eram quase idênticos. A diferença era de apenas 0,006 nats (uma unidade de medida para o quão errada é uma previsão). Para colocar em perspectiva, essa é uma diferença de apenas 0,27% em seu desempenho. É tão pequena que, se você executasse o experimento com diferentes sementes aleatórias, os resultados seriam reproduzíveis para uma parte em dez mil.

O artigo conclui que, para o tipo de dados que utilizaram (um corpus sintético focado em raciocínio), o "caderno" não é um componente mágico e insubstituível. É apenas uma forma de armazenar informação. Se você der ao "mensageiro" profundidade suficiente, ele pode armazenar essa informação por si só.

Onde a Pequena Lacuna se Esconde

Então, se eles são quase iguais, por que a diferença não é exatamente zero? Os pesquisadores investigaram profundamente para descobrir onde o modelo de "apenas mensageiro" encontrou dificuldades. Eles descobriram que o problema não era em todo lugar; era muito específico.

O modelo de apenas mensageiro era ligeiramente pior ao responder perguntas onde o contexto (a história ou texto fornecido) não lhe dava absolutamente nada com que trabalhar.

A Vitória do "Baseado no Contexto": Quando a resposta estava escondida em algum lugar no texto fornecido (como encontrar um fato em um artigo da Wikipedia), o modelo de apenas mensageiro era na verdade melhor ou igual.
A Perda de "Memória": A pequena lacuna só aparecia quando o modelo tinha que tirar um fato do nada — pura recuperação de memória onde o texto não oferecia pistas.

Pense nisso como: o mensageiro é ótimo em dizer: "Ei, eu vejo uma pista no texto, vamos olhar para lá!". Mas o caderno era ligeiramente melhor em dizer: "Eu me lembro deste fato do meu treinamento, mesmo que não haja nenhuma pista aqui". Os pesquisadores descobriram que o modelo de apenas mensageiro ainda conseguia memorizar coisas, mas tinha que trabalhar um pouco mais para armazenar esses fatos em suas camadas de "atenção" em vez de uma camada de "caderno" dedicada.

Como o Cérebro Realmente Funciona

O artigo também olhou por baixo do capô para ver como esses modelos aprendem. Eles descobriram um ritmo fascinante em como o cérebro cresce:

O Roteamento Cristaliza Cedo: A parte do cérebro que decide onde olhar (o roteamento) é definida muito rapidamente, no primeiro quarto do treinamento, e depois permanece congelada.
O Conteúdo Cresce Lentamente: A parte que realmente armazena a informação continua crescendo e se tornando mais complexa durante todo o processo de treinamento.

Quando removeram o caderno, o trabalho de "armazenamento" não desapareceu; ele apenas mudou de lugar. A camada de saída do mensageiro assumiu o trabalho de armazenar fatos. É como se você removesse um arquivo de uma repartição; os funcionários (os mensageiros) apenas começariam a carregar os arquivos nos bolsos. Funciona, mas é uma forma um pouco diferente de organizar.

O Ingrediente Secreto: Normalização

Uma das descobertas mais práticas foi sobre manter esses cérebros profundos de "apenas mensageiro" sem desmoronarem. Os pesquisadores descobriram que um truque específico chamado normalização QK era absolutamente crítico. Sem ele, os modelos profundos de apenas mensageiro simplesmente colapsariam e parariam de aprender. Acontece que o "caderno" não era o que mantinha o cérebro estável; era esta técnica específica de normalização.

A Conclusão

Este artigo não diz que os cadernos são inúteis. Diz que, para o tipo específico de dados focados em raciocínio que testaram, o "caderno" não é um requisito fundamental para a inteligência. Se você tiver um orçamento limitado para o tamanho do cérebro, você pode trocar o caderno por mais camadas de mensageiros e obter quase o mesmo resultado.

A única vez que o caderno realmente brilha é quando o modelo precisa recuperar fatos que não têm nada a ver com o texto atual. Mas, mesmo assim, a diferença é mínima. A principal lição é que o "mensageiro" é incrivelmente poderoso e flexível, capaz de fazer o trabalho do "caderno" se você apenas lhe der profundidade suficiente. A lacuna entre os dois é tão pequena que é quase insignificante, provando que a arquitetura do transformer é mais flexível do que pensávamos.

Resumo Técnico: Um Estudo Controlado de Transformers de Atenção Única

Declaração do Problema
A rede feed-forward (FFN) constitui aproximadamente dois terços dos parâmetros não-de embedding de um transformer e é amplamente interpretada como a memória paramétrica do modelo (Geva et al. 2021, 2022; Meng et al. 2022; Dai et al. 2022). No entanto, a necessidade da FFN nunca foi rigorosamente testada sob condições controladas. Tentativas anteriores de remover FFNs ou dobraram sua capacidade de volta para a atenção via vetores de memória persistente (Sukhbaatar et al. 2019), deixando a questão da necessidade em aberto, ou analisaram configurações teóricas sem conexões residuais que não são utilizadas na prática (Dong, Cordonnier, e Loukas 2021). O desafio experimental central é que a remoção da FFN perturba simultaneamente três variáveis críticas: contagem de parâmetros, computação por token (FLOPs) e o número de etapas de composição não linear (profundidade). Um controle de eixo único é, portanto, insuficiente para isolar o verdadeiro custo da FFN.

Metodologia
Os autores conduzem um "teste de necessidade" pré-treinando Redes de Atenção Simples (SANs) — transformers com as FFNs removidas — contra transformers padrão. Para controlar variáveis de confusão, o estudo emprega três estratégias de correspondência distintas (Tabela 1):

Iso-profundidade (Iso-depth): Igualando o número de camadas (20 camadas). Isso remove 72% dos parâmetros do transformer padrão.
Iso-parâmetro (Iso-param): Igualando a contagem total de parâmetros não-de embedding. O orçamento liberado é realocado para a profundidade da atenção (20 camadas SAN vs. 4 camadas padrão).
Iso-FLOP (Iso-FLOP): Igualando a computação de treinamento (GFLOPs por token). Como a atenção incorre em um custo quadrático livre de parâmetros em relação ao comprimento da sequência, o transformer padrão carrega mais parâmetros neste regime.

Controles Experimentais e Equidade:

Equidade de Hiperparâmetros: Cada braço arquitetural passa por sua própria varredura de taxa de aprendizado (0,5× a 16×) em um checkpoint de 5B tokens para garantir que nenhum braço compita nas hiperparâmetros preferidos de outro.
Controle de Otimizador: O treinamento utiliza Muon contra um controle AdamW, com um piso de ruído calibrado de 0,0015 nats estabelecido via controles equivalentes de otimizador.
Regime de Dados: Os modelos são pré-treinados no SYNTH, um corpus sintético denso em raciocínio, até 105B tokens. Um teste separado pré-registrado é conduzido no Fineweb-edu (denso em conhecimento).
Arquitetura: As SANs utilizam atenção pre-norm com Grouped Query Attention (GQA), RoPE e estratégias de normalização específicas (ZCN, normalização QK).

Resultos Principais
O estudo decompõe a lacuna de desempenho entre as SANs e os transformers padrão em uma sequência monótona baseada na estratégia de correspondência:

Custo de Remoção (Iso-profundidade): Deletar FFNs no lugar, com profundidade correspondente, resulta em uma perda significativa de 0,47 nats na perda de validação.
Eficiência de Computação (Iso-FLOP): Com FLOPs de treinamento iguais, o transformer padrão ainda lidera por 0,26 nats, pois o modelo de atenção única deve gastar mais computação no termo quadrático livre de parâmetros, deixando menos parâmetros para capacidade.
Eficiência de Parâmetros (Iso-parâmetro): Quando o orçamento de parâmetros liberado é realocado para a profundidade da atenção, a lacuna colapsa para um pequeno e altamente reproduzível +0,0055 a +0,0054 nats (0,27% da perda total) em pares de sementes limpas. Essa diferença é estável através de orçamentos de 5B, 30B e 105B tokens e permanece próxima de 0,02 nats em uma faixa de 29× no tamanho dos parâmetros não-de embedding.

Localização da Lacuna Residual
O déficit de desempenho restante não é difuso; ele é estritamente localizado:

Regiões de Tokens: O déficit concentra-se inteiramente em tokens de consulta de baixo contexto (onde o contexto oferece pouco para rotear). Em rastros de raciocínio e regiões de resposta (incluindo exercícios de memorização), a SAN frequentemente supera ou iguala o modelo FFN. Em 105B tokens, a SAN lidera em todas as regiões de resposta, com o déficit sobrevivendo apenas nos tokens de consulta.
Tipos de Tarefa: Em benchmarks que exigem recall fora da distribuição (ex: Lambada), o modelo FFN vence consistentemente. Em tarefas onde a resposta é fornecida no contexto (ex: SciQ), a SAN vence, com a margem crescendo conforme o treinamento progride.
Dependência de Distribuição: Um teste pré-registrado no Fineweb-edu (texto denso em conhecimento) mediu uma lacuna de 0,040 nats, confirmando a previsão de que a vantagem da FFN é maior em textos de baixo contexto e densos em conhecimento. Inversamente, no Lambada treinado no Fineweb-edu, a preferência se inverteu, indicando que "armazenamento vs. roteamento" é uma propriedade do ajuste tarefa-distribuição, não uma propriedade intrínseca da tarefa.

Mecanismo: Dinâmica do Espectro de Pesos
O artigo identifica o mecanismo por trás desses resultados através da análise do espectro de pesos:

Roteamento vs. Conteúdo: As matrizes de roteamento (Query/Key) cristalizam-se espectralmente (congelam) dentro do primeiro quarto do treinamento. As matrizes de conteúdo acumulam rank estável durante a fase de treinamento estável.
Relocação de Armazenamento: Em transformers padrão, o acúmulo de conteúdo ocorre na projeção descendente (down-projection) da FFN. Nas SANs, esse acúmulo se desloca para a projeção de saída da atenção ( $W_o$ ), que se torna o único caminho de escrita para o fluxo residual.
Estabilidade: O estudo identifica a normalização QK como o componente crítico para o treinamento de pilhas de atenção profundas (48 camadas). Removê-la causa divergência imediata. Portões residuais escalares foram considerados neutros em termos de desempenho, mas úteis para diagnósticos.

Significância e Alegações
O artigo afirma fornecer o primeiro teste de necessidade controlado da FFN do transformer. Suas principais conclusões são:

A FFN não é um primitivo computacional distinto: Sua remoção não quebra o modelo; em vez disso, representa uma alocação específica de capacidade de parâmetros para um caminho de escrita.
Forma Funcional vs. Capacidade: Em dados densos em raciocínio, a forma funcional da FFN importa pouco; o que importa é a capacidade de parâmetros. Realocar essa capacidade para a profundidade da atenção recupera quase todo o desempenho.
Déficit Específico: O único custo restante é um déficit pequeno e previsível em tokens onde o contexto não fornece informação para o roteamento, forçando a dependência da memória paramétrica.
Robustez: As SANs exibem maior estabilidade de treinamento do que os transformers padrão sob estresse de taxa de aprendizado, sem eventos de divergência observados nas execuções das SANs em comparação com a instabilidade nas execuções com FFN.

Os autores concluem que, dentro do regime testado, "a atenção faz o resto", desde que o orçamento de parâmetros seja correspondido e a arquitetura seja estabilizada com normalização QK. O estudo reformula a FFN não como um componente estrutural essencial, mas como um mecanismo específico para armazenar conhecimento que pode ser efetivamente substituído por camadas de atenção mais profundas, sendo o diferencial um impacto de desempenho localizado em tarefas de predição de alto conhecimento e baixo contexto.