🤖 machine learning

The Routing and Filtering Structure of Attention

Este artigo propõe a atenção $S$ - $D$ , uma parametrização estável que desentrelaça os componentes de roteamento e filtragem da atenção para revelar uma cascata espectral dependente da profundidade, permitindo compressão significativa do modelo e linearização das camadas iniciais com perda mínima de perplexidade.

Autores originais: Shafayeth Jamil, Rehan Kapadia

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shafayeth Jamil, Rehan Kapadia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Transformer (o cérebro de IA por trás de modelos como o GPT) como um enorme e movimentado prédio de escritórios com 12 andares. Cada andar tem o mesmo número de funcionários, a mesma quantidade de espaço de mesa e a mesma quantidade de trabalho de papelada para fazer. Os arquitetos desses prédios sempre assumiram que cada andar precisa ser igualmente complexo, então eles os constroem todos da mesma maneira.

Este artigo argumenta que essa suposição está errada. Acontece que os "funcionários" (o mecanismo de atenção) estão, na verdade, executando duas tarefas muito diferentes, mas foram forçados a compartilhar a mesma mesa, tornando impossível ver quem está fazendo o quê.

Aqui está a análise do que os autores descobriram, usando analogias simples.

1. As Duas Tarefas: O "Policial de Trânsito" e o "Filtro"

Em um modelo de IA padrão, toda vez que ele analisa uma frase, calcula uma enorme grade de pontuações. Os autores perceberam que essa grade é, na verdade, uma mistura confusa de duas tarefas distintas:

O Policial de Trânsito (Roteamento): Esta tarefa trata de direção. Decide: "O Token A deve enviar informações para o Token B, mas não o contrário". É como uma rua de mão única. Move informações sem alterar seu volume.
O Filtro (Filtragem): Esta tarefa trata de relevância. Decide: "O Token A e o Token B são muito semelhantes, então vamos fortalecer sua conexão", ou "Eles não têm relação, então vamos ignorá-los". É como um botão de volume que aumenta ou diminui os sinais.

O Problema: Em modelos padrão, essas duas tarefas estão emaranhadas em uma única grande e confusa matriz. O trabalho de "Filtro" é tão alto e dominante que abafa o "Policial de Trânsito". Como estão misturados, a IA desperdiça uma enorme quantidade de energia tentando construir um sistema complexo de "Policial de Trânsito" que mal utiliza.

2. O Experimento: Desatando o Nó

Para ver o que realmente estava acontecendo, os autores criaram um novo tipo de atenção chamado Atenção S–D. Pense nisso como construir um novo escritório onde o "Policial de Trânsito" e o "Filtro" têm mesas separadas e dedicadas.

O Policial de Trânsito (S): Construído para ser perfeitamente equilibrado (matematicamente "anti-simétrico"). Ele só pode mover informações, nunca criá-las ou destruí-las.
O Filtro (D): Construído como uma simples lista de "botões de volume" (matriz diagonal). Ele apenas escala coisas para cima ou para baixo.

Ao separá-los, puderam observar como a IA se organizava sem o ruído do "Filtro" dominando tudo.

3. A Descoberta: A "Cascata Espectral"

Quando permitiram que a IA se organizasse dessa nova maneira separada, surgiu um padrão belo, que chamam de Cascata Espectral.

Imagine novamente os 12 andares do escritório.

Os Andares Inferiores (Camadas 0–5): Estes andares são incrivelmente simples. Eles precisam apenas de duas direções de "Policial de Trânsito" para fazer seu trabalho. São como um corredor simples onde todos apenas se movem para a esquerda ou para a direita. Não precisam de um sistema de trânsito complexo.
Os Andares Intermediários: A complexidade aumenta lentamente.
Os Andares Superiores (Camadas 10–11): Estes são os únicos andares que precisam de um sistema de trânsito massivo e complexo com muitas direções.

A Grande Revelação: Em modelos padrão, a IA estava construindo um "sistema de trânsito complexo" (alta classificação) nos andares inferiores onde não era necessário. Ela estava superengenhariando as partes simples. Quando separaram as tarefas, a IA se organizou naturalmente: simples na base, complexa no topo.

4. A "Cirurgia": Cortando a Gordura

Como agora podiam ver exatamente quanta complexidade cada andar precisava, realizaram uma "cirurgia" nos modelos:

Linearização da Base: Substituíram o mecanismo de atenção complexo nos primeiros 7 andares por um truque matemático linear muito simples e barato (como usar uma linha reta em vez de uma curva).
- Resultado: O desempenho do modelo caiu apenas ligeiramente (menos de 5% pior).
- Modelo Padrão: Se tentasse isso em um modelo normal, ele colapsaria imediatamente. O modelo normal estava dependendo dessa complexidade mesmo onde não era necessária.
A Inversão: Em modelos normais, se você tentar simplificar o "Filtro" (os botões de volume), o modelo quebra. Mas em seu novo modelo separado, simplificar o "Filtro" para apenas um único número por cabeça não prejudicou quase nada. O "Policial de Trânsito" era o verdadeiro motor de trabalho.

5. O Novo Projeto

Os autores usaram este mapa de "Cascata Espectral" para redesenhar a arquitetura da IA. Em vez de dar a cada andar a mesma quantidade de poder, construíram um modelo personalizado:

Andares inferiores: Minúsculos, estreitos e simples.
Andares superiores: Largos e complexos.

O Resultado: Criaram um modelo que é 47% a 65% menor em termos de parâmetros de atenção, mas ainda performa quase tão bem quanto os modelos gigantes e uniformes. Eles essencialmente perceberam que os andares inferiores estavam carregando malas pesadas que não precisavam, e jogaram essas malas fora.

Resumo

O artigo afirma que os modelos de IA atuais são ineficientes porque tratam cada camada do cérebro como se precisasse ser igualmente complexa. Ao separar o "movimento" das informações da "filtragem" das informações, descobriram que as camadas iniciais são, na verdade, muito simples.

Ao construir modelos que correspondem a essa estrutura natural "do simples ao complexo", podem tornar os modelos de IA significativamente menores e mais baratos de executar sem perder muita inteligência. É como perceber que você não precisa de um motor de Ferrari para ir ao supermercado; você só precisa dele para a estrada.

Resumo Técnico: A Estrutura de Roteamento e Filtragem da Atenção

Declaração do Problema

As arquiteturas Transformer padrão alocam recursos de atenção uniformemente em todas as camadas, atribuindo dimensões de cabeçalho idênticas e complexidade computacional ( $O(N^2)$ ) a cada camada, independentemente da função específica que essa camada desempenha. Essa uniformidade persiste porque não há uma medição principista para guiar uma alocação não uniforme. Arquiteturas híbridas recentes (por exemplo, Nemotron-H, Jamba, Griffin) tentam resolver isso através de extensas varreduras de hiperparâmetros para encontrar proporções ótimas entre camadas quadráticas e lineares, mas essas proporções são específicas da escala e carecem de transferibilidade.

A questão central identificada é que a matriz de interação de atenção $QK^\top$ entrelaça duas funções computacionais distintas dentro de uma única matriz sem restrições:

Roteamento: Um componente antissimétrico que direciona o fluxo de informações entre posições (transporte conservador).
Filtragem: Um componente simétrico que escala a relevância mútua entre tokens (controle de ganho).

Na atenção padrão, essas funções competem pela mesma capacidade matricial. Uma análise empírica de 1.776 cabeçalhos em cinco modelos pré-treinados (variantes do GPT-2, BERT-base, Pythia-410M) revela que a filtragem domina o orçamento espectral, enquanto o roteamento opera em um posto baixo, muito abaixo da capacidade alocada pelo kernel de pesos. Além disso, todos os cabeçalhos de atenção padrão são encontrados como dinamicamente instáveis (possuindo autovalores com partes reais positivas), dependendo fortemente da Normalização de Camada (LN) para conter essa instabilidade, o que obscurece a verdadeira estrutura espectral do mecanismo de roteamento.

Metodologia

Para desentrelaçar essas funções e revelar a estrutura espectral subjacente, os autores introduzem a Atenção S–D, uma parametrização diagnóstica que separa roteamento e filtragem por construção:

Roteamento ( $S$ ): Modelado como uma matriz antissimétrica aprendida ( $S = -S^\top$ ). Isso garante que os autovalores sejam puramente imaginários, representando transporte de informação conservador e de soma zero (rotação entre modos).
Filtragem ( $D$ ): Modelada como uma matriz diagonal positiva aprendida ( $D = \text{diag}(d_1, \dots, d_N)$ ). Isso representa filtragem dissipativa onde cada token possui um coeficiente de amortecimento escalar.

A matriz de interação é definida como $L = S - D$ . Os autores provam que, para qualquer $S$ antissimétrica real e $D$ diagonal semidefinida positiva, a parte real de cada autovalor satisfaz $\text{Re}(\lambda) \le 0$ . Isso garante estabilidade arquitetônica sem a necessidade de Normalização de Camada.

Os autores treinam modelos S–D em várias escalas (7M a 355M parâmetros) no OpenWebText, incluindo configurações com e sem Normalização de Camada, para observar como o roteamento se auto-organiza quando não é restringido por entrelaçamento ou equalização induzida por normalização.

Principais Descobertas e Resultados

1. A Cascata Espectral

Quando o roteamento e a filtragem são desentrelaçados e a normalização é removida, o roteamento se auto-organiza em uma cascata espectral (uma hierarquia de posto) através da profundidade:

Camada 0: Converge para um posto efetivo de 2 (um único plano de rotação para redistribuição ampla de informações).
Camadas Intermediárias: Mantêm um platô de baixo posto (posto efetivo $\approx 2$ –$3$).
Camadas Finais: Expandem-se para postos mais altos (até 10+ planos de rotação independentes), com o posto final determinado pela dimensão do cabeçalho e não pela profundidade.
Invariância de Escala: Esse padrão de cascata ascendente mantém-se em todas as escalas testadas (7M a 355M). À medida que o tamanho do modelo aumenta, a fração de camadas operando no posto espectral mínimo cresce (de 33% em 18M parâmetros para 92% em 355M).

2. Colapso da Filtragem

Na arquitetura S–D desentrelaçada, o componente de filtragem colapsa para um único escalar por cabeçalho. A truncagem do componente de filtragem para um escalar médio por cabeçalho incorre em um custo de perplexidade negligível (+0,3 PPL), enquanto a remoção completa do roteamento causa falha catastrófica. Isso contrasta com a atenção padrão, onde a filtragem domina e o roteamento é de baixo posto.

3. Cirurgia Espectral Acionável

A cascata espectral permite a simplificação "cirúrgica" da arquitetura:

Linearização: As primeiras 7 camadas de um modelo S–D de 125M podem ser linearizadas (substituídas por atenção linear causal ELU+1) com menos de 5% de degradação na perplexidade. Em contraste, a atenção padrão colapsa sob a mesma intervenção já na camada 3.
Realocação de Parâmetros: Ao alinhar as dimensões dos cabeçalhos ( $d_{head}$ ) ao posto espectral medido (por exemplo, $d_{head}=8$ para camadas iniciais, $d_{head}=64$ para camadas finais), os autores reduziram os parâmetros de atenção em 47–65% com apenas um aumento de +3,9% a +8,4% na perplexidade.
Inversão: O artigo demonstra uma inversão estrutural: na atenção padrão, a truncagem da filtragem é proibitiva e a truncagem do roteamento é barata; no S–D, a truncagem do roteamento é proibitiva e a truncagem da filtragem é gratuita.

Significado e Alegações

O artigo afirma que sua contribuição primária é a medição, e não a arquitetura em si. O significado reside em tornar o "orçamento espectral" da atenção legível e acionável:

Diagnóstico: A parametrização S–D serve como uma ferramenta diagnóstica para medir a verdadeira capacidade de roteamento necessária em cada camada, revelando que a atenção padrão aloca capacidade excessiva para camadas de baixo posto.
Orientação para Arquiteturas Híbridas: A cascata espectral fornece uma métrica contínua e mensurável para determinar quais camadas requerem atenção quadrática completa e quais podem ser substituídas por mecanismos lineares ou de baixo posto. Isso move o projeto de arquiteturas híbridas de "busca" (varredura de proporções) para "medição" (prescrição baseada em posto).
Reavaliação da Atenção Linear: Os resultados sugerem que o fracasso histórico da atenção linear simples (por exemplo, ELU+1) deveu-se a má alocação (aplicá-la a camadas de alto posto) e não a limites de capacidade intrínsecos. O artigo mostra que a atenção linear funciona efetivamente no "platô" de baixo posto identificado pela cascata.

Os autores concluem que a cascata espectral é a solução natural do otimizador quando o entrelaçamento e a normalização são removidos, e que essa estrutura pode orientar a construção de arquiteturas Transformer mais eficientes e não uniformes.