💬 NLP

Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V

O artigo propõe duas modificações complementares em blocos de atenção de transformadores — um MLP de pré-projeção não linear e uma conexão de resíduo de conteúdo que contorna a atenção —, as quais, ao serem aplicadas, melhoram significativamente o desempenho em tarefas de linguagem sem adicionar sobrecarga ao cache K/V.

Autores originais: Chirag Shinde

Publicado 2026-04-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chirag Shinde

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grupo de especialistas (os "transformers") trabalhando juntos para escrever uma história ou entender um texto. O jeito tradicional de eles trabalharem é muito rígido: antes de qualquer um dar sua opinião, eles são obrigados a passar por um "filtro de localização".

O problema é que esse filtro de localização é um pouco cego. Ele diz: "Não importa o que você pensa, você só pode falar se eu souber exatamente onde você está na frase". Isso é ótimo para coisas como "a palavra 'banco' aqui significa assento, não instituição financeira, porque está perto da palavra 'sentar'". Mas é ruim para coisas que são verdadeiras em qualquer lugar, como o significado geral de uma palavra ou a identidade de um personagem.

O pesquisador Chirag Shinde propôs duas mudanças inteligentes para tornar esse grupo de especialistas mais eficiente. Vamos usar uma analogia de uma fábrica de mensagens para explicar:

1. O "Pré-Processador Criativo" (Pre-Projection)

O Problema: Na fábrica tradicional, os especialistas recebem a mensagem bruta e a transformam em dados lineares (muito simples) antes de decidir onde mandar a mensagem. É como se eles só pudessem usar uma calculadora básica. Se a mensagem precisa de uma ideia complexa e criativa, eles dependem de ter passado por várias etapas anteriores para aprender isso.

A Solução: O autor coloca um pequeno "gênio criativo" (uma pequena rede neural não linear) antes de os especialistas olharem para a localização.

Analogia: Imagine que, antes de os funcionários entrarem na sala de reuniões, eles passam por um laboratório de ideias. Lá, eles podem misturar conceitos de formas criativas e complexas. Agora, quando eles entram na sala, eles já têm ideias ricas e profundas, não apenas dados brutos. Isso acontece antes de qualquer um saber onde a mensagem está no texto.

2. O "Atalho da Essência" (Content Skip)

O Problema: Na fábrica tradicional, toda a informação, mesmo a mais óbvia e universal, é forçada a passar pelo "filtro de localização". É como se você tivesse que passar por um guarda de trânsito para entregar uma carta que diz "Eu amo você", mesmo que o destinatário saiba exatamente quem você é, não importando onde você esteja. Isso desperdiça tempo e pode diluir a mensagem.

A Solução: O autor cria um "tubo de escape" ou um atalho.

Analogia: Imagine que, depois do laboratório de ideias, os funcionários têm duas opções:
1. Entrar na sala de reuniões (o caminho normal com o filtro de localização).
2. Pegar um elevador expresso que vai direto para a saída final, pulando a sala de reuniões.
O sistema aprende sozinho quando usar cada caminho. Se a mensagem precisa de contexto de localização (ex: "vire à esquerda"), ela vai para a sala de reuniões. Se a mensagem é sobre o significado puro de uma palavra (ex: "isto é um gato"), ela pega o elevador expresso e vai direto para o final, sem perder tempo com o filtro de localização.

O Que Aconteceu na Prática?

O pesquisador testou isso em modelos de inteligência artificial (os "Pythia") e descobriu coisas fascinantes:

Resultados Espetaculares: A combinação das duas coisas (o laboratório criativo + o elevador expresso) fez o modelo entender muito melhor o texto (como em testes de leitura) e escrever com muito mais fluidez, sem precisar de mais memória de computador.
O Segredo das Camadas: O sistema aprendeu a usar o "elevador expresso" (o atalho) principalmente nas camadas finais do modelo.
- Por que? No começo do processo, o modelo precisa organizar as peças do quebra-cabeça e entender onde cada coisa está (a localização é importante). Mas, no final, quando o modelo já construiu o significado completo da história, ele não precisa mais ficar checando "onde" as coisas estão. Ele só quer entregar a mensagem final. O atalho permite que essa mensagem pura chegue rápido, sem ser atrapalhada por regras de localização desnecessárias.

Resumo em uma Frase

O autor criou um sistema onde a IA pode primeiro criar ideias ricas antes de olhar para o contexto, e depois pular a burocracia de localização quando a mensagem é sobre o significado puro, tornando a IA mais inteligente, mais rápida e mais eficiente, sem gastar mais energia de computador.

É como dar aos seus funcionários um laboratório de ideias antes da reunião e permitir que eles usem um elevador expresso para entregar as conclusões mais importantes, sem ter que passar por todas as formalidades da sala de reuniões.

Resumo Técnico: Pré-Projeção Posicionalmente Agnóstica para Atenção em Transformers

1. O Problema

Os blocos de atenção dos Transformers modernos seguem um pipeline fixo: normalização de camada, projeções lineares para Q/K/V (Query/Key/Value), codificação posicional (ex: RoPE) e, finalmente, a atenção de produto escalar. O autor identifica duas limitações fundamentais nesta arquitetura:

Gargalo de Características Lineares: As projeções Q/K/V são puramente lineares. Se padrões de atenção úteis dependem de combinações não lineares de características, o modelo é forçado a depender das camadas FFN (Feed-Forward Networks) anteriores para construí-las, exigindo múltiplas camadas para uma operação que poderia ser resolvida em uma única.
Filtragem Posicional Obrigatória: Toda a informação que atinge a saída deve passar pela atenção dependente de posição. Informações de conteúdo relevantes independentemente da posição (tipo semântico, categoria sintática, identidade de entidade) são forçadas a passar pelo mesmo roteamento posicional que informações dependentes de posição, o que pode ser subótimo.

2. Metodologia Proposta

O autor propõe duas modificações complementares inseridas no bloco de atenção, ambas agnósticas à posição (não contêm codificação posicional) e que não adicionam sobrecarga ao cache K/V:

A. Pré-Projeção Não Linear (Pre-Projection)

Localização: Inserida entre a normalização da camada (RMSNorm) e as projeções lineares Q/K/V.
Funcionamento: Um pequeno MLP não linear (com ativação SiLU e conexão residual) transforma os dados de entrada antes de qualquer codificação posicional.
Objetivo: Construir características mais ricas e não lineares que alimentam as projeções Q/K/V, permitindo que o mecanismo de atenção opere sobre um espaço de características mais expressivo.
Fórmula: $\tilde{x} = \hat{x} + W_{down} \cdot \sigma(W_{up} \cdot \hat{x})$ , onde $\hat{x}$ é a entrada normalizada e a dimensão expandida é $e = 1.25$ .

B. Conexão de Atalho de Conteúdo (Content Skip)

Localização: Conecta a saída da pré-projeção diretamente à saída final da camada, contornando o mecanismo de atenção.
Funcionamento: As mesmas características enriquecidas ( $\tilde{x}$ ) são projetadas através de um mapa linear aprendido ( $W_{skip}$ ) e adicionadas à saída da atenção.
Objetivo: Permitir que informações de conteúdo puras "pulem" a atenção dependente de posição quando o modelo aprender que isso é benéfico.
Inicialização: $W_{skip}$ é inicializada próxima de zero ( $N(0, 10^{-4})$ ), garantindo que o modelo comece idêntico à linha de base e aprenda gradualmente quanto conteúdo deve bypassar a atenção.

Insight Chave: A pré-projeção faz "dupla função": enriquece as entradas para a atenção (caminho dependente de posição) e fornece características de conteúdo que contornam a atenção (caminho agnóstico à posição). O modelo aprende a rotear a informação pelo caminho mais útil em cada camada.

3. Contribuições Principais

Arquitetura Híbrida: Introdução de um MLP não linear pré-atenção combinado com um atalho de conteúdo aprendido, resolvendo simultaneamente o gargalo linear e a filtragem posicional excessiva.
Eficiência de Cache: Nenhuma das modificações adiciona sobrecarga ao cache K/V (Key/Value), pois as transformações ocorrem antes e depois do cálculo de atenção, mantendo a complexidade de inferência inalterada em termos de memória de estado.
Descoberta Arquitetural: Evidência empírica de que as camadas finais dos Transformers beneficiam-se mais de informações de conteúdo que bypassam a atenção posicional, enquanto as camadas iniciais dependem mais do roteamento posicional.
Aplicabilidade Multimodal: O design agnóstico à posição é particularmente relevante para modelos multimodais (texto, imagem, vídeo), onde a ordem posicional pode ser ambígua ou não natural.

4. Resultados Experimentais

Os experimentos foram realizados em modo de "sonda congelada" (frozen probe) nos modelos Pythia-160M e Pythia-410M, treinando apenas os parâmetros injetados (Pré-projeção, Skip e/ou LoRA) sobre o WikiText-103.

Desempenho Geral (Escala 160M):
- A combinação Pré-projeção + Skip alcançou os melhores resultados em todas as métricas principais.
- LAMBADA (Compreensão): Acurácia de 0.180 (+40,6% sobre a linha de base).
- Perplexidade (WikiText-103): 47.9 (redução de 38,9% em relação à linha de base).
- HellaSwag: Único método que melhorou a métrica (+3,7%), enquanto outros métodos a mantiveram plana ou a degradaram.
Desempenho (Escala 410M):
- A combinação superou o LoRA isolado em perplexidade (17,0 vs 17,7 do LoRA com mais parâmetros).
- Acurácia LAMBADA de 0.484, superando quase todos os métodos, exceto o LoRA puro (que usou significativamente mais parâmetros).
Análise por Camada (Figura 2):
- As pesos do atalho de conteúdo ( $W_{skip}$ ) mostram um padrão consistente: a ativação é muito mais forte nas camadas finais.
- No Pythia-160M, a norma do atalho cresce de 0,13 (camadas iniciais) para 0,30 (última camada).
- Interpretação: Camadas iniciais constroem representações através de refinamento progressivo dependente de posição. Camadas finais já possuem representações semânticas ricas e o roteamento posicional adicional pode diluir o sinal; portanto, o bypass de conteúdo é mais valioso no final da rede.

5. Significado e Conclusão

O trabalho demonstra que a atenção em Transformers pode ser enriquecida em três dimensões ortogonais:

Construção não linear de características (Pré-projeção) -> Melhora a compreensão.
Enriquecimento de projeção linear (LoRA) -> Melhora a perplexidade (previsão superficial).
Bypass de conteúdo (Skip) -> Melhora ambos, permitindo que a informação semântica evite a filtragem posicional desnecessária.

A combinação dessas técnicas oferece o melhor desempenho, especialmente em cenários de ajuste fino com poucos parâmetros (frozen backbone). Além disso, a descoberta de que as camadas finais beneficiam-se de um bypass de conteúdo sugere uma divisão funcional natural na arquitetura do Transformer: camadas iniciais lidam com sintaxe (dependente de posição) e camadas finais com semântica (dependente de conteúdo). O método é proposto como uma melhoria robusta para arquiteturas futuras, incluindo modelos multimodais.