Resumo Técnico: Atenção Portada por Energia e Codificação Posicional por Wavelet

1. Declaração do Problema

Os mecanismos de atenção padrão do Transformer calculam a similaridade entre pares de tokens via atenção por produto interno, mas sofrem de duas limitações estruturais quanto a vieses indutivos:

1. Falta de Saliência Espectral: A atenção padrão trata todos os tokens como igualmente salientes, ponderando-os exclusivamente pela similaridade de conteúdo com a consulta. Carece de um mecanismo para distinguir tokens com alta densidade informacional intrínseca (por exemplo, limites morfológicos, cabeças sintáticas) de tokens de fundo (por exemplo, palavras funcionais, padrões repetidos).
2. Falta de Localidade Adaptativa: As codificações posicionais padrão (por exemplo, PE senoidal fixa) atribuem frequências fixas às dimensões de incorporação sem envelopes espaciais. Consequentemente, cada posição contribui igualmente em todas as escalas, falhando em adaptar a extensão da influência posicional à escala natural dos fenômenos linguísticos ou ao comprimento do contexto. Embora as Incorporações Posicionais Rotativas (ROPE) codifiquem a posição relativa, elas ainda utilizam frequências fixas sem localidade gaussiana.

O artigo postula que essas duas lacunas — o que atender (saliência) e onde a atenção opera em cada escala (localidade) — são complementares e ortogonais.

2. Metodologia

Os autores propõem dois componentes simples e aprendíveis para abordar essas lacunas: Atenção Portada por Energia (EGA) e Codificação Posicional Morlet (MOPE).

2.1 Atenção Portada por Energia (EGA)

A EGA introduz um mecanismo de saliência ao portar a agregação de valores baseada em uma estimativa de energia aprendida das incorporações de tokens-chave.

• Mecanismo: Uma única projeção linear ($w_{proj}^T x_j$) estima a "energia" de um token. Este escalar é normalizado-z e passado por um portão sigmoide ($g_j$).
• Função: O portão suprime tokens de baixa energia (fundo/preenchimento) e amplifica tokens de alta energia (densos em informação).
• Eficiência: Adiciona parâmetros mínimos ($d+2$ por cabeça, <0,3% de sobrecarga) e nenhum custo computacional.
• Base Teórica: A projeção é interpretada como estimativa de energia ponderada espectralmente via identidade de Parseval, embora os autores observem que o sinal aprendido pode representar saliência informacional geral (por exemplo, raridade, limites) em vez de energia espectral estrita.

2.2 Codificação Posicional Morlet (MOPE)

A MOPE substitui as codificações posicionais senoidais fixas por wavelets com janela gaussiana aprendida para fornecer localização tempo-frequência adaptativa.

• Formulação: Para a dimensão de incorporação $i$ e posição $b$:
  $$MOPE(b, 2i) = \cos(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  $$MOPE(b, 2i + 1) = \sin(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  onde $\omega_i$ (frequência central) e $\sigma_i$ (largura de banda de localidade) são parâmetros aprendidos.
• Generalização: A MOPE generaliza estritamente a PE senoidal padrão (recuperada quando $\sigma_i \to \infty$) e conecta-se à ROPE (estrutura de fase no limite) e à ALiBi (localidade de frequência zero).
• Estrutura de Correlação Cruzada: Substituir a MOPE na correlação cruzada da atenção produz um kernel Morlet no espaço de atraso, $C_i(\tau) \propto e^{-\tau^2/4\sigma_i^2} \cdot \cos(\omega_i \tau)$. Isso permite que as dimensões capturem diferentes escalas de estrutura linguística (por exemplo, nível de caractere vs. nível de frase) com base em seu $\sigma_i$ aprendido.

2.3 Modelo Combinado

O modelo EGA-MORLET aplica o portamento EGA aos pesos de atenção calculados usando MOPE. Os autores hipotetizam superaditividade: como a EGA controla quais tokens são atendidos e a MOPE controla onde a influência se estende em cada escala, sua combinação deve produzir desempenho superior à soma de suas partes individuais.

3. Contribuições Principais

1. Interpretação de Correlação Cruzada: O artigo reencara a atenção por produto interno como o valor de atraso zero ($C_{ij}(0)$) de uma função de correlação cruzada mais rica, identificando que a atenção padrão descarta seletividade de escala, estrutura de atraso e saliência espectral.
2. Arquitetura MOPE: Uma codificação posicional por wavelet localizada que generaliza estritamente a PE senoidal/cosseno e fornece uma ponte teórica para ROPE e ALiBi, oferecendo frequência e localidade adaptativas.
3. Complementaridade Empírica: Demonstração de que EGA e MOPE são vieses indutivos complementares. Sua combinação alcança resultados superaditivos, enquanto componentes individuais mostram desempenho misto ou neutro isoladamente.
4. Priors Estruturados vs. Aprendidos: Uma ablação estruturada mostrando que projeções aprendidas não restritas superam consistentemente priores espectrais estruturados (por exemplo, filtros Daubechies, inicialização de escala fixa) em modelos de linguagem, exceto quando um componente estruturado (MOPE) fornece informações genuinamente complementares (localidade adaptativa) não descobertas pelo gradiente descendente padrão em produtos internos.

4. Resultados Experimentais

Os experimentos foram conduzidos no TinyShakespeare (nível de caractere, $L=6, H=8, d=256$, $\le 6M$ parâmetros) ao longo de 5.000 passos.

• Principal Descoberta (Superaditividade):

  • Base (Atenção Padrão): Perda de Validação = 1,4742.
  • EGA Sozinho: Melhoria de +0,092 (Perda = 1,3821). A saliência é um viés indutivo forte.
  • MOPE Sozinha: Degradação de -0,032 (Perda = 1,5060). Localidade adaptativa sem saliência é insuficiente e ligeiramente prejudicial.
  • EGA + MOPE: Melhoria de +0,119 (Perda = 1,3550).
  • Análise: O ganho combinado (+0,119) excede a soma dos ganhos individuais (+0,092 - 0,032 = +0,060) em +0,059. Isso apoia a hipótese de complementaridade.

• Estudos de Ablação:

  • Atenção por Convolução: Estender a atenção para atrasos não nulos (+0,007) confirma que a estrutura de atraso carrega informação.
  • Inicialização de Escala: Inicializar cabeças em frequências específicas não forneceu benefício (-0,007), sugerindo que o gradiente descendente descobre escalas ótimas a partir de inicialização aleatória.
  • Fluxo Espectral: Usar taxas de mudança de energia como sinal de portão forneceu um pequeno ganho positivo (+0,012), sugerindo que a detecção de limites é útil.
  • Coerência de Fase: Usar informação de fase resultou em um impacto ligeiramente negativo (-0,007).

• Parâmetros Aprendidos: Os parâmetros da MOPE agruparam-se em quatro regiões distintas correspondentes às escalas de caractere, palavra, cláusula e frase, sugerindo que o modelo aprende escalas temporais linguisticamente naturais a partir dos dados.

5. Significado e Alegações

O artigo alega que saliência espectral e localidade seletiva em escala são vieses indutivos complementares que a atenção padrão carece.

• Complementaridade: Nenhum viés é suficiente sozinho nesta escala; sua interação é superaditiva.
• Aprendizado vs. Priors: A falha consistente de priores estruturados (como portões de wavelet fixos) sugere que a base ótima para incorporações em nível de caractere é não-senoidal e específica do corpus. O aprendizado não restrito é preferido, exceto quando um componente estruturado (como a localidade adaptativa da MOPE) oferece informações ortogonais ao que o gradiente descendente descobre naturalmente.
• Modéstia: Os autores afirmam explicitamente que todos os experimentos são de pequena escala (semente única, nível de caractere). O resultado principal é considerado credível nesta escala, mas efeitos secundários requerem validação com múltiplas sementes. O artigo não alega que esses métodos resolvem problemas de contexto longo ainda, mas os identifica como uma direção de alta prioridade para trabalhos futuros (especificamente para $T \ge 4096$).

O trabalho é apresentado como parte de uma série sobre métodos espectrais na atenção de transformadores, com código disponibilizado para reprodutibilidade.