Resumo Técnico: Além dos Senoides: Uma Estrutura de Wavelet de Morlet para Codificação Posicional de Transformers

1. Declaração do Problema

As codificações posicionais padrão para Transformers, especificamente senoidais (sin/cos) e o Rotary Position Embedding (ROPE), tratam cada posição como igualmente local. Embora codifiquem onde um token está, elas falham em codificar até onde a influência posicional de um token deve se estender.

• PE Senoidal: Utiliza frequências fixas com amplitude uniforme em todas as posições.
• ROPE: Codifica a posição relativa como uma rotação no espaço complexo, mas mantém um envelope de amplitude constante (todas as posições estão igualmente presentes).
• Lacuna Teórica: Esses métodos carecem de uma estrutura matemática unificadora. Além disso, assumem a estacionaridade do sinal (incerteza de posição infinita), o que é subótimo para a linguagem, um sinal não estacionário onde a distribuição de caracteres e estruturas sintáticas varia com a posição.

2. Metodologia: Codificação Posicional de Morlet (MOPE)

Os autores propõem a Codificação Posicional de Morlet (MOPE), que utiliza a wavelet de Morlet complexa como a base natural para a codificação posicional. A wavelet de Morlet minimiza simultaneamente a incerteza tanto na posição quanto na frequência, aderindo ao princípio da incerteza de Heisenberg.

2.1 Definição

Para um token na posição $b$ e dimensão de embedding $i$, o MOPE é definido como:
$$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$$
Esta formulação introduz dois parâmetros aprendíveis por dimensão:

1. Frequência Central ($\omega_i$): Determina a taxa de oscilação (fase).
2. Largura de Banda ($\sigma_i$): Determina o envelope de localidade Gaussiana (decaimento de amplitude).

2.2 Interpretação Geométrica

• Fase: O componente de fase $\omega_i b$ é idêntico ao ângulo de rotação no ROPE. Ele codifica a posição relativa dentro do ciclo de oscilação.
• Amplitude: O termo $e^{-b^2/2\sigma_i^2}$ atua como um envelope Gaussiano centrado na origem da sequência ($b=0$). Ao contrário das codificações padrão onde a amplitude é fixa em 1 (implicando que $\sigma_i \to \infty$), o MOPE aprende um $\sigma_i$ finito, fazendo com que o sinal posicional decaia com a distância do início da sequência.
• Troca de Incerteza (Trade-off): O MOPE aprende o equilíbrio ideal entre a incerteza de posição ($\Delta b_i = \sigma_i$) e a incerteza de frequência ($\Delta \omega_i = 1/\sigma_i$), satisfazendo o limite $\Delta b_i \cdot \Delta \omega_i \geq 1/2$.

2.3 Unificação de Métodos Existentes

O artigo prova que as codificações padrão são casos degenerados do MOPE:

• PE Senoidal: Emerge quando $\sigma_i \to \infty$ (localidade infinita, sem decaimento).
• ROPE: Emerge quando $\sigma_i \to \infty$. O kernel de autocorrelação do MOPE recupera exatamente o score de atenção do ROPE neste limite, modulado por um kernel de localidade Gaussiano aprendido no caso geral.
• ALiBi: Conceitualmente análogo como um limite de localidade de frequência zero (decaimento exponencial sem oscilação).

3. Principais Contribuições

1. Unificação Teórica: Demonstrou que as codificações sin/cos e ROPE são casos degenerados do MOPE (onde a localidade é desligada).
2. Equivalência de Fase: Estabeleceu que a diferença de fase do MOPE é matematicamente idêntica ao ângulo de rotação do ROPE. A principal diferença é a adição de um kernel de localidade Gaussiano aprendido no MOPE.
3. Combinação Empírica: Combinou o MOPE com Atenção com Portão de Energia (EGA). O modelo resultante (EGA-MORLET) alcançou uma melhoria de +0,119 na perplexidade de validação sobre a atenção padrão no dataset TinyShakespeare, superando ambos os componentes usados isoladamente.
4. Análise de Parâmetros: Analisou os parâmetros aprendidos e descobriu que todos os 128 pares frequência-largura de banda convergiram exatamente para a fronteira de admissibilidade da wavelet ($\omega_i \sigma_i = 5$).

4. Resultados Experimentais

Os experimentos foram conduzidos em um dataset de nível de caractere TinyShakespeare com comprimento de contexto de $T=256$ usando uma arquitetura Transformer de 6 camadas e 8 cabeças.

• Desempenho:

  • EGA-MORLET: 1,3550 Perplexidade de Validação (+0,119 sobre o baseline).
  • EGA-1 (Baseline): 1,3821 (+0,092).
  • ROPE: 1,4637 (+0,011).
  • Sin/Cos: 1,5863 (-0,112).
  • MOPE Isolado: 1,5060 (-0,032).
  • Nota: O MOPE isolado teve desempenho inferior ao baseline de embedding aprendido, provavelmente devido à capacidade limitada do modelo pequeno (512 parâmetros para PE vs. 65.536 para uma tabela de consulta) e ao viés estrutural do Gaussian centrado na origem. No entanto, quando combinado com EGA, a sinergia foi significativa.

• Parâmetros Aprendidos:

  • Fronteira de Admissibilidade: Todas as 128 dimensões convergiram para $\omega_i \sigma_i = 5,000$. O otimizador consistentemente empurrou os parâmetros para essa fronteira, sugerindo uma preferência por maior localidade e frequências mais baixas do que o limite permite.
  • Concentração de Escala: As larguras de banda aprendidas ($\sigma_i$) variaram de 1,49 a 4,50 tokens. Isso indica que o modelo concentrou toda a capacidade posicional na escala caractere-palavra, em vez de abranger escalas mais amplas (orações, sentenças), o que seria esperado em contextos mais longos.
  • Compressão de Frequência: As frequências aprendidas foram comprimidas em uma banda estreita ($\omega_i \in [1,11, 3,35]$), muito acima do intervalo diedico inicial.

5. Significância e Alegações

O artigo afirma fornecer a primeira estrutura matemática unificadora para codificações posicionais oscilatórias, revelando-as como casos especiais de uma base wavelet localizada no tempo-frequência.

• Insight Teórico: O trabalho postula que a linguagem é não estacionária e, portanto, as codificações posicionais não devem assumir localidade infinita ($\sigma = \infty$). O MOPE permite que o modelo aprenda o "alcance temporal de influência" apropriado para cada dimensão.
• Complementaridade: Os resultados sugerem que a saliência espectral (tratada pelo EGA, determinando o que atender) e a localidade tempo-frequência (tratada pelo MOPE, determinando até onde a influência se estende) são mecanismos complementares. Sua combinação gera benefícios super-aditivos.
• Reprodutibilidade: A convergência para a fronteira de admissibilidade ($\omega \sigma = 5$) foi observada tanto nos experimentos de codificação posicional quanto em um experimento separado de Portão de Energia (Artigo 1), sugerindo uma propriedade empírica reproduzível de sinais de linguagem de nível de caractere.

6. Limitações e Trabalho Futuro

Os autores mantêm um tom modesto em relação aos seus achados atuais:

• Escala: Os experimentos são limitados a nível de caractere, contexto curto ($T=256$) e uma única semente (seed).
• Viés de Origem: A formulação atual usa um Gaussian centrado em $b=0$, criando um "prior de origem absoluta" onde tokens próximos ao início possuem uma amplitude posicional mais forte do que aqueles no final. Isso quebra a invariância de translação. Os autores propõem uma generalização futura com um centro aprendível $b_{0,i}$.
• Restrição de Admissibilidade: A convergência para a fronteira $\omega \sigma = 5$ pode ser um artefato da implementação baseada em projeção (clamping), e não um ótimo desimpedido real. Relaxar essa restrição é uma prioridade para investigações futuras.
• Próximos Passos: Trabalhos futuros validarão o MOPE em tokenização de nível de palavra, contextos mais longos e explorarão o Morlet-ROPE (aplicando o envelope Gaussiano ao mecanismo de rotação do ROPE).