Resumo Técnico: PJ-RoPE: Um Espaço de Posição Fourier–Jet–Afim para Atenção Relativa

Declaração do Problema

Representações de posição relativa são centrais para a atenção de contexto longo em Transformers, contudo, os métodos existentes são frequentemente tratados como designs concorrentes em vez de componentes de uma estrutura unificada.

• RoPE codifica o atraso relativo via caracteres de Fourier (rotações).
• ALiBi adiciona um termo de recência afim monotônico diretamente aos logits de atenção.
• Jordan-RoPE substitui frequências rotativas semissimples por blocos de Jordan finitos, gerando características de "jet finito" do tipo derivada.

O artigo argumenta que esses métodos compartilham uma estrutura algébrica comum enraizada em módulos de diferença de coeficientes constantes. Especificamente, raízes simples correspondem a caracteres de Fourier/RoPE, raízes não nulas repetidas geram jets de Fourier/Jordan, e raízes unitárias repetidas produzem recência afim do tipo ALiBi. O problema central abordado é a falta de um framework unificado que trate esses métodos como setores selecionáveis dentro de um único espaço aprendível, e a ausência de diagnósticos para determinar quais setores tarefas específicas realmente utilizam. Além disso, características de jet de alta ordem (envolvendo potências de distância relativa) impõem desafios de estabilidade em contextos longos, causando o crescimento dramático das características transformadas e dos logits.

Metodologia

Os autores propõem o PJ-RoPE (Poincaré-type RoPE), um framework que unifica essas primitivas em um espaço de posição relativa Fourier–Jet–Afim aprendível.

1. Formulação Teórica

O framework é fundamentado na álgebra de módulos de diferença de coeficientes constantes. Ele define um espaço de posição $P_{PJ}$ como uma soma direta de três setores:

• Setor Homogêneo Fourier–Jet ($H_{FJ}$): Contém características RoPE (ordem-0) e Jordan-RoPE (ordem-$r > 0$). Algebricamente, estes são soluções para equações com raízes não nulas repetidas, resultando em termos como $(d/L)^r e^{-cd/L} e^{i\omega d}$.
• Setor de Recência Afim ($A_{rec}$): Contém termos constantes e lineares (ex: $-sd/L$), correspondendo à raiz unitária repetida. Isso fornece a direção de "tipo translação" análoga à extensão afim do grupo de Lorentz (daí o nome "tipo Poincaré").
• Setor de Cone de Luz (LC) ($H_{LC}$): Um gráfico de coordenadas compactificado para o comportamento de alta ordem para tratar a estabilidade. Ele substitui a distância bruta $d$ por uma fase do tipo rapidez $\phi_L(d) = L \text{asinh}(d/L)$ e uma amplitude de saturação $\beta_L(d) = d/\sqrt{d^2 + L^2}$.

O framework distingue entre dois regimes de implementação:

• PJ-bias: Um kernel de atenção escalar aditivo contendo caracteres de Fourier, jets amortecidos, termos afins e variantes de LC. É aprendível, mas não é uma transformação exata de característica.
• PJ-rotary: Uma implementação de transformação de característica exata aplicando ações relativas às características de query e key, usada para verificar as propriedades de fechamento de RoPE e Jordan-RoPE.

2. Diagnósticos Adaptativos

Para determinar quais regiões do espaço as tarefas selecionam, os autores introduzem portões de setor adaptativos ($g_{FJ}, g_{aff}, g_{LC}$) e três diagnósticos:

• Massa Efetiva: Mede a alocação da magnitude de parâmetros portados entre setores e ordens de jet.
• Energia Funcional: Mede a escala realizada dos componentes do kernel sobre uma janela de avaliação, contabilizando o amortecimento e o cancelamento de fase.
• Leave-One-Order-Out (LOO): Avalia se a remoção de uma ordem de jet específica degrada a função ajustada, separando a seleção de parâmetros da contribuição funcional real.

3. Estabilização de Cone de Luz (Light-Cone)

Para evitar o crescimento exponencial de jets de alta ordem em contextos longos, o ramo LC aplica uma transformação de coordenadas. Isso limita a magnitude das características e logits transformados, mas comprime a resolução de fase em alcances longos, enquadrando explicitamente o tradeoff entre estabilidade e resolução.

Principais Contribuições

1. Formulação de Espaço de Posição: O artigo formula a atenção relativa como um espaço Fourier–Jet–Afim aprendível, separando kernels de viés escalar de transformações exatas de característica rotativa.
2. Contenção de Setores: Identifica RoPE, Jordan-RoPE (jets finitos), ALiBi (recência afim) e coordenadas LC como setores distintos dentro de uma única estrutura matemática.
3. Diagnósticos Adaptativos: A introdução de portões de setor, massa efetiva, energia funcional e ablações LOO fornece um método para medir empiricamente a seleção de setores ao nível da tarefa.
4. Cadeia de Evidências: Os autores avaliam a recuperação de setores, uso treinável e alocação natural de tarefas através de kernels controlados, tarefas sintéticas, modelos de linguagem de nível de byte e fluxos de tokens musicais simbólicos.

Resultados Experimentais

Os experimentos utilizam Transformers causais pequenos (aprox. 0,15M–0,20M de parâmetros) treinados em contextos curtos e avaliados em contextos longos (até 32.768 tokens).

• Recuperação de Kernel Fixo: O PJ-bias escalar recupera com sucesso alvos de fase pura, jet finito, afim e LC, confirmando que o espaço abrange as famílias de primitivas projetadas.
• Recuperação de Setor Adaptativo: Quando treinados com sinais de "professor" (ex: afim puro ou ordens de jet específicas), os portões aprendidos e os diagnósticos deslocam corretamente a massa para os setores correspondentes.
• Tarefas de Sequência Sintética: Modelos de atenção treináveis podem utilizar esses setores quando o ramo posicional carrega o sinal. Professores afins ativam o ramo de recência; professores de jet assinado ativam variantes FJ.
• Linguagem Natural (Nível de Byte): Em tarefas de linguagem (Tiny Shakespeare, WikiText-2, War and Peace), os modelos selecionam predominantemente o comportamento afim/recência. A massa FJ/LC de alta ordem aparece apenas como uma correção diagnóstica menor. O escalonamento RoPE do tipo NTK combinado com recência afim produz o melhor desempenho em contexto longo.
• Fluxos de Tokens Musicais: Em tarefas de música simbólica (MAESTRO, MusicNet), a alocação difere. Variantes LC-afim permanecem fortes, mas há uma alocação consistente e mensurável para correções de alta ordem (pequena, mas não nula massa). Isso se alinha com a necessidade de modelar retornos de motivos e envelopes rítmicos.
• Estabilidade LC vs. Resolução: Variantes LC conseguem limitar as normas de Q/K e as escalas de cache/logit em 32.768 tokens. No entanto, isso ocorre ao custo de: a "amplitude de fase de longo alcance" é significativamente reduzida, levando a uma menor resolução de recuperação em probes de falso-positivo (hard-negative) comparado a coordenadas brutas.

Significância e Alegações

O artigo posiciona o PJ-RoPE não como um novo arquivo único, mas como um framework de diagnóstico de espaço de posição. Sua principal significância reside em reestruturar mecanismos de posição relativa como um espaço aprendível e unificado onde diferentes tarefas selecionam diferentes regiões:

• Seleção Dependente da Tarefa: A evidência empírica sugere que tarefas de linguagem favorecem estruturas afins/de recência, enquanto fluxos simbólicos estruturados (como música) utilizam uma mistura de afim e correções de jet de alta ordem.
• Tradeoff Estabilidade-Resolução: O trabalho quantifica explicitamente o tradeoff introduzido pelas coordenadas de Cone de Luz: elas estabilizam a extrapolação de contexto longo ao limitar o crescimento, mas comprimem a resolução de fase.
• Separação de Preocupações: O artigo distingue entre "correção de representação" (fechamento exato de PJ-rotary) e "estabilidade de contexto longo" (caminho escalar LC), observando que transformações de característica exatas podem degradar bruscamente em longos alcances sem estabilização.

Os autores concluem que o uso estável de contexto longo depende de uma alocação dependente da tarefa entre recência afim, estrutura Fourier–jet e compactação de LC. Eles mantêm a modéstia quanto à generalização, observando que estas descobertas baseiam-se em modelos pequenos e esquemas de tokenização específicos, e que uma validação em maior escala é necessária antes que estas alocações possam ser tratadas como regras de implantação.