Resumo Técnico: Operadores de Jornada para Composição Estruturada Multiaxial

Declaração do Problema

Arquiteturas atuais de aprendizado de máquina lutam para modelar dados com estrutura ao longo de múltiplos eixos (ex: sequências, imagens, árvores, dados volumétricos) de uma forma que se alinhe com mecanismos de aprendizado baseados em vetores. Embora estruturas composicionais 1D possam ser modeladas usando semigrupos não comutativos ou grupos livres, não há um framework algébrico amplamente aceito para composição 2D ou multidimensional. Os sistemas algébricos existentes frequentemente falham em suportar as necessidades específicas de arquiteturas modernas como os Transformers, particularmente no que diz respeito a como os dados se compõem e como as posições relativas são descritas através de eixos independentes.

Existe uma tensão crítica: mecanismos de atenção padrão agregam valores sem composição não comutativa, efetivamente descartando o contexto estrutural de como os pontos de dados se relacionam ao longo de diferentes eixos. Além disso, embora o Rotary Position Embedding (RoPE) modele com sucesso posições relativas 1D, estender isso para dados multidimensionais requer um framework algébrico principista que garanta a independência de caminho (isto é, compor "direita depois baixo" produz o mesmo resultado que "baixo depois direita") e suporte vieses indutivos adaptáveis ao conteúdo.

Metodologia: O Framework Algébrico

O artigo introduz um framework composicional onde cada item de dado carrega tanto um conteúdo ($v \in \mathbb{R}^d$) quanto um conjunto de geradores de passo de eixo ($R_1, \dots, R_D \in G \le O(d)$), onde $G$ é um grupo de transformações ortogonais que preservam a norma.

Operação Central

Em 1D, a composição de dois pontos de dados $(a, A)$ e $(b, B)$ é definida como:
$$(a, A) \circ (b, B) := (a + Ab, AB)$$
Aqui, o conteúdo do composto é a soma do conteúdo do primeiro ponto com o segundo ponto rotacionado para o frame do primeiro. O gerador de passo de eixo do composto é o produto $AB$. Esta operação é associativa, mas não comutativa.

Em $D$-dimensões, cada dado carrega um gerador por eixo. A composição ao longo de um eixo específico $k$ aplica o gerador desse eixo para rotacionar o conteúdo do segundo ponto e acumula o gerador para esse eixo, deixando os outros eixos inalterados.

O Operador de Jornada

Uma "jornada" é definida como o caminho que conecta duas posições. O operador de jornada $P_{j \to k}$ é o produto dos geradores de passo de eixo ao longo do caminho da posição $j$ para $k$.

• Independência de Caminho: O artigo prova que a composição e o movimento através de eixos são independentes de caminho (ou seja, o resultado depende apenas do deslocamento, não da ordem dos eixos) se, e somente se, os geradores de passo de eixo por eixo comutarem ($R_i R_j = R_j R_i$).
• Regimes Flat vs. Curved: Quando os geradores comutam, o framework opera em um regime "flat" (plano), onde o operador de jornada é uma função pura do deslocamento ($P_{j \to k} = R^{k-j}$). Quando eles não comutam, o regime é "curved" (curvo), e as transformações relativas dependem da posição absoluta.

Classificação Teórica

Sob axiomas específicos (bilinearidade, invariância de frame toroidal, composicionalidade de cociclo e preservação de norma), o artigo classifica todos os mecanismos de atenção compatíveis. Ele prova que o único mecanismo compatível é uma rotação de bloco-diagonal $SO(2)^{d/2}$. Este resultado explica por que o RoPE e suas variantes (2D-RoPE, tree PEs) surgem naturalmente como casos especiais. Inversamente, se o grupo ortogonal completo $O(d)$ for assumido, a estrutura posicional colapsa inteiramente.

Arquitetura JoFormer

Motivado por essas descobertas, os autores propõem o JoFormer (Journey-based Transformer), que integra o operador de jornada no mecanismo de atenção:

1. Lado do Score: Rotaciona queries e keys por seus respectivos operadores absolutos ($A_i q_i, A_j k_j$) antes de computar os scores de atenção.
2. Lado do Valor: Aplica o operador de jornada aos valores antes da agregação: $c_k = \sum_j \alpha_{kj} P_{j \to k} v_j$. Isso traz a estrutura composicional para o lado do valor, algo que a atenção padrão carece.

O artigo apresenta três variantes:

• JoFormer-fixed: Usa ângulos linearmente dependentes da posição (frequências padrão do RoPE) com rotação de valor.
• JoFormer-learned: Usa vetores de frequência aprendidos por camada.
• JoFormer-projected: Computa ângulos a partir do conteúdo do residual stream via um MLP, criando um operador de jornada dependente de dados.

Principais Contribuições

1. Framework Composicional: Um framework algébrico unificado onde os pontos de dados carregam conteúdo e geradores de passo de eixo, definindo a composição como uma operação única e associativa que se estende naturalmente de 1D para $D$-dimensões.
2. Resultados Teóricos:
   • Prova de que a composição independente de caminho exige geradores de passo de eixo que comutam.
   • Classificação mostrando que, sob axiomas naturais, o único mecanismo compatível é a rotação de bloco-diagonal $SO(2)^{d/2}$, recuperando o RoPE como um caso especial.
   • Prova de que, no regime flat, o transporte de valor via operador de jornada é equivariante à translação.
   • Demonstração de que a Transformada Discreta de Fourier (DFT) é um caso especial desta incorporação (embedding) composicional.
3. Arquitetura JoFormer: Um novo design de modelo que aplica o operador de jornada aos valores, unificando atenção padrão, Modelos de Espaço de Estados (SSMs) e JoFormer sob uma "fórmula de caminho de valor".
4. Hierarquia Valor-Caminho: Uma ponte teórica mostrando que as recorrências de SSMs se desenrolam na mesma fórmula de caminho de valor que a atenção, esclarecendo as diferenças estruturais entre essas famílias.

Resultados Experimentais

Os autores realizaram verificações de sanidade com semente única em tarefas de visão, linguagem e generalização de comprimento para testar as hipóteses do framework:

• Visão (CIFAR-100 & ImageNet):

  • No CIFAR-100, aplicar a rotação de Valor (V) (rotacionar os valores e rotacionar inversamente a saída) aumentou consistentemente a precisão em diferentes tamanhos de modelo e tipos de frequência. A sinergia entre a rotação de V e frequências aprendíveis rendeu um ganho de +1,88% sobre o 2D-RoPE padrão.
  • No ImageNet-1K (ViT-S), o JoFormer com rotação de V alcançou uma melhoria de +0,40% na precisão Top-1 sobre o RoPE2D.
  • Experimentos confirmaram a hipótese do "regime flat": rotações densas (LieRE) performaram pior do que rotações axiais (comutativas).

• Modelagem de Linguagem (Wikipedia):

  • O JoFormer-projected (ângulos dependentes de conteúdo) alcançou a menor perplexidade em todas as configurações testadas comparado ao RoFormer e às variantes de frequência fixa/aprendida do JoFormer.

• Generalização de Comprimento:

  • O JoFormer-projected demonstrou capacidades de extrapolação superiores. Quando treinado em comprimento de sequência 512 e testado em 4096, alcançou uma razão de perplexidade de 1,02x, superando significativamente o RoPE (6,29x) e o JoFormer-fixed (4,41x). Isso sugere que ângulos dependentes de dados são cruciais para a generalização de comprimento além de apenas a rotação de V.

Significância e Alegações

O artigo afirma fornecer um framework algébrico fundamental que resolve a tensão entre a estrutura composicional multiaxial e o aprendizado baseado em vetores. Sua significância reside em:

1. Unificação Teórica: Explica por que métodos do tipo RoPE são resultados naturais de restrições de simetria específicas e fornece uma notação comum para atenção, SSMs e JoFormer.
2. Viés Indutivo: Identifica um viés estrutural ausente na atenção padrão: a falta de composição não comutativa no lado do valor. O JoFormer preenche essa lacuna.
3. Utilidade Prática: Experimentos iniciais sugerem que esses vieses indutivos (especificamente a rotação de V e ângulos dependentes de conteúdo) produzem melhorias observáveis em tarefas de visão e generalização de comprimento.

Os autores mantêm a modéstia, observando que seus experimentos são verificações de sanidade de semente única e não reivindicações definitivas de benchmarks, e que o valor do framework está principalmente em fornecer uma regra de design principista. Eles declaram explicitamente que, embora a teoria motive a arquitetura, ela não prova que as variantes específicas (como o JoFormer-projected) sempre superarão as bases, mas sim que são consistentes com a hierarquia valor-caminho derivada.